- Los investigadores de CENIA formaron parte del encuentro que reunió a lingüistas y expertos en computación para analizar la “caja negra” de la Inteligencia Artificial y proponer soluciones a los problemas actuales de los modelos de lenguaje.
Los investigadores del Centro Nacional de Inteligencia Artificial (CENIA), Felipe Urrutia y Pablo Barceló, viajaron a la Universidad de Yale para participar en el primer workshop presencial de Formal Languages and Neural Networks (FLaNN). Allí, Urrutia presentó el estudio “Decoupling Positional and Symbolic Attention in Transformers” —desarrollado junto a Cristóbal Rojas y otros colaboradores—, que también fue seleccionado para la conferencia ICLR 2026, una de las citas más relevantes del aprendizaje automático a nivel mundial.
La investigación se enmarca en el área de la interpretabilidad, un campo que busca “abrir la caja negra” de la Inteligencia Artificial para entender qué ocurre realmente en su interior cuando procesa un texto y genera una respuesta. El encuentro en Yale marcó además un hito para esta comunidad científica, que nació de forma virtual y que busca entender, mediante herramientas matemáticas y lingüísticas, el funcionamiento interno de las redes neuronales.
Por su parte, Pablo Barceló, quien ha sido miembro integral de este grupo desde sus inicios virtuales, dio la charla “Language Generation in the Limit: Complexity Barriers and Implications for Learning”. En su presentación, analizó la factibilidad computacional de la generación de lenguaje, estableciendo una brecha crítica entre la posibilidad teórica de aprendizaje y su viabilidad real en clases de lenguajes formales como los regulares y los independientes del contexto.
Cómo funciona la atención en los modelos de lenguaje
Urrutia explicó que los modelos actuales, como ChatGPT, utilizan un esqueleto llamado Transformer. Dentro de este sistema opera un mecanismo clave denominado “atención”, el cual funciona como un promedio ponderado, en el que la máquina analiza todas las palabras de una frase y decide a cuáles darles más “peso” o importancia para entender el mensaje, dejando otras fuera.
El gran hallazgo fue descubrir que este proceso de atención se divide en dos funciones que actúan de forma independiente: una posicional, que identifica dónde está cada palabra en una frase, y otra simbólica, que procesa qué significa cada término. Esta distinción es fundamental para resolver problemas prácticos como el fenómeno Lost in the middle (perdido en el medio). Este problema ocurre cuando los usuarios le entregan grandes volúmenes de documentos a una IA y esta pierde precisión al buscar información que se encuentra justo en la mitad de los textos, respondiendo mucho mejor a lo que está al inicio o al final.
De las tareas de juguete al ajuste del modelo
Para investigar este fenómeno, el equipo redujo el problema a “tareas de juguete”, pidiéndole al modelo que identificara letras en posiciones específicas de secuencias simples. Gracias a este enfoque, detectaron que el desempeño de la IA está ligado a la capacidad de sus “cabezas de atención” para utilizar frecuencias adecuadas de un mecanismo llamado RoPE (Rotary Positional Encodings). Este descubrimiento ofrece una vía práctica para “ajustar” el cerebro de los modelos y hacerlos mucho más precisos al manejar grandes cantidades de información.
Tras el éxito en Yale, el equipo liderado por Urrutia y Rojas ya proyecta la continuación de este trabajo, profundizando la complejidad de las tareas de análisis. Para ello, recientemente enviaron nuevos avances a la conferencia NeurIPS, considerada una de las más importantes a nivel mundial en el ámbito del aprendizaje automático.
