- El trabajo se expondrá en Sídney entre el 6 y el 12 de diciembre y muestra que los modelos cuyas cabezas de atención operan de forma simbólica tienden a generalizar a textos más largos.
Un equipo del Centro Nacional de Inteligencia Artificial (CENIA) presentará entre el 6 y el 12 de diciembre, en la sede de Sídney, Australia, de la conferencia NeurIPS, un estudio que explica por qué algunos modelos de Inteligencia Artificial responden bien cuando deben leer textos mucho más largos que los que usaron para aprender. NeurIPS (Conference on Neural Information Processing Systems) es una de las conferencias internacionales más importantes y prestigiosas del mundo en aprendizaje automático e Inteligencia Artificial, y reúne cada año, en diciembre, a más de 10.000 académicos, investigadores y representantes de la industria tecnológica.
El artículo científico se titula “Positional versus Symbolic Attention Heads: Learning Dynamics, RoPE Geometry, and Length Generalization” y será expuesto en formato póster en la conferencia principal. El primer autor es el investigador de CENIA y de la Facultad de Matemáticas de la Pontificia Universidad Católica de Chile, Felipe Urrutia. El grupo también lo integran el estudiante de doctorado Juan José Alegría, Cinthia Sánchez Macías, Jorge Salas, el jefe de Investigación de CENIA, Cristian Buc, y el investigador principal de CENIA, Cristóbal Rojas.
Los modelos de lenguaje actuales, como los que usan los asistentes de Inteligencia Artificial, se basan en una arquitectura llamada Transformer. Cada una de sus capas contiene unos componentes llamados cabezas de atención, que deciden en qué partes del texto se concentra el sistema para responder. Una cabeza posicional se fija solo en el lugar que ocupa un elemento dentro de una frase, por ejemplo la tercera palabra, sin importar cuál palabra esté ahí. Una cabeza simbólica sigue a un símbolo específico, por ejemplo una letra determinada, aunque este cambie de ubicación.
Felipe Urrutia explica: “En uno de nuestros trabajos previos, ‘Decoupling Positional and Symbolic Attention in Transformers’, presentado en ICLR 2026, diseñamos una forma concreta de medir el comportamiento de una cabeza de atención a través de dos señales: en simple, un puntaje simbólico que mide la tendencia de una cabeza a atender por el contenido y un puntaje posicional que mide la tendencia de una cabeza a atender por la ubicación”.
En ese primer trabajo, el equipo estudió modelos abiertos ya entrenados, como Llama, Gemma y Qwen. Al trabajar con modelos así, observaron la existencia de cabezas con un comportamiento marcado o puro, ya sea muy posicional o bien muy simbólico. Los autores descubrieron que las cabezas de atención en las primeras capas son más posicionales que las de las capas intermedias y finales. Urrutia comenta: “En ese momento nos llenamos de preguntas del estilo: ¿Por qué las cabezas en capas iniciales son posicionales? ¿Qué relación tiene la pureza de las cabezas con su desempeño en tareas de razonamiento? Nos dimos cuenta de que no bastaba ver ‘la última foto’ del entrenamiento para responder estas preguntas, sino que teníamos que ‘fotografiar cada instante’ del aprendizaje de un modelo”. En modelos con múltiples capas observaron durante el entrenamiento cuándo el perfil simbólico/posicional emerge, madura y se alinea con el aprendizaje en tareas desafiantes. Lograron mapear con “alta resolución” la relación entre la emergencia y madurez de cabezas de atención con el desempeño del modelo en secuencias de largo acotado y, al mismo tiempo, cómo se relaciona un perfil posicional/simbólico con fallas de generalización en secuencias muy largas.
El jefe de Investigación de CENIA, Cristian Buc, explica que el hallazgo principal se relaciona con un problema actual de la industria: “Por razones de limitación en cómputo, los grandes modelos de lenguaje (LLM) se entrenan con un largo de contexto acotado”. El largo del contexto corresponde a la cantidad de texto que un LLM puede leer y procesar de una vez durante su entrenamiento. Después, se esperaría que estos modelos puedan generalizar a secuencias más largas, objetivo que aún es un tema de frontera. Buc señala: “Antes de este estudio no entendíamos bien por qué y en qué casos los LLM no generalizan bien a secuencias más largas que las que fueron observadas durante el entrenamiento”.
Para la investigación, el equipo entrenó un modelo de 12 capas con dos ejercicios de estructura similar. En el primero, basado en números, el sistema debe retroceder en una serie tantos lugares como indica cada cifra, hasta llegar a una letra. En el segundo, basado en letras, debe seguir una cadena de pares de letras, donde cada par señala cuál es el siguiente que debe buscar. El ejercicio numérico depende de posiciones y el de letras depende de símbolos. Los resultados mostraron que el sistema resuelve bien ambos ejercicios solo cuando sus cabezas de atención adoptan un comportamiento definido, ya sea posicional o simbólico. El ejercicio numérico requiere los dos tipos, mientras que el de letras solo necesita el simbólico.
Al evaluar en qué momento del aprendizaje aparecían los comportamientos posicionales y simbólicos de las cabezas de atención, los autores pudieron entender por qué estas dos tareas tan similares generaban patrones de aprendizaje diferentes. Buc explica: “Típicamente estas diferencias se explican de manera informal: una tarea es simplemente ‘más difícil’ que la otra, cuando en verdad nuestra métrica nos permite entender estas diferencias con más formalidad y profundidad, desde los comportamientos de las cabezas”.
Uno de los logros principales del trabajo fue caracterizar de forma algorítmica las transformaciones que ejecuta cada cabeza, tanto posicional como simbólica. Además, los autores formalizaron teóricamente potenciales mecanismos de la red neuronal subyacentes a estos algoritmos. A partir de este análisis, el equipo formuló una predicción matemática sobre la capacidad de cada mecanismo para operar con textos más largos. La teoría indicó que el mecanismo simbólico es más robusto a secuencias más largas que el posicional, y las pruebas lo confirmaron.
El sistema entrenado con la tarea de letras superó el 90% de aciertos en series de hasta 850 elementos, una extensión 53 veces mayor que la usada en su entrenamiento, mientras que el entrenado con la tarea de números casi no logró resolver casos más largos. Si bien los primeros experimentos se realizaron con modelos “juguete”, los investigadores contrastaron sus predicciones teóricas con modelos de frontera y repitieron el experimento con GPT 5.4, GPT 5.5 y Claude 3.7 Sonnet, tres modelos comerciales. En el ejercicio numérico, los aciertos de los tres cayeron bajo el 50% con 32 elementos y bajo el 10% con 100. En el de letras, todos superaron el 88% con 32 elementos y el 65% con 100.
Como próximo paso, los autores plantean desarrollar métodos de entrenamiento que impulsen a los sistemas a usar mecanismos simbólicos cuando puedan elegir entre ambas estrategias.
El grupo también obtuvo la aceptación de otros dos trabajos en workshops de la misma conferencia, que se realizarán en Sídney. Sus primeros autores son Juan José Alegría (“Store or Pointer: Two Mechanisms for Chain-of-Thought Use”, InterpScience Workshop) y Lucas Murray (“Representational Dynamics of Pragmatic Processing”, LP4FM Workshop).
