- Una investigación realizada por Andrés Abeliuk, Vanessa Gaete y Naim Bro, académicos de la Universidad de Chile, la Universidad Adolfo Ibáñez y el Centro Nacional de Inteligencia Artificial (CENIA), evidencia que los modelos de Inteligencia Artificial presentan fallas críticas de equidad al representar la opinión pública chilena, mostrando falta de precisión al analizar a mujeres, adultos mayores y personas con menor nivel educacional.
El equipo de investigadores publicó una auditoría de equidad sobre el uso de Modelos de Lenguaje de Gran Escala (LLM) para simular el comportamiento social. El estudio utilizó encuestas como la CEP en Chile y la ANES en Estados Unidos para evaluar si herramientas como GPT-4 y Llama-13B pueden simular opiniones de los seres humanos en estudios.
Este trabajo es relevante porque las herramientas de IA se usan cada vez más para simular opinión pública como complemento —no reemplazo— de las encuestas tradicionales. Según explica Andrés Abeliuk, investigador de CENIA y uno de los autores del estudio, “el objetivo fue determinar si estas herramientas podrían servir como métodos de predicción confiables para eventos políticos locales”. Los propios autores plantean que estos modelos pueden ser útiles para explorar tendencias generales o generar hipótesis previas a una encuesta, pero advierten que no deberían usarse para predecir el comportamiento de personas o grupos específicos sin antes calibrarlos localmente.
Los hallazgos confirman la existencia de una “injusticia epistémica”: como los modelos se entrenan mayoritariamente con datos del norte global, tienden a representar con menos fidelidad el conocimiento y las opiniones de poblaciones subrepresentadas, como la chilena, replicando desigualdades ya existentes en lugar de corregirlas. El hallazgo más relevante para el contexto local es que los sesgos de la IA no son universales, sino que se manifiestan de forma distinta según la estructura sociopolítica de cada país. Mientras que en Estados Unidos las disparidades de precisión del algoritmo se vinculan principalmente a la raza y la identidad política, en Chile los ejes de desigualdad son el género, el nivel educativo y la religión.
“Los modelos tuvieron más dificultad para predecir las opiniones de las mujeres, a las personas mayores, las personas religiosas y a aquellas con un nivel educativo más bajo. El efecto combinado de estos factores, por ejemplo de ser mujer e identificarse como persona religiosa, agrava aún más las imprecisiones en las predicciones”, detalla Abeliuk. El análisis estadístico muestra que esta combinación reduce la precisión más de lo que se esperaría sumando el efecto de cada factor por separado. A través de un análisis de regresión logística, los autores identificaron que el grupo cuyas opiniones son más difíciles de capturar para la IA en Chile es el de las mujeres de la tercera edad, religiosas y con bajo nivel educativo.
Este patrón —una precisión que disminuye a medida que aumenta la edad de las personas encuestadas, mucho más marcado en Chile que en Estados Unidos— sugiere que los modelos actuales tienen dificultades para interpretar el contexto cultural y los matices de la sociedad chilena. Otro punto crítico del estudio es la diferencia entre la utilidad de la IA a nivel macro y micro: los investigadores determinaron que los LLM son herramientas eficaces para predecir patrones agregados de la población (tendencias generales), pero fallan significativamente al intentar predecir la opinión de un individuo específico. Además, se detectó que el rendimiento de la IA en Chile disminuye incluso cuando se utilizan instrucciones en español, obteniendo mejores resultados con el inglés debido a la dominancia de este idioma en los materiales con los que fueron entrenados los modelos.
Ante este escenario, Abeliuk y su equipo advierten que el uso de estas tecnologías para informar decisiones de política pública en regiones subrepresentadas requiere de calibraciones locales urgentes. “En ese sentido, los resultados evidencian que, aunque la Inteligencia Artificial promete transformar la investigación en ciencias sociales, su aplicabilidad fuera del contexto estadounidense sigue siendo limitada. Por lo tanto, es necesario desarrollar modelos y metodologías más inclusivos y contextualizados a la diversidad cultural y social antes de confiarles la tarea de predecir el pulso político de nuestras sociedades”, concluye el investigador de CENIA.
“Si estas diferencias no se evalúan, existe el riesgo de obtener una representación distorsionada de ciertos grupos de la población y de tomar decisiones basadas en evidencia sesgada”, señala el reporte. Los expertos sugieren que cualquier aplicación futura de “muestreo de silicio” o encuestas sintéticas debe incluir auditorías por subgrupos para evitar que la Inteligencia Artificial perpetúe las desigualdades sociales ya existentes en el país.
