Denis Parra, académico de la Universidad Católica e investigador del Centro Nacional de Inteligencia Artificial (Cenia), señala que las explicaciones que se dan actualmente en base a las redes neuronales no son tan robustas, lo que ha frenado su ingreso a dominios más sensibles, como la salud o la seguridad.
La explicabilidad es la capacidad de los sistemas o soluciones de inteligencia artificial (IA) de justificar sus decisiones o recomendaciones. El éxito en el aprendizaje automático ha llevado a una nueva ola de aplicaciones de IA en distintas áreas, que ofrecen beneficios para sus usuarios, pero no pueden explicar sus decisiones y acciones. Un informe de 2022, de la consultora Mckinsey & Company, señala que las organizaciones que establecen mayor confianza entre los consumidores, a través de prácticas como hacer que la IA sea explicable, tienen más probabilidades de que sus ingresos anuales crezcan. Desde la firma indican que las personas usan lo que entienden y en lo que confían. Esto es especialmente cierto en el caso de la IA. Por eso, las compañías que facilitan mostrar cómo se derivan sus conocimientos y recomendaciones de IA saldrán adelante, no solo con los usuarios de IA de su organización, sino también con los reguladores y los consumidores, y en términos de sus resultados finales.
Problema de explicabilidad
Una de las técnicas más utilizadas en IA son las redes neuronales, que corresponden a capas de funciones llamadas “neuronas” que tienen conexiones de entrada y salida representadas como pesos en matrices. El objetivo de un algoritmo de aprendizaje es entrenar estos pesos. Dicho método está inspirado en las células neuronales del sistema nervioso humano, y permite que los computadores puedan aprender patrones en grandes volúmenes de datos. “En algunas tareas específicas con entradas y salidas bien definidas, las redes neuronales superan en rendimiento a los seres humanos”, declara Parra.
Pero a su juicio, el lado negativo de este buen rendimiento es que el mecanismo por el cual resuelve la tarea y genera una predicción no es fácilmente explicable. “Por eso existe un área denominada inteligencia artificial explicable (XAI, por sus siglas en inglés) que se dedica a generar formas de explicar estos métodos e indicarnos por qué una red neuronal entregó una predicción específica. Necesitamos comprender estos algoritmos y su funcionamiento en un nivel más profundo”, expresa.
Industrias “sensibles”
Hoy existen ciertas áreas de aplicación que podrían denominarse como “sensibles”, donde el efecto de un error puede ser tan catastrófico o crítico desde el punto de vista humano, que no es trivial automatizar la toma de decisiones con IA sin saber de antemano cómo se justifican ciertas predicciones o decisiones. Esto se refiere a objetivos militares, diagnósticos médicos, detección de fraudes bancarios, seguridad, entre otros. “Si en un hospital, ven una radiografía y mandan al paciente a hacerse un tratamiento y la información estaba errada, ellos deben hacerse responsables. Lo mismo puede suceder en el campo militar, con el lanzamiento de un misil o el ataque a un objetivo de manera incorrecta”, destaca.
En el transporte también se deben tomar decisiones difíciles que pueden afectar a la gente, o en las finanzas, como en la compra o venta de acciones, donde ya existen sistemas que buscan patrones de forma automática. “En otros dominios de aplicación es menos probable que hayas consecuencias graves productos de una predicción, como en el caso de una recomendación de películas, donde si el sistema lo hace mal, perderá un cliente, pero con un profesional médico, esto puede terminar en una demanda o una decisión clínica equivocada”, advierte.
La XAI es muy importante para que los usuarios puedan tener la confianza de que pueden usar estos sistemas. “Estamos trabajando desde CENIA con investigadores que estudian los límites de si es posible generar esas explicaciones y otros que están analizando cuales se podrían desarrollar o mejorar. “La idea es contar con justificaciones que se adapten dependiendo de quién las está recibiendo”, dice el experto.
IA antidiscriminación
Un sistema explicable puede ayudar a identificar cuándo está sesgado y podría discriminar. Así, puede prevenir conductas de discriminación si es que identifica que la variable principal que usa para predecir es, por ejemplo, el género o la raza. Los sistemas podrían diferenciar entre etnia, género, y otras variables, a los denominados grupos protegidos (mujeres, comunidad LGTB+, entre otros).
“Queremos que haya explicabilidad, donde el sistema nos pueda decir cómo llegó a tal recomendación o predicción para que después podamos ajustarlo y evitar la discriminación entre estos diferentes grupos. Un caso típico es que un sistema que aprendió de los datos históricos, podría recomendarle a una mujer que le gusta desarrollarse en el área de la salud, que estudie enfermería, en lugar de medicina, y eso es lo que queremos prevenir”, comenta.
Las personas en el centro
Parra detalla que las personas deben estar en el centro de la IA. Esto significa que debe existir una retroalimentación entre un sistema que predice y un humano que recibe estas predicciones, ya sea para tomar decisiones o para corregir el sistema. “Desde CENIA queremos tratar de entender la IA para mejorarla, según la regulación y los deseos que pueda tener una comunidad respecto a un sistema”, dice el investigador.
El desarrollo de sistemas de IA que se centren en la persona y que no lo obvien, hace de la XAI un área tan importante y que está presente en CENIA. Según destaca, existen sistemas deterministas, que hacen cómputos, predecibles y cuyas reglas están establecidas, y otros más complejos, de tipo estocásticos, que funcionan en base a probabilidades. “Los de IA normalmente se basan en este tipo de componentes. Por esa razón, la investigación es tan relevante, ya que la interacción entre un humano y un sistema de IA es más compleja que con un sistema computacional determinista, basado en reglas”, resalta.
Resistencias
Los diferentes sistemas de IA deben ser lo suficientemente robustos como para que los usuarios los utilicen. El tema de la explicabilidad genera resistencia a la tecnología, por eso se requiere “poder entregar herramientas en las cuales uno pueda, al menos, definir si esta tecnología funciona bien bajo ciertos límites, para entregar seguridad a quienes la ocupen”, comenta Parra. “Ben Schneiderman, científico estadounidense, propone que haya una industria de validación de IA, que permita, por ejemplo, desarrollar software para dominios críticos donde el usuario no entiende cómo funciona la tecnología, pero confía en ella, como ocurre con los aviones”, expresa.
Parra plantea que el apoyo de una industria que hiciera una validación muy fuerte del software, permitiría en algunos casos, donde aún no hay explicabilidad o transparencia, que se pudiera generar confianza. “Hace algunos años la Unión Europea desarrolló la primera propuesta de regulación de IA, donde plantean que el software que no tenga riesgo pueda pasar por un proceso menos riguroso de validación, pero cuando haya un potencial impacto en el ser humano o en comunidades, que se prohíba, o que pase por procesos más críticos de validación”, relata.
Por: Cristián Yáñez W. Agencia Inés Llambías Comunicaciones
