¿Qué es una “alucinación” de la inteligencia artificial y por qué puede ser peligrosa?
Las alucinaciones de la inteligencia artificial (IA) se han convertido en un tema de debate dentro del ámbito tecnológico y científico. Este fenómeno, observado en modelos avanzados de IA ha alertado a expertos en tecnología, quienes han hablado sobre las implicaciones que esta “falla” podría tener en varios aspectos de la vida humana.
Pero, ¿qué es una “alucinación” de la IA?
En el contexto de la inteligencia artificial, una “alucinación” es un fenómeno en el que un modelo de lenguaje LLM (Large Language Model), percibe patrones que son inexistentes o imperceptibles para los observadores humanos, creando resultados inesperados o incorrectos, explica el reconocido ingeniero en sistemas, Ernesto Spinak, en un artículo publicado en la revista especializada SciELO en Perspectiva.
[TE PODRÍA INTERESAR: ¿Cuáles son las principales amenazas que supone la IA en los próximos 10 años?]
Un ejemplo de esto es el citado por la BBC de Londres:
“Días antes de la coronación del rey Carlos III el 6 de mayo, una petición de semblanza hecha a ChatGPT arrojó un resultado llamativo. El chatbot de inteligencia artificial de la firma OpenAI señaló en un párrafo:
“La ceremonia de coronación tuvo lugar en la Abadía de Westminster, en Londres, el 19 de mayo de 2023. La abadía ha sido el escenario de las coronaciones de los monarcas británicos desde el siglo XI, y es considerada uno de los lugares más sagrados y emblemáticos del país”.
Sin embargo, este fenómeno no es exclusivo de ChatGPT, de acuerdo con la cadena de noticias londinense las “alucinaciones” también se presenta en la IA de Googley otros sistemas de IA similares.
Es por ello que tanto Google como OpenAI han pedido a los usuarios que tengan en consideración que la IA puede tener errores, por lo que no deben “confiar ciegamente en las respuestas que ofrece”.
¿Por qué ocurren las “alucinaciones?
Según el artículo, existen varios motivos por los que la IA produce “alucinaciones”, siendo los más destacados y conocidos:
- Complejidad del lenguaje humano
Dado que el lenguaje humano es complejo y a menudo ambiguo. Los modelos de lenguaje pueden tener dificultades para comprender completamente el contexto o las sutilezas del lenguaje, lo que puede llevarlos a generar textos que pueden parecer incoherentes o incorrectas, que es frecuente con los traductores automáticos.
- Problemas con la calidad de los datos de entrada
Si los datos de entrada contienen errores, ruido o información contradictoria, el modelo puede generar resultados incorrectos, esto debido a que los distintos modelos de inteligencia artificial dependen únicamente de sus datos existentes en la web y carecen de acceso a conocimiento externo del mundo real.
- Diseño del modelo
Algunos modelos de lenguaje pueden tener limitaciones en términos de la arquitectura o los algoritmos utilizados, lo que podría contribuir a resultados inesperados y equivocados.
[TE PODRÍA INTERESAR: Robot con IA pierde el control y ataca a mujer en festival de China]
- Sesgo de datos de entrenamiento
Debido a que los modelos de lenguaje se entrenan con grandes cantidades de texto de Internet, que pueden contener información errónea, estereotipos y sesgos. Estos sesgos pueden llevar al modelo a generar contenido que se alinee con esos sesgos o prejuicios, pero que sea objetivamente incorrectos.
- Errores de sobreajuste
Si un modelo se ajusta demasiado a los datos de entrenamiento específicos, puede tener dificultades para generalizar a nuevas situaciones o contextos, lo que podría manifestarse como “alucinaciones” en las predicciones. Modelos como GPT-4 se optimizan para producir texto coherente y relevante al contexto, pero esta optimización les lleva en ocasiones a inventar información que se ajusta al contexto, aunque no sea cierta.
- Ausencia de Verificación Externa
Los modelos carecen de la capacidad de verificar información de fuentes externas. Dependen de los datos de capacitación y no tienen acceso a bases de datos de verificación de hechos en tiempo real.
- Inferencia contextual
Los modelos de lenguaje infieren el contexto del texto anterior, pero pueden malinterpretar o extrapolar incorrectamente, lo que provoca “alucinaciones”.
- “Repetir como loro”
Esto es cuando el LLM simplemente repite información o sesgos presentes en sus datos de capacitación sin un análisis crítico.
- Autocontradicción
La autocontradicción ocurre cuando el LLM genera respuestas que contradicen sus propias declaraciones.
- Divergencia fuente-referencia
Una causa importante de “alucinaciones en la IA” surge de la divergencia fuente-referencia en los datos de entrenamiento. Esta divergencia puede ocurrir como resultado de métodos heurísticos de recopilación de datos o debido a la naturaleza inherente de ciertas tareas de las redes neurales. Cuando los LLM se capacitan con datos con divergencia entre fuente y referencia, pueden generar texto que carece de base en la realidad y se desvía de la fuente proporcionada.
[TE PODRÍA INTERESAR: Tendencias en ciberseguridad 2025: advierten por nuevas amenazas con inteligencia artificial]
- Explotación a través de indicaciones de jailbreak
Otro factor que contribuye a las “alucinaciones” radica en las elecciones de entrenamiento y modelado realizadas en los modelos neuronales. Los LLM pueden ser vulnerables a la explotación mediante el uso de indicaciones de “jailbreak” insertadas en el prompt. Las indicaciones de jailbreak pueden generar resultados inesperados y no deseados, lo que permite a los LLM generar texto que no se anticipó o predijo originalmente.
¿Qué daños pueden causar las “alucinaciones” de la IA?
Las “alucinaciones” de la IA pueden tener consecuencias importantes para las aplicaciones del mundo real. Por ejemplo, “un modelo de IA usado para el cuidado de la salud podría identificar incorrectamente una lesión cutánea benigna como maligna, lo que daría lugar a intervenciones médicas innecesarias”, indica la publicación.
El principal problema, dicen los expertos, es que las aplicaciones de IA pueden generar texto convincente pero completamente incorrecto o sin sentido. Las “alucinaciones” pueden variar desde errores fácticos inofensivos hasta fabricaciones potencialmente peligrosas como noticias falsas.
