ChatGPT, chatbot de inteligencia artificial, desconoce aproximadamente el 20% del idioma español. No sólo eso, del 80% restante de la lengua española, ofrece significados erróneos en en torno al 5% de los casos, según investigadores españoles.
A ChatGPT se le complica el español
De las más de 90 mil palabras contenidas en el diccionario de la Real Academia de la Lengua, el modelo ChatGPT3.5 turbo desconoce aproximadamente el 20%. Además, comete errores al momento de identificar y ocupar el 80% de las palabras, según un estudio compartido por la Universidad de Cornell.
“Como pasa muchas veces con los sistemas de inteligencia artificial, no es oro todo lo que reluce, y analizando los significados que da ChatGPT de las palabras, vemos que hay un porcentaje no despreciable en que el sentido que señala es incorrecto”.
Javier Conde, profesor en la Escuela Técnica Superior de Ingenieros de Telecomunicación (ETSIT) de Madrid
ChatGPT es capaz de reconocer 72 mil palabras del léxico español, en comparación a las 30 mil que un hispanohablante identifica en promedio, según la Universidad Politécnica de Madrid (UPM).
Además, lo pusieron a identificar el vocabulario de El Ingenioso Hidalgo Don Quijote de la Mancha, novela de Miguel de Cervantes Saavedra; en este caso, el chatbot de OpenAI logró identificar el 90% de las palabras.
¿Cómo pusieron a prueba al chatbot de OpenAI?
Investigadores de la UPM, junto a colegas de la Universidad Carlos III de Madrid (UC3M) y la Universidad de Valladolid (UVa) desarrollaron una aplicación, bautizada como ChatWords, que permite evaluar el conocimiento léxico que el sistema de inteligencia artificial tiene de diferentes idiomas.
“En este trabajo, contribuimos a esos esfuerzos con ChatWords, un sistema de prueba automatizado, para evaluar el conocimiento de ChatGPT de un conjunto arbitrario de palabras”.
Cornell University
Para Pedro Reviriego, profesor titular de la ETSIT implicado en la investigación, los resultados revelan que “es fundamental garantizar la riqueza léxica en el texto creado por inteligencia artificial“, sostiene.
¿Qué es ChatWords, la app que evaluó a ChatGPT?
ChatWords está diseñado para ser extensible, fácil de usar y adaptable para evaluar también otras herramientas de inteligencia artificial de programación neurolingüística (PNL).
- Está disponible en código abierto y su principal objetivo es facilitar la investigación sobre el conocimiento léxico de las herramientas de IA.
También se analizan las implicaciones del conocimiento léxico de las herramientas de inteligencia artificial de PNL y las posibles aplicaciones de ChatWords, proporcionando direcciones para futuros trabajos en el estudio del conocimiento léxico de las herramientas de inteligencia artificial, según el estudio de Cornell.
