En la época en la que GPT-4 acaparaba titulares por superar diferentes exámenes y pruebas académicas, los investigadores y colaboradores de Microsoft sometían a otros modelos de Inteligencia Artificial (I.A) a pruebas diseñadas para que fabricaran información.
El problema de la información falsa
Para abordar el problema de que los modelos inventen datos falsos -fenómeno conocido como «alucinaciones»-, se creó una tarea de recuperación de texto que, a la mayoría de las personas, les resultaría muy difícil. Después, se rastrearon y mejoraron las respuestas de los modelos. El estudio dio lugar a una nueva forma de reducir los casos en que los modelos de lenguaje de gran tamaño (LLM) se desviaban de los datos que se les proporcionan.
Este ejemplo también ilustra cómo Microsoft está desarrollando soluciones para medir, detectar y mitigar las alucinaciones, como parte de sus esfuerzos continuos para avanzar en la I.A de manera segura, fiable y ética.
«Microsoft quiere asegurarse de que cada sistema de IA que construye ofrece la confianza necesaria para poder utilizarlo de forma eficaz «, dice Sarah Bird, Chief Product Officer de Responsible AI de Microsoft.
Pero, ¿qué son las alucinaciones?
Técnicamente, las alucinaciones son información no fundamentada, lo que indica que un modelo ha alterado los datos proporcionados o ha añadido información adicional que no estaba presente.
Hay ocasiones en las que las alucinaciones pueden ser beneficiosas, como cuando los usuarios desean que la I.A genere una historia de ciencia ficción, o que aporte ideas poco convencionales sobre temas que van desde la arquitectura a la programación.
Sin embargo, muchas organizaciones que desarrollan asistentes de I.A necesitan que estos proporcionen información fiable y fundamentada, especialmente en contextos como resúmenes médicos o educativos, donde la precisión es fundamental.
Luchando contra la información errónea de la I.A
Por ello, Microsoft ha desarrollado una amplia variedad de herramientas diseñadas para abordar la falta de fundamentación, basándose en su experiencia en la creación de productos de IA como Copilot.
Durante meses, los ingenieros de Microsoft han alimentado el modelo de Copilot, utilizando datos de búsqueda de Bing mediante la técnica de generación aumentada de recuperación, que enriquece el modelo con conocimientos adicionales sin necesidad de volver a entrenarlo. Las respuestas, el índice y los datos de clasificación de Bing ayudan a Copilot a proporcionar respuestas más precisas y relevantes, acompañadas de citas que permiten a los usuarios buscar y verificar la información.
Así, Microsoft ayuda a clientes a lograr lo mismo con herramientas avanzadas, entre las que se encuentran servicios de evaluación, plantillas de seguridad para mejorar entrenamientos de la I.A y aplicaciones de I.A generativa en entornos controlados a nivel empresarial.
Ya se han conseguido mejorar ciertos modelos de I.A
Las tecnologías de Microsoft se apoyan en la investigación de expertos como Ece Kamar, director del laboratorio de AI Frontiers de Microsoft Research. Guiado por los principios éticos de la IA corporativa, su equipo publicó un estudio que mejoró las respuestas de los modelos, además de descubrir una nueva metodología para predecir alucinaciones en otro estudio que analizaba cómo los modelos dan respuesta a las peticiones de los usuarios.
«Hay una pregunta fundamental: ¿Por qué alucinan? ¿Es posible abrir el modelo y observar cuándo sucede?», comenta Kamar. «Estamos investigando esto desde una perspectiva científica, porque comprender las causas podría inspirar el desarrollo de nuevas arquitecturas que permitan una futura generación de modelos en los que las alucinaciones no ocurran».
Kamar explica que los LLM tienden a alucinar más frecuentemente en torno a hechos que están menos representados en los datos de entrenamiento de Internet.
“A medida que los sistemas de IA ayudan a las personas con tareas críticas y a compartir información, debemos tomar muy en serio todos los riesgos que estos sistemas conllevan, ya que buscamos construir futuros sistemas de IA que hagan cosas buenas en el mundo”, afirma Kamar.