No cabe duda de que Microsoft ha apostado fuerte por los modelos de I.A generativa, sobre todo después de realizar una inversión multimillonaria en esta tecnología y ampliar su colaboración con OpenAI.
Hablando de OpenAI, hemos sido testigos de lo que la mayoría podría denominar un cambio de paradigma, que afecta a la alta dirección de la empresa tecnológica. El consejo de administración de OpenAI destituyó a Sam Altman alegando falta de confianza en su capacidad de liderazgo.
Poco después, Altman recibió una oferta de trabajo en Microsoft para dirigir el equipo de IA avanzada junto a Greg Brockman (antiguo cofundador de OpenAI que dimitió poco después de la destitución de Altman).
Un paso hacia adelante en entrenamiento de I.A
Mientras todo esto se desarrolla, Microsoft ha publicado una nueva entrada en su blog en la que destaca sus esfuerzos por enseñar a razonar a pequeños modelos lingüísticos de I.A. Hace unos meses, la empresa presentó Orca, un modelo lingüístico de 13 mil millones que demuestra una gran capacidad de razonamiento, imitando las huellas de razonamiento paso a paso de los LLM más capaces.
Y ahora, ha presentado Orca 2 como parte de sus esfuerzos por aprovechar las capacidades de los LM más pequeños. Según Microsoft, Orca 2 presenta señales y métodos de entrenamiento mejorados que permiten a los modelos lingüísticos más pequeños alcanzar mayores capacidades de razonamiento.
Se trata de un logro significativo, teniendo en cuenta que estas capacidades suelen encontrarse en modelos de lenguaje más grandes, como ChatGPT y Copilot.
Microsoft afirma además que Orca 2 está muy por delante de otros modelos similares, incluso del modelo Orca original. Además, la empresa indica que presenta niveles de rendimiento superiores a los de otros modelos de mayor tamaño a la hora de realizar tareas complejas.
Un reto para seguir mejorando
Los modelos lingüísticos de frontera, como GPT-4, PaLm y otros, han demostrado una notable capacidad de razonamiento, por ejemplo, respondiendo a preguntas complejas, generando explicaciones e incluso resolviendo problemas que requieren un razonamiento de varios pasos. Son capacidades que antes se consideraban fuera del alcance de la I.A.
Según Microsoft, tradicionalmente, estas capacidades no se han observado en modelos lingüísticos más pequeños, por lo que el reto consiste en cómo utilizar el creciente conocimiento de los grandes modelos lingüísticos para aumentar las capacidades de estos modelos más pequeños. Y no cabe duda de que tienen puestas muchas esperanzas en esta nueva iteración de Orca.