Microsoft ha estado a la vanguardia de la investigación en I.A desde que el concepto ganó popularidad, y el gigante tecnológico de Redmond no ha dejado de invertir en nuevos modelos de I.A y nuevos métodos para entrenarlos, como ResLoRA, que es lo último que ha salido a la palestra.
Entrenamiento avanzado y resultados rápidos
Los resultados no se hacen esperar: la última innovación en I.A llega en forma de ResLoRA, desarrollado por un grupo de investigadores en I.A de la Facultad de Informática e Ingeniería de la Universidad Beihang de Pekín, en colaboración con Microsoft.
El método es capaz de entrenar I.A avanzada en un tiempo mucho más rápido. Además, es adecuado para entrenar modelos de I.A con capacidades específicas. Entre ellas, se encuentran algunas como la generación de lenguaje natural (NLG) o la comprensión del lenguaje natural (NLU).
¿Qué es ResLoRA?
ResLoRA es una versión mejorada de LoRA, que es un método PEFT (técnicas para ajustar eficazmente grandes modelos lingüísticos) utilizado para ajustar los LLM. Cuando LoRA no pudo actualizarse para adaptarse a las necesidades de las actuales tecnologías de entrenamiento de I.A, los científicos de Microsoft le añadieron caminos adicionales.
Después, mientras utilizaban el modelo, fusionaron los caminos extra para obtener mejores resultados en el entrenamiento. Y lo consiguieron: ResLoRA logró un mejor rendimiento con menos pasos de entrenamiento, y sin parámetros ni costes de inferencia adicionales en comparación con LoRA.
El documento, que puede leerse íntegramente aquí, explica que ResLoRA funciona bien para tareas como la generación de lenguaje natural (NLG), la comprensión del lenguaje natural (NLU) y las tareas de conversión de texto en imagen. Además, es capaz de proporcionar un entrenamiento avanzado a los modelos de I.A con respecto a ellas mucho más rápido.
Disponible en GitHub
Microsoft puso el código de ResLoRA a disposición en GitHub, y los entusiastas de la I.A pueden utilizarlo para entrenar sus propios modelos de I.A. Además, como dice el equipo que está detrás, los requisitos tecnológicos no son imposibles.
El método parece estar a años luz de modelos como Project Rumi, Orca 13B o muchos otros que Microsoft ayudó a investigar y desarrollar. Pero con la tecnología de I.A creciendo a un ritmo increíble, esto es de esperar.