Los investigadores de MBZUAI lanzan Atlas-Chat (2B, 9B y 27B): una familia de modelos abiertos adaptados a las instrucciones para darija (árabe marroquí)

El procesamiento del lenguaje natural (PNL) ha logrado avances increíbles en los últimos años, particularmente mediante el uso de grandes modelos de lenguaje (LLM). Sin embargo, uno de los principales problemas de estos LLM es que se han centrado en gran medida en idiomas ricos en datos, como el inglés, dejando atrás muchos idiomas y dialectos subrepresentados. El árabe marroquí, también conocido como darija, es uno de esos dialectos que ha recibido muy poca atención a pesar de ser la principal forma de comunicación diaria de más de 40 millones de personas. Debido a la falta de conjuntos de datos extensos, estándares gramaticales adecuados y puntos de referencia adecuados, el darija ha sido clasificado como un idioma de bajos recursos. Como resultado, los desarrolladores de grandes modelos de lenguaje a menudo lo han descuidado. El desafío de incorporar darija en los LLM se ve agravado aún más por su combinación única de árabe estándar moderno (MSA), amazigh, francés y español, junto con su forma escrita emergente que aún carece de estandarización. Esto ha llevado a una asimetría en la que el árabe dialectal como el darija está marginado, a pesar de su uso generalizado, lo que ha afectado la capacidad de los modelos de inteligencia artificial para atender eficazmente las necesidades de estos hablantes.

¡¡Conoce Atlas-Chat!!

MBZUAI (Universidad de Inteligencia Artificial Mohamed bin Zayed) ha presentado Atlas-Chat, una familia de modelos abiertos y optimizados para la instrucción diseñados específicamente para Darija, el árabe coloquial de Marruecos. La introducción de Atlas-Chat marca un paso significativo para abordar los desafíos que plantean los idiomas de bajos recursos. Atlas-Chat consta de tres modelos con diferentes tamaños de parámetros (2 mil millones, 9 mil millones y 27 mil millones) que ofrecen una variedad de capacidades a los usuarios según sus necesidades. Los modelos han sido ajustados en función de las instrucciones, lo que les permite desempeñarse de manera efectiva en diferentes tareas, como interacción conversacional, traducción, resúmenes y creación de contenido en darija. Además, su objetivo es promover la investigación cultural mediante una mejor comprensión del patrimonio lingüístico de Marruecos. Esta iniciativa es particularmente digna de mención porque se alinea con la misión de hacer que la IA avanzada sea accesible para comunidades que han estado subrepresentadas en el panorama de la IA, ayudando así a cerrar la brecha entre los idiomas ricos y bajos en recursos.

Detalles técnicos y beneficios de Atlas-Chat

Los modelos Atlas-Chat se desarrollan consolidando los recursos existentes en lengua darija y creando nuevos conjuntos de datos a través de medios tanto manuales como sintéticos. En particular, el conjunto de datos Darija-SFT-Mixture consta de 458.000 muestras de instrucciones, que se recopilaron a partir de recursos existentes y mediante generación sintética de plataformas como Wikipedia y YouTube. Además, se tradujeron al darija conjuntos de datos de instrucción en inglés de alta calidad con un riguroso control de calidad. Los modelos se han perfeccionado en este conjunto de datos utilizando diferentes opciones de modelo base, como los modelos Gemma 2. Esta cuidadosa construcción ha llevado a Atlas-Chat a superar a otros LLM especializados en árabe, como Jais y AceGPT, por márgenes significativos. Por ejemplo, en el punto de referencia DarijaMMLU recientemente introducido (un conjunto de evaluación integral para Darija que cubre tareas discriminativas y generativas), Atlas-Chat logró un aumento de rendimiento del 13 % con respecto a un modelo más grande de 13 mil millones de parámetros. Esto demuestra su capacidad superior para seguir instrucciones, generar respuestas culturalmente relevantes y realizar tareas estándar de PNL en darija.

Por qué es importante Atlas-Chat

La introducción de Atlas-Chat es crucial por múltiples razones. En primer lugar, aborda una brecha de larga data en el desarrollo de la IA al centrarse en un lenguaje subrepresentado. El árabe marroquí, que tiene una composición cultural y lingüística compleja, a menudo se descuida en favor del MSA u otros dialectos que son más ricos en datos. Con Atlas-Chat, MBZUAI ha proporcionado una poderosa herramienta para mejorar la comunicación y la creación de contenido en darija, respaldando aplicaciones como agentes conversacionales, resúmenes automatizados e investigaciones culturales más matizadas. En segundo lugar, al proporcionar modelos con distintos tamaños de parámetros, Atlas-Chat garantiza flexibilidad y accesibilidad, atendiendo a una amplia gama de necesidades de los usuarios, desde aplicaciones ligeras que requieren menos recursos computacionales hasta tareas más sofisticadas. Los resultados de la evaluación de Atlas-Chat destacan su eficacia; por ejemplo, Atlas-Chat-9B obtuvo una puntuación del 58,23 % en el punto de referencia DarijaMMLU, superando significativamente a modelos de última generación como AceGPT-13B. Estos avances indican el potencial de Atlas-Chat para ofrecer una comprensión lingüística de alta calidad a los hablantes de árabe marroquí.

Conclusión

Atlas-Chat representa un avance transformador para el árabe marroquí y otros dialectos de bajos recursos. Al crear una solución sólida y de código abierto para Darija, MBZUAI está dando un paso importante para hacer que la IA avanzada sea accesible a una audiencia más amplia, permitiendo a los usuarios interactuar con la tecnología en su propio idioma y contexto cultural. Este trabajo no solo aborda las asimetrías observadas en el soporte de la IA para idiomas de bajos recursos, sino que también sienta un precedente para el desarrollo futuro en dominios lingüísticos subrepresentados. A medida que la IA continúa evolucionando, iniciativas como Atlas-Chat son cruciales para garantizar que los beneficios de la tecnología estén disponibles para todos, independientemente del idioma que hablen. Con nuevas mejoras y perfeccionamientos, Atlas-Chat está preparado para cerrar la brecha de comunicación y mejorar la experiencia digital de millones de hablantes de darija.

Mira el Papel y Modelos abrazando la cara. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y únete a nuestro Canal de telegramas y LinkedIn Grarriba. Si te gusta nuestro trabajo, te encantará nuestro hoja informativa.. No olvides unirte a nuestro SubReddit de más de 55.000 ml.

(Oportunidad de Patrocinio con nosotros) Promocione su investigación/producto/seminario web con más de 1 millón de lectores mensuales y más de 500.000 miembros de la comunidad

Asif Razzaq es el director ejecutivo de Marktechpost Media Inc.. Como empresario e ingeniero visionario, Asif está comprometido a aprovechar el potencial de la inteligencia artificial para el bien social. Su esfuerzo más reciente es el lanzamiento de una plataforma de medios de inteligencia artificial, Marktechpost, que se destaca por su cobertura en profundidad del aprendizaje automático y las noticias sobre aprendizaje profundo que es técnicamente sólida y fácilmente comprensible para una amplia audiencia. La plataforma cuenta con más de 2 millones de visitas mensuales, lo que ilustra su popularidad entre el público.