TensorOpera AI lanza Fox-1: una serie de modelos de lenguaje pequeño (SLM) que incluye Fox-1-1.6B y Fox-1-1.6B-Instruct-v0.1

Los avances recientes en modelos de lenguaje grande (LLM) han demostrado capacidades significativas en una amplia gama de aplicaciones, desde la resolución de problemas matemáticos hasta la respuesta de preguntas médicas. Sin embargo, estos modelos se están volviendo cada vez más imprácticos debido a su gran tamaño y a los inmensos recursos computacionales necesarios para entrenarlos e implementarlos. Los LLM, como los desarrollados por OpenAI o Google, a menudo contienen cientos de miles de millones de parámetros, lo que requiere conjuntos de datos masivos y altos costos de capacitación. Esto, a su vez, genera cargas financieras y ambientales que hacen que estos modelos sean inaccesibles para muchos investigadores y organizaciones. La escala cada vez mayor también genera preocupaciones sobre la eficiencia, la latencia y la capacidad de implementar estos modelos de manera efectiva en aplicaciones del mundo real donde los recursos computacionales pueden ser limitados.

TensorOpera AI lanza Fox-1: una serie de modelos de lenguaje pequeño (SLM)

En respuesta a estos desafíos, TensorOpera AI ha lanzado Fox-1, una serie de modelos de lenguaje pequeño (SLM) que tienen como objetivo proporcionar capacidades similares a las de un LLM con requisitos de recursos significativamente reducidos. Fox-1 incluye dos variantes principales: Fox-1-1.6B y Fox-1-1.6B-Instruct-v0.1, que han sido diseñadas para ofrecer capacidades sólidas de procesamiento de lenguaje sin dejar de ser altamente eficientes y accesibles. Estos modelos han sido entrenados previamente con 3 billones de tokens de datos extraídos de la web y ajustados con 5 mil millones de tokens para tareas de seguimiento de instrucciones y conversaciones de varios turnos. Al hacer que estos modelos estén disponibles bajo la licencia Apache 2.0, TensorOpera AI busca promover el acceso abierto a potentes modelos de lenguaje y democratizar el desarrollo de la IA.

Detalles técnicos

Fox-1 emplea varias innovaciones técnicas que lo distinguen de otros SLM. Una característica notable es su plan de estudios de datos de tres etapas, que garantiza una progresión gradual en la formación desde un contexto general a uno altamente especializado. Durante el entrenamiento previo, los datos se organizaron en tres etapas distintas, utilizando longitudes de secuencia de 2K a 8K, lo que permitió a Fox-1 aprender de manera efectiva dependencias cortas y largas en el texto. La arquitectura del modelo es una variante más profunda del transformador solo decodificador, con 32 capas, que es significativamente más profunda en comparación con sus pares, como Gemma-2B y StableLM-2-1.6B.

Además de una arquitectura más profunda, Fox-1 utiliza Atención de consultas agrupadas (GQA), que optimiza el uso de la memoria y mejora las velocidades de entrenamiento e inferencia. El tamaño de vocabulario ampliado de 256.000 tokens mejora aún más la capacidad del modelo para comprender y generar texto con una ambigüedad de tokenización reducida. Al compartir incorporaciones de entrada y salida, Fox-1 también reduce el número total de parámetros, lo que da como resultado un modelo más compacto y eficiente. Juntas, estas innovaciones permiten a Fox-1 lograr un rendimiento de vanguardia en tareas lingüísticas sin la sobrecarga computacional típicamente asociada con los LLM.

Resultados de rendimiento

El lanzamiento de Fox-1 es particularmente importante por varias razones. En primer lugar, aborda la cuestión central de la accesibilidad en la IA. Al proporcionar un modelo que es eficiente y capaz, TensorOpera AI está poniendo a disposición de una audiencia más amplia la comprensión y generación avanzadas del lenguaje natural, incluidos investigadores y desarrolladores que pueden no tener acceso a la infraestructura computacional necesaria para los LLM más grandes. Fox-1 ha sido comparado con SLM líderes como StableLM-2-1.6B, Gemma-2B y Qwen1.5-1.8B, y ha tenido un desempeño constante a la par o mejor en varios puntos de referencia estándar, como ARC Challenge, MMLU y GSM8k.

En términos de resultados específicos, Fox-1 logró una precisión del 36,39% en el punto de referencia GSM8k, superando a todos los modelos comparados, incluido el Gemma-2B, que tiene el doble de su tamaño. También demostró un rendimiento superior en el punto de referencia MMLU a pesar de su tamaño más pequeño. La eficiencia de inferencia de Fox-1 se midió usando vLLM en GPU NVIDIA H100, donde logró más de 200 tokens por segundo, igualando el rendimiento de modelos más grandes como Qwen1.5-1.8B mientras usaba menos memoria de GPU. Esta eficiencia convierte a Fox-1 en una opción convincente para aplicaciones que requieren un alto rendimiento pero que están limitadas por limitaciones de hardware.

Conclusión

La serie Fox-1 de TensorOpera AI marca un importante paso adelante en el desarrollo de modelos de lenguaje pequeños pero potentes. Al combinar una arquitectura eficiente, mecanismos de atención avanzados y una estrategia de entrenamiento bien pensada, Fox-1 ofrece un rendimiento impresionante comparable al de modelos mucho más grandes. Con su lanzamiento de código abierto, Fox-1 está preparado para convertirse en una herramienta valiosa para investigadores, desarrolladores y organizaciones que buscan aprovechar las capacidades lingüísticas avanzadas sin los costos prohibitivos asociados con los grandes modelos lingüísticos. Los modelos Fox-1-1.6B y Fox-1-1.6B-Instruct-v0.1 ilustran que es posible lograr una comprensión y generación de lenguaje de alta calidad con un enfoque más eficiente y optimizado.

Mira el Papel, Modelo básicoy Modelo de chat. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y únete a nuestro Canal de telegramas y LinkedIn Grarriba. Si te gusta nuestro trabajo, te encantará nuestro hoja informativa.. No olvides unirte a nuestro SubReddit de más de 55.000 ml.

(Próximo evento en vivo de LinkedIn) ‘Una plataforma, posibilidades multimodales’, donde el director ejecutivo de Encord, Eric Landau, y el director de ingeniería de productos, Justin Sharps, hablarán sobre cómo están reinventando el proceso de desarrollo de datos para ayudar a los equipos a construir rápidamente modelos de IA multimodales innovadores.

Asif Razzaq es el director ejecutivo de Marktechpost Media Inc.. Como emprendedor e ingeniero visionario, Asif está comprometido a aprovechar el potencial de la inteligencia artificial para el bien social. Su esfuerzo más reciente es el lanzamiento de una plataforma de medios de inteligencia artificial, Marktechpost, que se destaca por su cobertura en profundidad del aprendizaje automático y las noticias sobre aprendizaje profundo que es técnicamente sólida y fácilmente comprensible para una amplia audiencia. La plataforma cuenta con más de 2 millones de visitas mensuales, lo que ilustra su popularidad entre el público.