01.AI lanza Yi-Coder: una potente serie LLM de código a pequeña escala que ofrece un rendimiento excepcional en la generación de código, edición y comprensión de contextos extensos

El panorama de los grandes modelos de lenguaje (LLM) para codificación se ha enriquecido con el lanzamiento de Codificador Yi por 01.AI, una serie de modelos de código abierto diseñados para un rendimiento de codificación eficiente y potente. A pesar de su tamaño relativamente pequeño, Yi-Coder ofrece resultados de última generación, posicionándose como un formidable actor en la generación y finalización de código. Disponible en dos configuraciones, 1500 millones y 9000 millones de parámetros, Yi-Coder demuestra que más grande no siempre es mejor, ofreciendo una gama impresionante de capacidades diseñadas para desarrolladores que buscan modelos de alto rendimiento con una sobrecarga de recursos mínima. Las cuatro variantes de código abierto en Hugging Face hasta ahora son:

1. Yi-Coder-9B-Chat: Este modelo está diseñado para la generación de texto, centrándose en tareas relacionadas con el código y ofreciendo capacidades interactivas y conversacionales. Ofrece un rendimiento de vanguardia en programación competitiva y generación de código de contexto extenso y se actualizó recientemente para mejorar su eficiencia.
2. Codificador Yi-9B: El modelo base más grande de la serie, Yi-Coder-9B, ofrece una potente generación y comprensión de código en 52 lenguajes de programación. Actualizado para optimizar aún más su procesamiento de contexto largo, se destaca por manejar con precisión tareas complejas a nivel de proyecto.
3. Yi-Coder-1.5B-Chat: Yi-Coder-1.5B-Chat es un modelo más pequeño y liviano diseñado para tareas de codificación basadas en chat que ofrece resultados impresionantes en edición de código y finalización de código interactiva. La actualización reciente se centra en mejorar su rendimiento y precisión en tiempo real en aplicaciones de codificación conversacional.
4. Codificador Yi-1.5B: Este modelo básico ofrece una solución eficiente para los desarrolladores que necesitan generar código rápidamente con menos recursos computacionales. La actualización reciente mejora su capacidad para abordar tareas de programación básicas, lo que lo convierte en una herramienta muy versátil para desarrolladores con hardware limitado.

Yi-Coder-9B, el más grande de los dos modelos, se destaca por su entrenamiento avanzado. Se basa en Yi-9B con 2,4 billones de tokens adicionales de alta calidad provenientes de un corpus de código integral a nivel de repositorio en GitHub y datos relacionados con el código filtrados desde CommonCrawl. Estos tokens cubren 52 lenguajes de programación importantes, lo que permite a Yi-Coder ofrecer una competencia inigualable en varios entornos de codificación. La capacidad de manejar modelos de contexto extensos con una ventana de contexto máxima de 128 000 tokens hace que Yi-Coder sea ideal para manejar tareas complejas de generación y comprensión de código a nivel de proyecto.

Uno de los aspectos más impresionantes de Yi-Coder es su desempeño competitivo, en particular con el modelo Yi-Coder-9B-Chat. En evaluaciones rigurosas, Yi-Coder-9B-Chat logró una tasa de aprobación del 23,4 % en LiveCodeBench, una plataforma diseñada para comparar los LLM con problemas de programación competitivos en tiempo real provenientes de LeetCode, AtCoder y CodeForces. Cabe destacar que el desempeño de Yi-Coder superó a modelos mucho más grandes, incluidos DeepSeek-Coder-33B-Instruct y CodeGeex4-All-9B, lo que lo convierte en el único modelo con menos de 10 mil millones de parámetros que supera el umbral del 20 %.

Además de sus puntos fuertes en programación competitiva, Yi-Coder se destacó en pruebas de generación de código estándar como HumanEval, MBPP y CRUXEval-O. Con una tasa de aprobación del 85,4 % en HumanEval y del 73,8 % en MBPP, Yi-Coder-9B-Chat superó a muchos de sus pares, lo que demuestra su capacidad para manejar tareas de codificación básicas y complejas. También se convirtió en el primer LLM de código abierto en superar el 50 % de precisión en CRUXEval-O, lo que consolidó aún más su condición de modelo de alto rendimiento en la comunidad de codificación.

Yi-Coder no se limita a la generación de código; también se destaca en tareas de edición de código. Al utilizar CodeEditorBench, un punto de referencia diseñado para evaluar la capacidad de un modelo para realizar depuración, traducción, cambio de idioma y pulido de código, Yi-Coder superó constantemente a sus competidores. El modelo demostró tasas de éxito impresionantes frente a otros modelos de código abierto, en particular en la depuración y la traducción de código. Esto hace que Yi-Coder sea atractivo para los desarrolladores que buscan optimizar sus procesos de refinamiento de código.

Otra área crítica en la que Yi-Coder destaca es la finalización de código entre archivos, un requisito clave para los entornos de desarrollo integrados (IDE) modernos. En el benchmark CrossCodeEval, que prueba la capacidad de los modelos para comprender y completar el código con dependencias entre archivos, Yi-Coder superó a los modelos de tamaño similar tanto en contextos de recuperación como de no recuperación. Este resultado se puede atribuir a su amplio entrenamiento en corpus de código a nivel de repositorio, lo que le permite capturar dependencias a largo plazo y completar de manera eficiente las tareas de código que abarcan varios archivos.

La comprensión de contextos extensos es una de las fortalezas más exclusivas de Yi-Coder. En una tarea sintética llamada “Needle in the code”, Yi-Coder demostró su capacidad para manejar secuencias de hasta 128K tokens, el doble de la longitud utilizada en evaluaciones comparables como las de CodeQwen1.5. El modelo completó esta tarea sin problemas, lo que demuestra su habilidad para extraer información clave de bases de código extensas, una habilidad crucial para los desarrolladores que trabajan en proyectos a gran escala.

Además de sus capacidades de codificación, Yi-Coder ha demostrado ser prometedor en el ámbito del razonamiento matemático. Al aprovechar los modelos de lenguaje asistidos por programas (PAL), Yi-Coder-9B logró una precisión promedio del 70,3 % en siete pruebas de razonamiento matemático, superando el rendimiento del DeepSeek-Coder-33B de mayor tamaño. Esto demuestra que las sólidas capacidades de codificación se pueden trasladar a otros dominios, como la resolución de problemas matemáticos complejos.

En conclusión, el lanzamiento de Yi-Coder marca un importante paso adelante en la evolución de los LLM centrados en código. A pesar de su recuento de parámetros relativamente pequeño, el modelo ofrece una ventaja competitiva sobre alternativas más grandes, sobresaliendo en la comprensión de contextos largos, el razonamiento matemático y la edición de código. Su disponibilidad en versiones base y de chat brinda flexibilidad para los usuarios que buscan opciones de inferencia y entrenamiento eficientes. Al publicar Yi-Coder como código abierto, 01.AI ha contribuido significativamente a la comunidad de desarrollo. El desempeño notable del modelo en varias tareas de codificación y su arquitectura eficiente posicionan a Yi-Coder como una herramienta poderosa para los desarrolladores que buscan superar los límites de lo que los LLM pequeños pueden lograr en el desarrollo de software.

Echa un vistazo a la Detalles y serie del modelo. Todo el crédito por esta investigación corresponde a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y LinkedInÚnete a nuestro Canal de Telegram. Si te gusta nuestro trabajo, te encantará nuestro hoja informativa..

No olvides unirte a nuestro Subreddit con más de 50 000 millones de usuarios