TinyAgent: un marco de inteligencia artificial de extremo a extremo para entrenar e implementar agentes de modelos de lenguaje pequeños y específicos para cada tarea

Los avances significativos en los modelos de lenguaje grande (LLM) han llevado al desarrollo de sistemas de agentes, que integran varias herramientas y API para responder a las consultas de los usuarios a través de llamadas a funciones. Al interpretar comandos de lenguaje natural, estos sistemas pueden realizar tareas sofisticadas de forma independiente, como la recuperación de información y el control de dispositivos. Sin embargo, no se han realizado muchas investigaciones sobre el uso de estos LLM de forma local, en computadoras portátiles o teléfonos inteligentes, o en el borde. La principal limitación es el gran tamaño y las altas demandas de procesamiento de estos modelos, que generalmente requieren una infraestructura basada en la nube para funcionar correctamente.

En una investigación reciente de la Universidad de California en Berkeley y el ICSI, se presentó el marco TinyAgent como una técnica innovadora para entrenar e implementar pequeños agentes de modelos de lenguaje específicos de tareas con el fin de llenar este vacío. Debido a su capacidad para gestionar llamadas de función, estos agentes pueden operar de forma independiente en dispositivos locales y no dependen de una infraestructura basada en la nube. Al concentrarse en modelos más pequeños y más efectivos que preservan las funcionalidades clave de los LLM más grandes y la capacidad de llevar a cabo solicitudes de usuarios mediante la coordinación de otras herramientas y API, TinyAgent proporciona una solución integral para avanzar en capacidades de IA sofisticadas.

El marco TinyAgent comienza con modelos de código abierto que deben modificarse para ejecutar correctamente las llamadas a funciones. Para lograrlo, se ha utilizado el marco LLMCompiler, que afina los modelos para garantizar que puedan ejecutar comandos de forma consistente. La selección metódica de un conjunto de datos de alta calidad diseñado especialmente para trabajos de llamadas a funciones es un paso crucial en este enfoque. Al utilizar este conjunto de datos específico para refinar los modelos, TinyAgent genera dos variantes: TinyAgent-1.1B y TinyAgent-7B. A pesar de ser mucho más pequeños que sus equivalentes más grandes, como GPT-4-Turbo, estos modelos son muy precisos a la hora de gestionar trabajos específicos.

Una de las principales contribuciones del marco TinyAgent es la técnica de recuperación de herramientas única, ya que ayuda a acortar el mensaje de entrada durante la inferencia. De esta manera, el modelo puede elegir la herramienta o función correcta de manera más rápida y eficaz, todo ello sin verse abrumado por datos de entrada extensos o innecesarios. Para mejorar aún más su rendimiento de inferencia, TinyAgent también utiliza la cuantificación, un método que reduce el tamaño y la complejidad del modelo. Para garantizar que los modelos compactos puedan funcionar correctamente en dispositivos locales, incluso con recursos computacionales limitados, estas optimizaciones son esenciales.

El marco TinyAgent se ha implementado como un sistema local similar a Siri para MacBook con el fin de mostrar las aplicaciones del sistema en el mundo real. Sin necesidad de acceso a la nube, este sistema puede comprender las órdenes de los usuarios enviadas por texto o voz y llevar a cabo acciones como iniciar aplicaciones, crear recordatorios y realizar búsquedas de información. Al almacenar los datos de los usuarios localmente, esta implementación localizada no solo protege la privacidad, sino que también elimina la necesidad de una conexión a Internet, que es una característica fundamental en situaciones en las que podría no haber acceso confiable.

El marco TinyAgent ha demostrado algunos resultados sorprendentes. Se ha demostrado que las capacidades de invocación de funciones de modelos mucho más grandes, como GPT-4-Turbo, son igualadas, y en algunos casos superadas, por los modelos TinyAgent a pesar de su tamaño reducido. Este es un buen logro porque demuestra que los modelos más pequeños pueden realizar tareas altamente especializadas de manera eficaz y eficiente cuando se los entrena y optimiza utilizando los métodos adecuados.

En conclusión, TinyAgent ofrece un excelente método para permitir que los dispositivos de borde aprovechen el potencial de los sistemas de agentes impulsados ​​por LLM. Si bien conserva un sólido rendimiento en aplicaciones en tiempo real, TinyAgent proporciona un sustituto eficaz y centrado en la privacidad para los sistemas de IA basados ​​en la nube al optimizar modelos más pequeños para la llamada de funciones y emplear estrategias como la recuperación y cuantificación de herramientas.

Echa un vistazo a la PapelTodo el crédito por esta investigación corresponde a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y únete a nuestro Canal de Telegram y LinkedIn Gr¡Arriba!. Si te gusta nuestro trabajo, te encantará nuestro hoja informativa..

No olvides unirte a nuestro Subreddit con más de 50 000 millones de usuarios

⏩ ⏩ SEMINARIO WEB GRATUITO SOBRE IA: ‘SAM 2 para video: cómo optimizar sus datos’ (miércoles 25 de septiembre, 4:00 a. m. a 4:45 a. m. EST)