Dureza composicional en modelos de lenguajes grandes (LLM): un enfoque probabilístico para la generación de código

Un método popular cuando se emplean modelos de lenguaje grande (LLM) para tareas analíticas complicadas, como la generación de código, es intentar resolver el problema completo dentro de la ventana de contexto del modelo. El segmento informativo que el LLM es capaz de procesar simultáneamente se denomina ventana contextual. La cantidad de datos que el modelo puede procesar a la vez tiene un impacto significativo en su capacidad para producir una solución. Aunque este método es eficaz para trabajos más sencillos, surgen problemas al manejar situaciones más complejas y de varios pasos.

Según investigaciones recientes, los LLM obtienen resultados notablemente mejores en tareas complejas cuando dividen la tarea en subtareas más pequeñas utilizando una técnica llamada descomposición de subtareas, a veces denominada cadena de pensamiento (COT). Este método implica dividir un problema enorme en tareas más pequeñas y abordarlas por separado, para luego integrar los hallazgos para proporcionar una solución completa. Al utilizar este enfoque, los LLM pueden concentrarse en las partes más fáciles del proceso y asegurarse de que cada sección se complete de manera más eficiente.

La construcción de tareas en contexto todavía es muy limitada, incluso con los beneficios de la descomposición de tareas. Esta restricción describe el desafío que encuentran los LLM al intentar gestionar varias subtareas en la misma ventana contextual. La complejidad de organizar e integrar los procesos aumenta dramáticamente con el número de subtareas incluidas. Aunque un LLM puede deconstruir un problema, resolviéndolo en su totalidad dentro del marco del modelo fiscal del sistema, lo que resulta en un menor rendimiento y precisión.

Los investigadores han establecido el concepto de complejidad generacional para ayudar a comprender esta limitación. Esta métrica calcula la cantidad de veces que un LLM debe producir respuestas alternativas antes de encontrar la correcta. Cuando cada paso debe completarse dentro de la misma ventana de contexto, la complejidad de generación de problemas compuestos, aquellos con varias tareas relacionadas, aumenta dramáticamente. La complejidad de la generación aumenta con la cantidad de pasos y la complejidad de la tarea, particularmente cuando se administra mediante una única instancia de modelo.

El principal problema es que los LLM funcionan dentro de un límite de contexto fijo, incluso cuando intentan descomponer actividades. Esto dificulta que el modelo componga adecuadamente todas las respuestas cuando los trabajos se vuelven más complejos y requieren una serie de subpasos. Los sistemas multiagente son una posible solución. Se pueden usar diferentes instancias de LLM para dividir la carga en lugar de que un LLM maneje todas las subtareas dentro de una ventana de contexto restringida. Como LLM independiente, cada agente puede concentrarse en resolver un determinado aspecto del problema. Los resultados se pueden combinar para crear la solución completa una vez que cada agente haya terminado su parte. Un enfoque distribuido reduce en gran medida la dureza en contexto y la complejidad de generación porque cada modelo solo se concentra en una fracción más pequeña y manejable del trabajo.

En comparación con el enfoque de agente único, el empleo de sistemas de agentes múltiples tiene varios beneficios. En primer lugar, los modelos no están limitados por la ventana de contexto cuando el trabajo se divide entre numerosos agentes, lo que les permite resolver tareas más largas y complicadas. En segundo lugar, el sistema en su conjunto es más preciso y eficiente ya que cada agente opera por separado, evitando que la complejidad de la tarea crezca exponencialmente como lo haría en una situación con un solo agente. La naturaleza autorregresiva de los LLM, que producen resultados paso a paso, es otro beneficio que aprovechan los sistemas multiagente. De esta forma se evitan los problemas que se producen cuando un único modelo tiene que gestionar todas las fases a la vez, y cada agente puede centrarse en su parte del problema paso a paso.

El equipo ha demostrado que dividir los problemas compuestos entre varios agentes reduce significativamente la complejidad de generación. Los datos empíricos han indicado que cuando muchas instancias de LLM trabajan juntas para resolver tareas, en lugar de depender de un único modelo para manejar todo dentro de una única ventana contextual, las tareas se realizan más rápidamente, especialmente en áreas como la generación de código.

En conclusión, aunque los LLM han demostrado ser muy prometedores a la hora de resolver problemas analíticos complejos, las dificultades asociadas con la construcción en contexto impiden su eficacia. Aunque la descomposición de subtareas ha sido útil, es insuficiente para ir más allá de las limitaciones de la ventana de contexto por completo. Al dividir el trabajo entre varias instancias de LLM, los sistemas multiagente han presentado una opción viable que aumenta la precisión, reduce la complejidad y permite a los LLM abordar problemas más complicados y de gran escala.

Mira el Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y únete a nuestro Canal de telegramas y LinkedIn Grarriba. Si te gusta nuestro trabajo, te encantará nuestro hoja informativa.. No olvides unirte a nuestro SubReddit de más de 50.000 ml

¿Está interesado en promocionar su empresa, producto, servicio o evento ante más de 1 millón de desarrolladores e investigadores de IA? ¡Colaboremos!