Agent Prune: un marco de comunicación multiagente robusto y económico para LLM que ahorra costos y elimina contenidos redundantes y maliciosos

“Si quieres ir rápido, ve solo. Si quieres llegar lejos, vayan juntos”: este proverbio africano describe acertadamente cómo los sistemas multiagente superan a los LLM individuales regulares en diversas tareas de razonamiento, creatividad y aptitud. Los sistemas multiagente (MA) aprovechan la inteligencia colectiva de múltiples instancias de LLM a través de topologías de comunicación meticulosamente diseñadas. Sus resultados son fascinantes, e incluso las comunicaciones más simples aumentan notablemente la precisión en las tareas. Sin embargo, esta mayor precisión y versatilidad tiene un precio, esta vez con un mayor consumo de tokens. Los estudios muestran que estas metodologías de comunicación podrían aumentar el costo del doble a casi 12 veces el consumo regular de tokens, socavando gravemente la economía de tokens para múltiples agentes. Este artículo analiza un estudio que detecta una advertencia en las topologías de comunicación actuales y propone una solución para que los agentes puedan llegar lejos juntos, al mismo tiempo que reducen el consumo de combustible.

Investigadores de la Universidad de Tongji y el Laboratorio de IA de Shanghai acuñaron el concepto de redundancia de comunicación dentro de las topologías de comunicación de múltiples agentes. Se dieron cuenta de que una parte sustancial del mensaje que se transmite entre agentes no afecta el proceso. Esta comprensión inspiró a AgentPrune, un marco de poda de comunicación para LLM-MA. AgentPrune trata todo el marco de múltiples agentes como un gráfico de comunicación espacio-temporal y utiliza una máscara de gráfico de comunicación con un principio de bajo rango para resolver el problema de la redundancia de comunicación. La poda se produce de dos maneras: (a) poda espacial para eliminar mensajes espaciales redundantes en un diálogo y (b) poda temporal para eliminar el historial de diálogo irrelevante.

Valdría la pena comprender los dos mecanismos de comunicación centrales antes de profundizar en los tecnicismos de AgentPrune. Hay dos tipos de estrategias de comunicación entre agentes. La primera es la comunicación intradiálogo, donde los agentes colaboran, enseñan o compiten durante una sola sesión. La comunicación entre diálogos, por otro lado, ocurre entre múltiples rondas de diálogo donde la información o los conocimientos de esa interacción se transmiten al siguiente agente. Ahora, en la analogía del gráfico espacio-temporal de AgentPrune, los nodos son agentes junto con sus propiedades, como herramientas API externas, base de conocimientos, etc. Además, la comunicación intradiálogo constituye los bordes espaciales, y la comunicación entre diálogos forma el temporal. bordes. Las máscaras guiadas principales de bajo rango de AgentPrune identifican las entidades más importantes y las retienen mediante poda de una sola vez, lo que produce un gráfico de comunicación escaso que contempla toda la información.

El algoritmo es práctico y fácil de incorporar al LLM MA existente. Es como un módulo plug-and-play para que los agentes optimicen el consumo de tokens y tengan lo mejor de ambos mundos. Sin embargo, el número de agentes debe exceder los tres y la comunicación debe estar moderadamente estructurada para utilizarla. El agente Prune también se somete a una formación de consultas múltiples para optimizar el número de consultas y resolver el problema, proporcionando las mínimas necesarias.

Este nuevo canal se probó en tareas de razonamiento general, razonamiento matemático y generación de código con conjuntos de datos notables. AgentPrune se agregó a un sistema MA de 5 modelos GPT-4. Las siguientes fueron las ideas significativas:

R) No todas las topologías multiagente ofrecieron un mejor rendimiento de manera consistente.

B) Se logró un rendimiento de alta calidad con ahorro de costos, logrando así utilidad y ahorro.

Además, AgentPrune eliminó los mensajes maliciosos para garantizar su solidez ante ataques adversarios. Se verificó cuando los autores diseñaron ataques adversarios de aviso de agente y reemplazo de agente y, sin embargo, el sistema no enfrentó una disminución significativa en comparación con el caso sin AgentPrune.

AgentPrune agiliza las interacciones y el funcionamiento de MA, garantizando precisión y guardando tokens. Su estrategia CUT THE CRAP propone un enfoque frugal hacia la precisión en este mundo de extravagancia.

Mira el Papel y GitHub. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y únete a nuestro Canal de telegramas y LinkedIn Grarriba. Si te gusta nuestro trabajo, te encantará nuestro hoja informativa.. No olvides unirte a nuestro SubReddit de más de 50.000 ml

(Próximo evento: 17 de octubre de 202) RetrieveX: la conferencia de recuperación de datos GenAI (promovida)

Adeeba Alam Ansari actualmente está cursando su doble titulación en el Instituto Indio de Tecnología (IIT) Kharagpur, donde obtuvo una licenciatura en Ingeniería Industrial y una maestría en Ingeniería Financiera. Con un gran interés en el aprendizaje automático y la inteligencia artificial, es una lectora ávida y una persona curiosa. Adeeba cree firmemente en el poder de la tecnología para empoderar a la sociedad y promover el bienestar a través de soluciones innovadoras impulsadas por la empatía y una profunda comprensión de los desafíos del mundo real.