GraphIC: un nuevo enfoque de aprendizaje automático que aprovecha las representaciones basadas en gráficos de procesos de razonamiento junto con redes bayesianas (BN) para seleccionar ejemplos en contexto (ICE)
El aprendizaje en contexto (ICL) permite a los LLM adaptarse a nuevas tareas al incluir algunos ejemplos directamente en la entrada sin actualizar sus parámetros. Sin embargo, seleccionar ejemplos en contexto (ICE) apropiados es fundamental, especialmente para funciones como las matemáticas y la lógica que requieren un razonamiento de varios pasos. Las incrustaciones tradicionales basadas en texto a menudo priorizan similitudes semánticas superficiales, que pueden no alinearse con las estructuras de razonamiento más profundas necesarias para tales tareas. Investigaciones recientes sugieren que las representaciones basadas en gráficos reflejan los procesos cognitivos humanos y pueden modelar mejor el razonamiento de varios pasos y mejorar la selección de ICE al capturar patrones de pensamiento transferibles.
Las técnicas existentes para seleccionar ICE se dividen en dos categorías: sin capacitación y basadas en capacitación. Los métodos sin capacitación suelen utilizar criterios heurísticos como similitud, diversidad o complejidad o dependen de la retroalimentación de los LLM, como distribuciones de probabilidad o resultados del modelo, para guiar la selección. Si bien estos enfoques son computacionalmente eficientes, a menudo necesitan funcionar mejor en comparación con los métodos basados en capacitación. Los enfoques basados en la capacitación se centran en la selección de ejemplos individuales o grupales, pero requieren muchos recursos.
Un equipo de investigadores de la Universidad del Sureste, el Instituto de Ciencias Matemáticas de Beijing, Yale y UC San Diego presentaron GraphIC, un método de recuperación de ICE basado en gráficos. GraphIC utiliza representaciones gráficas y redes bayesianas (BN) para capturar procesos de razonamiento y seleccionar ICE, filtrando la semántica irrelevante y preservando el razonamiento central. Refleja la cognición humana al modelar las dependencias del pensamiento. El sistema de recuperación de GraphIC alinea los ejemplos con la estructura de razonamiento de una consulta, incluso si no son semánticamente similares. Los experimentos en tareas como el razonamiento matemático y la generación de código muestran que GraphIC supera en efectividad y eficiencia tanto a los modelos basados en capacitación como a los libres de capacitación.
El modelo GraphIC propuesto utiliza representaciones basadas en gráficos para mejorar la selección de ejemplos para tareas de razonamiento. Introduce “gráficos de pensamiento”, que representan pasos de razonamiento como nodos, y emplea un modelo probabilístico basado en BN para capturar las dependencias entre pensamientos. El sistema de recuperación selecciona ejemplos que maximizan la densidad de probabilidad de los procesos de razonamiento. Un mecanismo de PageRank personalizado refina el gráfico de pensamiento, simulando cómo los humanos revisan pasos anteriores al resolver problemas. A través de la optimización de formas bilineales, GraphIC selecciona de manera eficiente ejemplos con el mayor potencial para resolver tareas de razonamiento de varios pasos, superando los métodos tradicionales basados en similitudes de gráficos.
El modelo GraphIC se evalúa según cuatro puntos de referencia de razonamiento: GSM8K y AQUA (razonamiento matemático), MBPP (generación de código) y ProofWriter (razonamiento lógico). Utilizando GPT-4o-mini y Llama-3.1-8B-Instruct, GraphIC supera las líneas de base de recuperación sin entrenamiento y basadas en entrenamiento, con una ganancia promedio de 2,57 % y 4,29 % respectivamente. Destaca en tareas de razonamiento complejas, particularmente en conjuntos de datos matemáticos y lógicos como GSM8K y AQUA. Los estudios de ablación destacan la importancia de los gráficos de pensamiento, el PageRank personalizado (PPR) y la recuperación basada en BN para mejorar el rendimiento. GraphIC muestra consistentemente mejoras sólidas de rendimiento en todos los conjuntos de datos a medida que aumenta la cantidad de ejemplos de ICE.
En conclusión, GraphIC es un método basado en gráficos para la recuperación de ICE diseñado para mejorar los LLM en tareas de razonamiento de varios pasos. Al representar el razonamiento como “gráficos de pensamiento” y emplear BN y PageRank personalizado, GraphIC selecciona ICE que se alinean con las estructuras de razonamiento cognitivo. Supera los métodos de incrustación basados en texto, que necesitan ayuda con tareas de razonamiento complejas. Los resultados experimentales de funciones matemáticas, lógicas y de generación de código muestran que GraphIC supera consistentemente tanto a los modelos basados en entrenamiento como a los libres de entrenamiento. Aunque su marco sin formación tiene limitaciones a la hora de capturar patrones de pensamiento complejos, ofrece una forma de representar y mejorar los procesos de razonamiento de LLM.
Mira el Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y únete a nuestro Canal de telegramas y LinkedIn Grarriba. Si te gusta nuestro trabajo, te encantará nuestro hoja informativa.. No olvides unirte a nuestro SubReddit de más de 50.000 ml
¿Está interesado en promocionar su empresa, producto, servicio o evento ante más de 1 millón de desarrolladores e investigadores de IA? ¡Colaboremos!
A Sana Hassan, pasante de consultoría en Marktechpost y estudiante de doble titulación en IIT Madras, le apasiona aplicar la tecnología y la inteligencia artificial para abordar los desafíos del mundo real. Con un gran interés en resolver problemas prácticos, aporta una nueva perspectiva a la intersección de la IA y las soluciones de la vida real.