GraphAide: creación y utilización de gráficos de conocimiento para asistentes digitales de dominios específicos

Los modelos de lenguajes grandes (LLM) han revolucionado las aplicaciones de inteligencia artificial en diversos campos, permitiendo a los expertos en el campo utilizar modelos previamente entrenados para soluciones innovadoras. Si bien los LLM se destacan en tareas como resumen, correlación e inferencia, el desarrollo de aplicaciones basadas en LLM sigue siendo un área dinámica de investigación a través de diversas fuentes de entrada. Los gráficos de conocimiento (KG) sirven como herramientas poderosas que se pueden utilizar en diversos entornos de usuario como fuentes de conocimiento de referencia fundamentales. Sin embargo, su construcción plantea desafíos sustanciales debido a la escala de datos, la heterogeneidad de conceptos y los requisitos de recursos. Un desafío crítico en las aplicaciones LLM es la alucinación, la generación de hechos inexistentes que surgen de la memorización de datos de entrenamiento de los modelos y la dependencia de heurísticas basadas en corpus.

Los enfoques existentes se centran principalmente en aplicaciones específicas, con recuperación-generación aumentada (RAG) como método de referencia. RAG transforma datos no estructurados en fragmentos incrustados almacenados en bases de datos vectoriales, utilizando coincidencias de similitud semántica para recuperar contexto relevante para consultas LLM. Si bien este enfoque aborda las alucinaciones y los problemas de conocimiento obsoleto, su dependencia de la similitud semántica limita su eficacia. Los métodos avanzados como GraphRAG emplean resumen centrado en consultas y detección de comunidades para la generación de respuestas globales, y otros enfoques se centran en tareas especializadas como la creación de KG relacionados con la sostenibilidad y la extracción de gráficos causales. Sin embargo, estos métodos tienen una extensibilidad limitada y no logran aprovechar los marcos de desarrollo modernos de código abierto.

Investigadores del Laboratorio Nacional del Noroeste del Pacífico han propuesto GraphAide, una capacidad avanzada basada en LLM que ofrece información sobre datos de dominios específicos y permite a los usuarios hacer preguntas en lenguaje natural. GraphAide presenta una metodología integral y una arquitectura de referencia para integrar GenAI con tecnologías web semánticas a través de un enfoque RAG modular y extensible. Además, combina bases de datos vectoriales y gráficas para superar las limitaciones de las aplicaciones LLM tradicionales que utilizan gráficos de conocimiento guiados por ontologías. La arquitectura agente extensible de GraphAide garantiza la reutilización de los componentes durante todo el ciclo de vida de la aplicación.

La arquitectura de GraphAide combina enfoques agentes y basados ​​en cadena para crear un sistema RAG complejo que utiliza múltiples instancias de LLM para diversas tareas. A diferencia de los sistemas tradicionales basados ​​en cadenas con instrucciones codificadas, los componentes agentes de GraphAide pueden interpretar dinámicamente las respuestas de LLM y construir consultas posteriores. El sistema opera en distintas fases:

• Una fase de curación que integra información de múltiples fuentes para crear un gráfico de conocimiento completo junto con una base de datos vectorial.
• Una fase de exploración que proporciona una interfaz interactiva para la consulta de conocimientos.

Esta arquitectura de doble fase permite a los usuarios acceder a información a través de consultas en lenguaje natural mientras reciben respuestas formateadas con explicaciones detalladas y rutas de razonamiento.

GraphAide procesa 1.846 artículos de noticias y genera un KG utilizando un agente de desambiguación basado en WikiData y guiado por ontologías. Este método muestra resultados superiores en comparación con los enfoques RAG básicos a través de su metodología RAG híbrida, que ofrece especificidad mejorada y capacidades de inferencia entre documentos. El KG generado muestra un reconocimiento de entidades nombradas (NER) y una calidad de extracción de relaciones mejorados en comparación con los enfoques de referencia. Además, GraphAide logra una distribución más equilibrada y diversa de los tipos de nodos, superando el problema común del desequilibrio de tipos de nodos que a menudo se observa en los KG de referencia donde los tipos “PER” (persona) suelen dominar. También destaca en la extracción de tipos de bordes basados ​​en eventos, que son beneficiosos para la representación temporal de eventos en los datos de entrada.

En conclusión, los investigadores presentaron GraphAide, que representa un avance significativo en la utilización de LLM para asistentes digitales de dominios específicos. Su enfoque innovador combina capacidades de KG con técnicas RAG avanzadas para mejorar la precisión, la explicabilidad y la confianza del usuario en las aplicaciones LLM. La eficacia de GraphAide se demuestra a través de su aplicación al escenario del conflicto político entre Ucrania y Rusia, donde generó con éxito KG completos a partir de artículos de noticias. Si bien los resultados iniciales son prometedores, el trabajo futuro se centrará en métricas de evaluación cuantitativa formal, particularmente en áreas de precisión y relevancia para validar aún más las mejoras del sistema con respecto a los enfoques existentes.

Mira el Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y únete a nuestro Canal de telegramas y LinkedIn Grarriba. Si te gusta nuestro trabajo, te encantará nuestro hoja informativa.. No olvides unirte a nuestro SubReddit de más de 55.000 ml.

(SEMINARIO WEB GRATUITO sobre IA) Implementación del procesamiento inteligente de documentos con GenAI en servicios financieros y transacciones inmobiliarias– Del marco a la producción

Sajjad Ansari es un estudiante de último año de IIT Kharagpur. Como entusiasta de la tecnología, profundiza en las aplicaciones prácticas de la IA centrándose en comprender el impacto de las tecnologías de IA y sus implicaciones en el mundo real. Su objetivo es articular conceptos complejos de IA de una manera clara y accesible.