Verificación de triples RDF mediante LLM con argumentos rastreables: un método para la validación de gráficos de conocimiento a gran escala

En una investigación reciente, se ha introducido una técnica de vanguardia para utilizar modelos de lenguaje grandes (LLM) para verificar los triples RDF (marco de descripción de recursos), lo que pone de relieve la importancia de proporcionar un razonamiento rastreable y verificable. Los componentes básicos de los gráficos de conocimiento (KG) son los triples RDF, que se componen de declaraciones de sujeto-predicado-objeto que describen relaciones o hechos. Mantener la exactitud de estas afirmaciones es esencial para mantener la confiabilidad de los KG, en particular a medida que su aplicación crece en una variedad de industrias, incluidas las biociencias.

La limitación intrínseca de los LLM existentes, que es su incapacidad para identificar con precisión la fuente de los datos que utilizan para crear respuestas, es uno de los principales problemas que este enfoque intenta resolver. Si bien los LLM son herramientas sólidas que pueden producir un lenguaje similar al humano a partir de enormes volúmenes de datos previamente entrenados, con frecuencia tienen problemas para rastrear las fuentes precisas del contenido que producen u ofrecer citas precisas. Esta falta de trazabilidad plantea problemas relacionados con la veracidad de los datos proporcionados por los LLM, especialmente en situaciones en las que la precisión es crucial.

El enfoque sugerido evita deliberadamente depender del conocimiento factual interno del LLM para sortear este problema. En cambio, adopta un método más estricto al comparar secciones pertinentes de textos externos con los tripletes RDF que requieren verificación. Estos documentos se obtienen a través de búsquedas en la web o de Wikipedia, lo que garantiza que el proceso de verificación se basa en materiales que se pueden citar directamente y rastrear hasta sus fuentes originales.

El equipo ha compartido que el método se sometió a pruebas exhaustivas en las biociencias, un área conocida por su materia intrincada y altamente especializada. Los investigadores evaluaron la eficacia del método utilizando un conjunto de afirmaciones de investigación biomédica conocida como el conjunto de datos BioRED. Para tener en cuenta los posibles falsos positivos, evaluaron 1.719 afirmaciones RDF positivas del conjunto de datos, además de un número equivalente de afirmaciones negativas recién creadas. Aunque los resultados mostraron ciertos límites, fueron alentadores. Con una precisión del 88%, el método identificó correctamente las afirmaciones el 88% de las veces cuando se etiquetaron como verdaderas. Sin embargo, con una tasa de recuperación del 44%, solo reconoció el 44% de todas las proposiciones verdaderas, dejando fuera una cantidad considerable de ellas.

Estos resultados implican que, si bien la técnica es muy precisa en las afirmaciones que valida, puede ser necesario seguir trabajando para aumentar su capacidad de detectar todas las afirmaciones verdaderas. La capacidad de recuperación comparativamente baja sugiere que aún se requiere supervisión humana para garantizar la precisión del procedimiento de verificación. Esto pone de relieve lo crucial que es combinar la experiencia humana con tecnologías automatizadas como los LLM para obtener los mejores resultados.

El equipo también ha compartido cómo se puede utilizar esta estrategia en la práctica en uno de los gráficos de conocimiento más grandes y populares, Wikidata. Los investigadores recuperaron automáticamente los triples RDF que debían verificarse de Wikidata utilizando una consulta SPARQL. Verificaron las declaraciones con artículos externos utilizando el método sugerido en estos triples, lo que destaca el potencial del método para un uso generalizado.

En conclusión, los hallazgos de este estudio apuntan a la importancia potencial de los LLM en el trabajo históricamente difícil de verificación de declaraciones a gran escala en grafos de conocimiento debido al alto costo de la anotación humana. Este enfoque proporciona un medio escalable para preservar la precisión y confiabilidad de los KG al automatizar el proceso de verificación y anclarlo en fuentes externas verificables. La supervisión humana sigue siendo necesaria, especialmente en situaciones en las que la memoria del LLM es deficiente. A la luz de esto, este método es un avance positivo en el aprovechamiento del potencial de los LLM para la verificación de conocimiento rastreable.

procesos cognitivos.

Echa un vistazo a la PapelTodo el crédito por esta investigación corresponde a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y únete a nuestro Canal de Telegram y LinkedIn Gr¡Arriba!. Si te gusta nuestro trabajo, te encantará nuestro hoja informativa..

No olvides unirte a nuestro Subreddit con más de 50 000 millones de usuarios

⏩ ⏩ SEMINARIO WEB GRATUITO SOBRE IA: ‘SAM 2 para video: cómo optimizar sus datos’ (miércoles 25 de septiembre, 4:00 a. m. a 4:45 a. m. EST)