KnowFormer: un modelo innovador basado en transformadores para un razonamiento eficiente de gráficos de conocimiento, que aborda la incompletitud y mejora la precisión predictiva en conjuntos de datos a gran escala

Los grafos de conocimiento (KG) son representaciones estructuradas de hechos que consisten en entidades y relaciones entre ellas. Estos grafos se han vuelto fundamentales en la inteligencia artificial, el procesamiento del lenguaje natural y los sistemas de recomendación. Al organizar los datos de esta manera estructurada, los grafos de conocimiento permiten a las máquinas comprender y razonar sobre el mundo de manera más eficiente. Esta capacidad de razonamiento es crucial para predecir hechos faltantes o inferencias basadas en el conocimiento existente. Los KG se emplean en aplicaciones que van desde motores de búsqueda hasta asistentes virtuales, donde la capacidad de extraer conclusiones lógicas a partir de datos interconectados es vital.

Uno de los principales desafíos de los gráficos de conocimiento es que suelen ser incompletos. Muchos gráficos de conocimiento del mundo real necesitan relaciones importantes, lo que dificulta que los sistemas infieran nuevos hechos o generen predicciones precisas. Estas lagunas de información obstaculizan el proceso de razonamiento general, y los métodos tradicionales a menudo necesitan ayuda para abordar este problema. Los métodos basados ​​en rutas, que intentan inferir hechos faltantes examinando las rutas más cortas entre entidades, son especialmente propensos a rutas incompletas o demasiado simplificadas. Además, estos métodos a menudo enfrentan el problema de la “sobrecompresión de la información”, donde demasiada información se comprime en muy pocas conexiones, lo que conduce a resultados inexactos.

Los enfoques actuales para abordar estos problemas incluyen métodos basados ​​en incrustaciones que convierten las entidades y relaciones de un gráfico de conocimiento en un espacio de baja dimensión. Estas técnicas, como TransE, DistMult y RotatE, han preservado con éxito la estructura de los gráficos de conocimiento y han permitido el razonamiento. Sin embargo, los modelos basados ​​en incrustaciones tienen limitaciones. A menudo fallan en escenarios inductivos en los que se debe razonar sobre entidades o relaciones nuevas e invisibles, ya que no pueden aprovechar de manera efectiva las estructuras locales dentro del gráfico. Al igual que los propuestos en DRUM y CompGCN, los métodos basados ​​en rutas se centran en extraer rutas relevantes entre entidades. Sin embargo, también necesitan ayuda con las rutas faltantes o incompletas y el problema mencionado anteriormente de la sobrecompresión de la información.

Investigadores del Laboratorio Zhongguancun, la Universidad de Beihang y la Universidad Tecnológica de Nanyang presentaron un nuevo ConocerEx modelo, que utiliza la arquitectura del transformador para mejorar el razonamiento del gráfico de conocimiento. Este modelo cambia el enfoque de los métodos tradicionales basados ​​en rutas e incrustaciones a un enfoque consciente de la estructura. KnowFormer aprovecha el mecanismo de autoatención del transformador, que le permite analizar las relaciones entre cualquier par de entidades dentro de un gráfico de conocimiento. Esta arquitectura lo hace muy eficaz para abordar las limitaciones de los modelos basados ​​en rutas, lo que permite que el modelo realice el razonamiento incluso cuando faltan rutas o están incompletas. Al utilizar un sistema de atención basado en consultas, KnowFormer calcula las puntuaciones de atención entre pares de entidades en función de su plausibilidad de conexión, lo que ofrece una forma más flexible y eficiente de inferir los hechos faltantes.

El modelo KnowFormer incorpora una función de consulta y una función de valor para generar representaciones informativas de entidades. La función de consulta ayuda al modelo a identificar pares de entidades relevantes mediante el análisis de la estructura del gráfico de conocimiento, mientras que la función de valor codifica la información estructural necesaria para un razonamiento preciso. Este mecanismo de doble función permite a KnowFormer gestionar de forma eficaz la complejidad de los gráficos de conocimiento a gran escala. Los investigadores introdujeron un método de aproximación para mejorar la escalabilidad del modelo. KnowFormer puede procesar gráficos de conocimiento con millones de hechos manteniendo una baja complejidad temporal, lo que le permite gestionar de forma eficaz grandes conjuntos de datos como FB15k-237 y YAGO3-10.

En términos de rendimiento, KnowFormer demostró su superioridad en una variedad de puntos de referencia. En el conjunto de datos FB15k-237, por ejemplo, el modelo logró un rango recíproco medio (MRR) de 0,417, superando significativamente a otros modelos como TransE (MRR: 0,333) y DistMult (MRR: 0,330). De manera similar, en el conjunto de datos WN18RR, KnowFormer logró un MRR de 0,752, superando a los métodos de referencia como DRUM y SimKGC. El rendimiento del modelo fue igualmente impresionante en el conjunto de datos YAGO3-10, donde registró una puntuación de Hits@10 del 73,4 %, superando los resultados de los modelos destacados en el campo. KnowFormer también mostró un rendimiento excepcional en tareas de razonamiento inductivo, donde logró un MRR de 0,827 en el conjunto de datos NELL-995, superando con creces las puntuaciones de los métodos existentes.

En conclusión, KnowFormer, al alejarse de los métodos puramente basados ​​en rutas y los enfoques basados ​​en incrustaciones, los investigadores desarrollaron un modelo que aprovecha la arquitectura de transformadores para mejorar las capacidades de razonamiento. El mecanismo de atención de KnowFormer, combinado con su diseño escalable, lo hace muy eficaz para abordar los problemas de las rutas faltantes y la compresión de la información. Con un rendimiento superior en múltiples conjuntos de datos, incluido un MRR de 0,417 en FB15k-237 y un MRR de 0,752 en WN18RR, KnowFormer se ha establecido como un modelo de vanguardia en el razonamiento de gráficos de conocimiento. Su capacidad para manejar tareas de razonamiento tanto transductivo como inductivo lo posiciona como una herramienta sólida para futuras aplicaciones de inteligencia artificial y aprendizaje automático.

Echa un vistazo a la PapelTodo el crédito por esta investigación corresponde a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y únete a nuestro Canal de Telegram y LinkedIn Gr¡Arriba!. Si te gusta nuestro trabajo, te encantará nuestro hoja informativa..

No olvides unirte a nuestro Subreddit con más de 50 000 millones de usuarios

⏩ ⏩ SEMINARIO WEB GRATUITO SOBRE IA: ‘SAM 2 para video: cómo optimizar sus datos’ (miércoles 25 de septiembre, 4:00 a. m. a 4:45 a. m. EST)

Asif Razzaq es el director ejecutivo de Marktechpost Media Inc. Como ingeniero y emprendedor visionario, Asif está comprometido con aprovechar el potencial de la inteligencia artificial para el bien social. Su iniciativa más reciente es el lanzamiento de una plataforma de medios de inteligencia artificial, Marktechpost, que se destaca por su cobertura en profundidad de noticias sobre aprendizaje automático y aprendizaje profundo que es técnicamente sólida y fácilmente comprensible para una amplia audiencia. La plataforma cuenta con más de 2 millones de visitas mensuales, lo que ilustra su popularidad entre el público.