FactAlign: un nuevo marco de IA de alineación diseñado para mejorar la factualidad de las respuestas extensas de los LLM manteniendo su utilidad

Los LLM son muy prometedores como motores avanzados de acceso a información gracias a su capacidad para generar respuestas largas y en lenguaje natural. Su capacitación previa a gran escala sobre vastos conjuntos de datos les permite responder varias preguntas. Técnicas como el ajuste de la instrucción y el aprendizaje reforzado a partir de la retroalimentación humana mejoran aún más la coherencia y el detalle de sus respuestas. Sin embargo, los LLM necesitan ayuda con las alucinaciones y la generación de contenido inexacto, particularmente en respuestas largas, donde es difícil garantizar la precisión de los hechos. A pesar de las mejoras en el razonamiento y la utilidad, la cuestión de la factualidad sigue siendo un obstáculo clave para su adopción en el mundo real.

Investigadores de la Universidad Nacional de Taiwán han desarrollado FACTALIGN, un marco diseñado para mejorar la precisión fáctica de los LLM y al mismo tiempo preservar su utilidad. FACTALIGN presenta fKTO, un algoritmo de alineación detallado a nivel de oración basado en el método de optimización de Kahneman-Tversky. Al aprovechar los avances recientes en la evaluación automática de los hechos, FACTALIGN alinea las respuestas del LLM con evaluaciones fácticas detalladas. Los experimentos con indicaciones de dominio abierto y de búsqueda de información muestran que FACTALIGN mejora significativamente la precisión fáctica sin sacrificar la utilidad, lo que aumenta la puntuación F1 fáctica. Las contribuciones clave del estudio incluyen el algoritmo fKTO y el marco FACTALIGN para mejorar la confiabilidad del LLM.

Investigaciones recientes sobre la alineación de los modelos lingüísticos se centran en alinear los modelos con los valores humanos. InstructGPT y LLaMA-2 demostraron un mejor seguimiento de instrucciones utilizando el aprendizaje reforzado a partir de la retroalimentación humana (RLHF). El RLHF detallado y métodos como la IA constitucional introdujeron retroalimentación basada en IA para reducir las necesidades de anotaciones humanas. Alternativas como DPO y KTO ofrecen objetivos de alineación más simples sin RL, y fKTO extiende KTO a la alineación a nivel de oración utilizando evaluadores de factualidad. Los desafíos de la realidad, como las alucinaciones, se han abordado mediante técnicas como la generación de recuperación aumentada y modelos de autoverificación como SelfCheckGPT. Métodos recientes como FactTune y FLAME se centran en mejorar la factualidad utilizando evaluadores de factualidad y estrategias de alineación, que fKTO mejora aún más.

El marco FACTALIGN incluye un canal para evaluar la factualidad en formato largo y un proceso de alineación para mejorar la precisión fáctica y la utilidad en los LM. Utiliza declaraciones atómicas de oraciones para crear una pérdida a nivel de oración, lo que permite una alineación más efectiva que los algoritmos que requieren etiquetas de preferencia por pares. La función de pérdida general combina pérdidas a nivel de respuesta y a nivel de oración, asignando un peso a esta última. El marco emplea optimización iterativa para abordar las discrepancias entre las evaluaciones de respuesta fuera de línea y los datos de entrenamiento del modelo. Esto implica muestrear periódicamente nuevas respuestas, evaluar su factibilidad e incorporarlas al conjunto de datos de capacitación para una mejora continua.

Los experimentos demuestran la eficacia del marco FACTALIGN en comparación con varios modelos, incluidos GPT-4-Turbo y LLaMA-2-70B-Chat. FACTALIGN mejora significativamente la factibilidad y utilidad del modelo básico Gemma-2B, logrando mejoras del 40,1 % en f1@100 y del 29,2 % en las puntuaciones de MT-Bench. Los hallazgos indican que FACTALIGN aumenta principalmente el recuerdo de los hechos, aumentando las afirmaciones sobre los hechos de 66,8 a 135,1 y mejorando ligeramente la precisión de los hechos. Un estudio de ablación muestra la necesidad de una optimización iterativa y destaca el impacto positivo tanto de la pérdida de fKTO como de los datos de dominio general en el rendimiento general del modelo.

En conclusión, el estudio presenta FACTALIGN, un marco para mejorar la precisión fáctica de las respuestas largas generadas por los LLM. El marco integra un proceso de construcción de datos y un algoritmo de alineación detallado llamado fKTO, que mejora la factibilidad y utilidad de los resultados del LLM. El análisis muestra que FACTALIGN permite un control preciso sobre la precisión de los hechos y los niveles de recuperación. Al abordar cuestiones como las alucinaciones y el contenido no fáctico, FACTALIGN demuestra una mejora significativa en la precisión de las respuestas de los LLM a indicaciones de dominio abierto y de búsqueda de información, lo que permite a los LLM proporcionar información más rica manteniendo la integridad fáctica.

Mira el Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y únete a nuestro Canal de telegramas y LinkedIn Grarriba. Si te gusta nuestro trabajo, te encantará nuestro hoja informativa.. No olvides unirte a nuestro SubReddit de más de 50.000 ml

¿Está interesado en promocionar su empresa, producto, servicio o evento ante más de 1 millón de desarrolladores e investigadores de IA? ¡Colaboremos!

A Sana Hassan, pasante de consultoría en Marktechpost y estudiante de doble titulación en IIT Madras, le apasiona aplicar la tecnología y la inteligencia artificial para abordar los desafíos del mundo real. Con un gran interés en resolver problemas prácticos, aporta una nueva perspectiva a la intersección de la IA y las soluciones de la vida real.