Orientación de valor integrada (IVG): un método de IA que combina funciones de valor implícitas y explícitas aplicadas al muestreo de tokens y a la búsqueda de haz a nivel de fragmentos

La integración de valores humanos después del entrenamiento del modelo utilizando algoritmos basados ​​en el aprendizaje requiere un ajuste fino de los LLM, lo que requiere más potencia computacional y requiere mucho tiempo. Además, genera respuestas sesgadas e indeseables por parte del usuario. Existe la necesidad de desarrollar un modelo que pueda adaptarse eficientemente a las preferencias del usuario en tiempo real integrando algoritmos que puedan interferir en el tiempo de inferencia. Este método evitará volver a entrenar los modelos repetidamente para obtener los resultados deseados al congelar el modelo base y reducir el costo computacional del ajuste de los LLM.

Los investigadores desarrollaron métodos de alineación de inferencia-tiempo para integrar los valores humanos después de ajustar los LLM utilizando funciones implícitas y explícitas sin cambiar el modelo base. Las funciones implícitas se utilizan para la generación de tokens, que realiza evaluaciones palabra por palabra y prefiere el resultado con la mayor probabilidad. Por el contrario, las funciones explícitas requieren una estructura rígida para evaluar fragmentos de texto más grandes y generar la siguiente secuencia de palabras con la mayor probabilidad manteniendo el contexto general. La función explícita es inflexible y costosa desde el punto de vista computacional, y no logra abordar la optimización a nivel de token, mientras que la función implícita enfrenta problemas de interpretabilidad y requiere frecuentes pases hacia adelante, lo que lleva a una baja eficiencia en tiempo real.

Para abordar las desventajas de ambas funciones, el método propuesto, Integrated Value Guidance (IVG), combina la optimización a nivel de token de la función implícita y la perspectiva más amplia de la función explícita. Pudo evitar los desafíos de adaptación y las compensaciones en la eficacia de la alineación, lo que condujo a menores discrepancias en el desempeño y facilitó su implementación. Estas ventajas facilitaron un mejor rendimiento en tareas como la generación controlada de sentimientos y el resumen. IVG, combinado con modelos más pequeños como GPT-2, podría competir con modelos superiores.

IVG incorpora las dos funciones de valor, las funciones implícitas y explícitas, para alinear el modelo con los valores humanos. En primer lugar, el muestreo por tokens ajusta los tokens individuales a una longitud de secuencia específica, generando múltiples secuencias. Luego, la búsqueda de haz a nivel de fragmentos compara las probabilidades de estas secuencias y selecciona la que tiene la mayor probabilidad. Aunque este método garantiza que la salida sea más robusta, la potencia computacional aumenta durante el tiempo de inferencia debido a los frecuentes avances, lo que lleva a respuestas más lentas.

Los investigadores han utilizado dos configuraciones experimentales para evaluar la IVG: 1. Generación controlada de sentimientos y resumen, y 2. Seguimiento de instrucciones. En el primero, se utiliza la familia de modelos GPT-2 aprovechando conjuntos de datos sintéticos de un modelo de recompensa de oro para generar críticas positivas de películas y resumir publicaciones de Reddit. En comparación, el segundo requiere un modelo ajustado a las instrucciones, AlpacaEval 2.0. Emplea Tulu Guidance, que utiliza modelos específicos para funciones implícitas y entrena un modelo basado en recompensas para la función explícita, y Ultraguidance, que afina un modelo con optimización de preferencia directa (DPO) para ambas funciones. Se utilizó GPT-4-turbo como referencia para evaluar las respuestas en el segundo experimento, y IVG tuvo un buen desempeño consistente.

Además de estos dos experimentos, un estudio de ablación demostró que Chunk-Level Beam Search (CBS) tenía una mayor eficiencia de velocidad que Emulator Fine-Tuning (EFT), que utiliza la función implícita para el ajuste fino. Estos resultados han demostrado que es mucho mejor utilizar CBS en la práctica.

En conclusión, la Guía de Valor Integrada (IVG) ofrece un enfoque novedoso y eficiente para alinear grandes modelos de lenguaje con las preferencias humanas puramente en el momento de la inferencia, evitando las complejidades del ajuste tradicional. Al aprovechar las funciones de valor implícitas y explícitas, IVG mejora el rendimiento tanto en el muestreo de tokens como en la decodificación a nivel de fragmentos, como se demuestra a través de mejoras significativas en la generación de sentimientos, el resumen y las tareas de seguimiento de instrucciones. Los resultados demostraron que la IVG es un método versátil y proporciona pruebas empíricas sólidas de su capacidad para superar los enfoques existentes, lo que la convierte en una solución prometedora para ajustar modelos grandes en aplicaciones del mundo real.

Mira el Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y únete a nuestro Canal de telegramas y LinkedIn Grarriba. Si te gusta nuestro trabajo, te encantará nuestro hoja informativa..

No olvides unirte a nuestro SubReddit de más de 50.000 ml

¿Quiere estar frente a más de 1 millón de lectores de IA? Trabaja con nosotros aquí

Afeerah Naseem es pasante de consultoría en Marktechpost. Está cursando su licenciatura en tecnología en el Instituto Indio de Tecnología (IIT), Kharagpur. Le apasiona la ciencia de datos y le fascina el papel de la inteligencia artificial en la resolución de problemas del mundo real. Le encanta descubrir nuevas tecnologías y explorar cómo pueden hacer que las tareas cotidianas sean más fáciles y eficientes.