Kwai-STaR: un marco de inteligencia artificial que transforma los LLM en razonadores de transición de estado para mejorar sus capacidades de razonamiento intuitivo

A los modelos de lenguaje grandes les resulta difícil comprender el razonamiento matemático. El razonamiento matemático implica diversas tareas cognitivas, como comprender y manipular conceptos matemáticos, resolver problemas y hacer deducciones lógicas. Se han establecido métodos existentes en este dominio para mejorar la capacidad matemática de los LLM. Sin embargo, pocos reconocen el valor de la transición de estado para el razonamiento de los LLM, que puede mejorar significativamente las capacidades de razonamiento de los LLM, pero aún no se ha reconocido ni utilizado ampliamente.

Los métodos actuales se centran en mejorar las habilidades matemáticas características de los LLM a través de capacitación como GPT, LLaMA y MetaMath. Estos modelos utilizan indicaciones matemáticas a gran escala para guiar el razonamiento paso a paso durante la resolución de problemas. CoT y Best-of-N exploran cómo aprovechar al máximo el potencial de los LLM durante la inferencia para mejorar el rendimiento matemático. Búsqueda de árboles de Montecarlo y Modelo de recompensa de proceso han logrado resultados notables al descomponer el proceso de resolución de problemas en múltiples pasos y al mismo tiempo proporcionar recompensas oportunas. Sin embargo, estos métodos tienen limitaciones en cuanto a eficiencia y adaptabilidad a diferentes tipos de problemas.

Kwai-EstrellaPara superar este desafío, se ha propuesto un marco para transformar los LLM generales en razonadores de transición de estado, que resuelven sistemáticamente problemas mediante la realización de una transición de estado.

Investigadores de Universidad de Tsinghua, Kuaishou Technology, Instituto de Automatización y Academia de Ciencias de China han propuesto Kwai-STAR. El proceso implica tres pasos principales: definir un espacio de estado para la resolución de problemas, construir un conjunto de datos de transición de estado y capacitar a los LLM utilizando un plan de estudios de dos etapas. El conjunto de datos contiene dos tipos de instancias: una mayoría de casos correctos y una minoría de casos incorrectos y luego verificados por el generador de datos y el razonador capacitado. La estrategia de formación consta de dos etapas para maximizar la eficiencia del aprendizaje: una etapa fundamental y una etapa avanzada. La etapa fundamental entrena el modelo con la mayoría de los casos correctos, lo que le permite resolver problemas relativamente simples y comprender la forma de transición de estado. La etapa avanzada incluye pares de casos incorrectos y verificados para fortalecer aún más la competencia. Kwai-DStar está capacitado en puntos de referencia como GSM8K, que demostró el impresionante rendimiento y eficiencia de Kwai-STaR. También demostró que Kwai-STaR logra altas tasas de precisión con procesos de inferencia más simples que los requeridos por los métodos tradicionales.

En conclusión, Kwai-DStar transforma un LLM tradicional en un razonador de transición de estado, lo que mejora sus capacidades de razonamiento para abordar problemas matemáticos. El actual Kwai-STaR sólo ha validado su eficacia en el campo de las matemáticas. Si bien el dominio matemático es desafiante y representativo, el potencial del espacio de estados para mejorar el razonamiento LLM en escenarios generales aún no está verificado, lo que limita la generalización del Kwai-STaR. Por lo tanto, los investigadores están trabajando activamente para proporcionar resultados experimentales adicionales en entornos más diversos y generales para demostrar aún más la generalización del enfoque Kwai-STaR.

Mira el Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y únete a nuestro Canal de telegramas y LinkedIn Grarriba. Si te gusta nuestro trabajo, te encantará nuestro hoja informativa.. No olvides unirte a nuestro SubReddit de más de 55.000 ml.

(Revista/Informe AI) Lea nuestro último informe sobre ‘MODELOS DE LENGUAS PEQUEÑAS‘

Nazmi Syed es pasante de consultoría en MarktechPost y está cursando una licenciatura en Ciencias en el Instituto Indio de Tecnología (IIT) Kharagpur. Tiene una profunda pasión por la ciencia de datos y explora activamente las amplias aplicaciones de la inteligencia artificial en diversas industrias. Fascinada por los avances tecnológicos, Nazmi está comprometida a comprender e implementar innovaciones de vanguardia en contextos del mundo real.