The Semantic Hub: un enfoque cognitivo para las representaciones de modelos lingüísticos

Los modelos de lenguaje han demostrado capacidades notables en el procesamiento de diversos tipos de datos, incluidos texto, código, expresiones matemáticas, imágenes y audio multilingües. Sin embargo, surge una pregunta fundamental: ¿cómo manejan estos modelos eficazmente entradas tan heterogéneas utilizando un único conjunto de parámetros? Si bien un enfoque sugiere desarrollar subespacios especializados para cada tipo de datos, esto pasa por alto las conexiones semánticas inherentes que existen entre formas de datos aparentemente diferentes. Por ejemplo, oraciones equivalentes en diferentes idiomas, pares de imagen y título o fragmentos de código con descripciones en lenguaje natural comparten similitudes conceptuales. Al igual que el centro semántico transmodal del cerebro humano que integra información de diversas entradas sensoriales, existe la oportunidad de desarrollar modelos que puedan proyectar diferentes tipos de datos en un espacio de representación unificado, realizar cálculos y generar resultados apropiados. El desafío radica en crear una arquitectura que pueda utilizar de manera efectiva estos puntos comunes estructurales mientras mantiene las características únicas de cada tipo de datos.

Los intentos anteriores de abordar la representación de tipos de datos cruzados se han centrado principalmente en alinear modelos de tipos monodatos entrenados por separado mediante técnicas de transformación. Las investigaciones han demostrado éxito en alinear incrustaciones de palabras en diferentes idiomas mediante métodos de mapeo, y se han aplicado enfoques similares para conectar representaciones visuales y textuales de distintos modelos. Algunos estudios han explorado un ajuste mínimo de modelos de solo lenguaje para manejar tareas multimodales. Investigaciones adicionales han investigado la evolución de la representación a través de capas transformadoras, examinando su impacto en el razonamiento, la factualidad y el procesamiento del conocimiento. Los estudios de poda de capas y salida temprana también han proporcionado información sobre la dinámica de representación. Sin embargo, estos enfoques normalmente requieren modelos separados o transformaciones entre representaciones, lo que limita su eficiencia y potencialmente pierde conexiones más profundas entre diferentes tipos de datos. Además, la necesidad de mecanismos de alineación explícitos añade complejidad y sobrecarga computacional a los sistemas.

Investigadores del MIT, la Universidad del Sur de California y el Instituto Allen de IA proponen un enfoque sólido para comprender cómo los modelos de lenguaje procesan múltiples tipos de datos a través de un espacio de representación compartido. La metodología se centra en investigar la existencia de un “centro semántico”: un espacio de representación unificado estructurado por el tipo de datos dominante del modelo, típicamente inglés. Este enfoque examina tres aspectos clave: primero, analiza cómo las entradas semánticamente similares de diferentes tipos de datos (lenguajes, expresiones aritméticas, código y entradas multimodales) se agrupan en capas intermedias del modelo; en segundo lugar, investigar cómo estas representaciones ocultas pueden interpretarse a través del lenguaje dominante del modelo utilizando la técnica de la lente logit; y tercero, realizar experimentos de intervención para demostrar que este espacio de representación compartido influye activamente en el comportamiento del modelo en lugar de ser un subproducto pasivo del entrenamiento. A diferencia de enfoques anteriores que se centraban en alinear modelos entrenados por separado, esta metodología examina cómo un modelo único desarrolla y utiliza naturalmente un espacio de representación unificado sin requerir mecanismos de alineación explícitos.

El marco de prueba de hipótesis del centro semántico emplea una arquitectura matemática sofisticada construida sobre funciones y espacios de representación de dominios específicos. Para cualquier tipo de datos z en el conjunto Z admitido por el modelo, el marco define un dominio Xz (como tokens chinos para el lenguaje o valores RGB para imágenes) y dos funciones cruciales: Mz, que asigna secuencias de entrada a un espacio de representación semántica Sz, y Vz, que transforma estas representaciones nuevamente al formato de tipo de datos original. La metodología de prueba evalúa dos ecuaciones fundamentales: primero, compara la similitud entre entradas semánticamente relacionadas de diferentes tipos de datos usando medidas de similitud coseno de estados ocultos, y segundo, examina la relación entre estas representaciones y el lenguaje dominante del modelo a través de la técnica de lente logit. Esta técnica analiza estados ocultos en capas intermedias aplicando la matriz de incrustación de tokens de salida, produciendo distribuciones de probabilidad que revelan el procesamiento interno del modelo. La arquitectura ha sido probada rigurosamente en múltiples tipos de datos, incluidos varios lenguajes, expresiones aritméticas, código, estructuras semánticas y entradas multimodales, lo que demuestra consistentemente la existencia de un espacio de representación semántica unificado.

La investigación presenta resultados convincentes de experimentos de intervención que validan el impacto causal del centro semántico en el comportamiento del modelo. En experimentos multilingües que utilizaron la técnica de Activación Adición, las intervenciones en el espacio de representación en inglés dirigieron efectivamente los resultados del modelo incluso al procesar textos en español y chino. Al realizar pruebas en 1000 prefijos tanto del conjunto de datos de InterTASS (español) como del corpus multilingüe de reseñas de Amazon (chino), el estudio comparó los resultados del modelo con y sin intervenciones utilizando palabras desencadenantes de sentimiento específicas del idioma (Bueno/Malo, Bueno/Malo, 好/坏). Estos experimentos demostraron que las intervenciones basadas en inglés lograron efectos de dirección del sentimiento comparables a las intervenciones que utilizan el idioma nativo del texto, manteniendo al mismo tiempo la fluidez y relevancia generacional. Los investigadores evaluaron la calidad del texto generado utilizando tres métricas clave: alineación del sentimiento con la dirección deseada, fluidez del texto generado y relevancia con el prefijo original. Los resultados apoyan firmemente la hipótesis de que el centro semántico no es simplemente un subproducto del entrenamiento, sino que influye activamente en las capacidades de procesamiento interlingüístico del modelo.

La investigación avanza en la comprensión de cómo los modelos de lenguaje procesan diversos tipos de datos a través de un centro semántico unificado. El estudio demuestra de manera concluyente que los modelos desarrollan naturalmente un espacio de representación compartido donde las entradas semánticamente relacionadas se agrupan, independientemente de su modalidad original. Este descubrimiento, validado en múltiples modelos y tipos de datos, abre nuevas posibilidades para la interpretación y el control de modelos a través de intervenciones específicas en el espacio lingüístico dominante.

Mira el Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y únete a nuestro Canal de telegramas y LinkedIn Grarriba. Si te gusta nuestro trabajo, te encantará nuestro hoja informativa.. No olvides unirte a nuestro SubReddit de más de 55.000 ml.

(Revista/Informe AI) Lea nuestro último informe sobre ‘MODELOS DE LENGUAS PEQUEÑAS‘

Asjad es consultor interno en Marktechpost. Está cursando B.Tech en ingeniería mecánica en el Instituto Indio de Tecnología, Kharagpur. Asjad es un entusiasta del aprendizaje automático y el aprendizaje profundo que siempre está investigando las aplicaciones del aprendizaje automático en la atención médica.