Política y práctica puente: informes de transparencia en modelos básicos
Los modelos de fundaciones han surgido como tecnologías digitales transformadoras, introduciendo nuevas capacidades y riesgos que han captado una atención pública sin precedentes. Sin embargo, el ecosistema del modelo básico actual carece de transparencia, lo que refleja los problemas que enfrentaron tecnologías digitales anteriores, como las plataformas de redes sociales. El Índice de Transparencia del Modelo de la Fundación 2023 reveló que los principales desarrolladores obtuvieron un promedio de solo 37 de 100 puntos en transparencia. Esta opacidad presenta desafíos importantes para comprender y gobernar estos poderosos sistemas de inteligencia artificial. A medida que los modelos de fundaciones continúan evolucionando e impactando a la sociedad, existe una necesidad creciente de prácticas de transparencia integrales y estandarizadas. Los gobiernos de todo el mundo están comenzando a abordar este problema a través de diversas iniciativas legislativas y regulatorias, con el objetivo de exigir informes públicos y aumentar la rendición de cuentas en la industria de la IA.
Los intentos existentes de abordar los desafíos de transparencia en la IA se han centrado principalmente en evaluaciones de modelos y marcos de documentación. Las evaluaciones de modelos tienen como objetivo aclarar las fortalezas y debilidades, pero a menudo carecen de un contexto social más amplio. Los enfoques de documentación, como las hojas de datos y las tarjetas de modelos, brindan información más completa al plantear preguntas abiertas sobre la creación de conjuntos de datos, el desarrollo de modelos y sus limitaciones. Se han introducido tarjetas de ecosistema específicamente para modelos básicos, enfatizando la importancia de rastrear las relaciones entre conjuntos de datos, modelos y aplicaciones.
Estos métodos, sin embargo, enfrentan limitaciones en cuanto a estandarización e integridad. Por ejemplo, la tarjeta modelo Llama 2, si bien aborda muchas categorías de alto nivel, omite varias preguntas de nivel inferior del marco de la tarjeta modelo original. Además de esto, las listas de verificación de reproducibilidad requeridas por las conferencias de IA han intentado hacer cumplir algunos estándares de transparencia. A pesar de estos esfuerzos, el panorama actual de la transparencia de la IA sigue siendo fragmentado e inconsistente, lo que destaca la necesidad de un enfoque más estructurado e integral para los informes de transparencia del modelo básico.
Investigadores de la Universidad de Stanford, el Instituto Tecnológico de Massachusetts y la Universidad de Princeton proponen Transparencia del modelo de fundación Informes, que ofrecen un enfoque estructurado para abordar los desafíos de transparencia en la industria de la IA. Estos informes están diseñados para ser publicados periódicamente por los desarrolladores de modelos básicos y brindan información esencial en un formato estandarizado. Este método se basa en las recomendaciones del código de conducta voluntario del G7 y los compromisos voluntarios de la Casa Blanca, al tiempo que incorpora los 100 indicadores de transparencia definidos en el Índice de Transparencia del Modelo de la Fundación.
El enfoque propuesto tiene como objetivo consolidar información crucial, haciéndola fácilmente accesible para las partes interesadas y facilitando el análisis y la comparación entre diferentes desarrolladores. Los informes de transparencia van más allá de las políticas gubernamentales actuales al especificar un esquema preciso para la divulgación de información, que cubre toda la cadena de suministro de los modelos de fundaciones. Al implementar estas prácticas de presentación de informes, los desarrolladores pueden establecer normas de transparencia más estrictas en el ecosistema de IA, lo que podría mejorar el cumplimiento con varias jurisdicciones y reducir la carga general de cumplimiento. La metodología también incluye ejemplos de entradas de informes basados en información disponible públicamente, sentando un precedente claro para futuros esfuerzos de transparencia en la industria de modelos de cimientos.
Los informes de transparencia del modelo Foundation están diseñados en base a seis principios clave derivados de las fortalezas y debilidades de los informes de transparencia de las redes sociales. Estos principios tienen como objetivo crear un enfoque más integral y estandarizado para la transparencia en la industria de la IA. Los primeros tres principios se basan en las fortalezas de los informes de transparencia de redes sociales existentes: (1) Consolidación de información en una ubicación centralizada, proporcionando a las partes interesadas una fuente única y predecible de datos relevantes. (2) Informes estructurados que abordan consultas específicas, generalmente organizados en cuatro secciones de nivel superior, estableciendo expectativas claras para el contenido del informe. (3) Amplia contextualización de la información para garantizar una interpretación adecuada por parte de diversas partes interesadas con distintos niveles de experiencia.
Los tres principios restantes abordan las deficiencias de las prácticas actuales de transparencia en las redes sociales: (4) Especificación independiente de la información a incluir, evitando informes selectivos por parte de las plataformas. (5) Estandarización total tanto de la forma como del contenido, lo que permite una fácil comparación y agregación de datos entre diferentes plataformas. (6) Especificación clara de metodologías para calcular estadísticas para evitar interpretaciones erróneas y garantizar la coherencia en los informes. Estos principios tienen como objetivo crear un marco de transparencia más sólido y significativo para los modelos de fundaciones.
Sobre la base de estos principios, los Informes de Transparencia del Modelo de Fundación incorporan indicadores derivados del Índice de Transparencia del Modelo de Fundación. Este enfoque garantiza una cobertura integral del ecosistema del modelo básico, abordando varios aspectos de la cadena de suministro. Los informes están diseñados para proporcionar información específica y estandarizada que permita realizar comparaciones significativas entre diferentes desarrolladores y modelos.
La estructura de estos informes está cuidadosamente diseñada para equilibrar el detalle con la accesibilidad. Por lo general, incluyen secciones que cubren áreas clave como desarrollo de modelos, datos de entrenamiento, arquitectura de modelos, métricas de rendimiento y prácticas de implementación. Cada sección contiene indicadores claramente definidos sobre los que los desarrolladores deben informar, asegurando coherencia y comparabilidad.
Para facilitar la implementación, la metodología incluye ejemplos de cómo los desarrolladores pueden reportar información relacionada con estos indicadores. Estos ejemplos sirven como plantillas y demuestran el nivel de detalle y formato esperado en los informes. Al proporcionar dicha orientación, los Informes de Transparencia del Modelo Marco tienen como objetivo establecer un estándar uniforme para la transparencia en la industria de la IA, facilitando a las partes interesadas el acceso, la interpretación y el análisis de información crucial sobre los modelos básicos.
Los Informes de Transparencia del Modelo de la Fundación están diseñados para alinearse con las políticas gubernamentales existentes y emergentes, facilitando el cumplimiento en diferentes jurisdicciones. La metodología rastrea seis políticas principales, incluida la Ley de IA de la UE y la Orden Ejecutiva de EE. UU. sobre IA, relacionando los indicadores del informe con requisitos específicos dentro de estas regulaciones.
Esta alineación tiene múltiples propósitos. En primer lugar, incentiva a los desarrolladores de modelos de fundación a adoptar el marco de presentación de informes de transparencia, ya que gran parte de la información divulgada también satisfará los requisitos legales. En segundo lugar, proporciona una imagen clara de cómo las diferentes jurisdicciones priorizan diversos aspectos de la transparencia de la IA, destacando posibles lagunas o superposiciones en los enfoques regulatorios.
Sin embargo, el análisis revela un nivel relativamente bajo de alineación entre las políticas gubernamentales actuales y el conjunto integral de indicadores propuestos en los informes de transparencia. Esta discrepancia subraya la falta de granularidad en muchos requisitos gubernamentales de transparencia para la IA. Al ofrecer una estructura de informes más detallada y estandarizada, los Informes de Transparencia Modelo de la Fundación tienen como objetivo no solo cumplir sino superar los estándares regulatorios actuales, lo que podría influir en el desarrollo de políticas futuras en el campo de la gobernanza de la IA.
Para ilustrar la implementación práctica de los Informes de Transparencia del Modelo de Fundación, los investigadores construyeron entradas de ejemplo a partir de las prácticas de nueve principales desarrolladores de modelos de fundación. Este enfoque fue necesario por las mediocres prácticas de transparencia actuales en toda la industria, como lo revela el Índice de Transparencia del Modelo de Fundación (FMTI) de 2023.
El informe de ejemplo se centra en 82 de 100 indicadores en los que al menos un desarrollador demostró cierto nivel de transparencia. Para cada indicador, los investigadores seleccionaron al desarrollador cuyas prácticas ejemplificaban mejor la transparencia, lo que dio como resultado un informe compuesto que muestra una variedad de mejores prácticas en diferentes aspectos del desarrollo y la implementación del modelo básico.
Este ejercicio reveló varias ideas clave:
1. Todavía hay 18 indicadores sobre los cuales ningún desarrollador importante proporciona actualmente información transparente, particularmente en áreas relacionadas con estadísticas laborales y de uso.
2. Incluso para los 82 indicadores con algún nivel de divulgación, hay un margen importante de mejora en términos de contextualización y claridad metodológica.
3. La falta de un marco conceptual común entre los desarrolladores genera inconsistencias en la forma en que se reporta la información, particularmente en lo que respecta a los canales de datos y la participación laboral.
4. Para muchos indicadores, sigue sin estar claro si la información divulgada es completa o parcial.
Estos hallazgos subrayan la necesidad de prácticas de transparencia más estandarizadas e integrales en el ecosistema del modelo básico, destacando áreas donde los desarrolladores pueden establecer precedentes significativos y mejorar sus metodologías de presentación de informes.
La transparencia en el desarrollo del modelo de fundación cumple múltiples funciones cruciales, desde mejorar la rendición de cuentas pública hasta mejorar la gestión de riesgos. A medida que el campo evoluciona, se vuelve cada vez más importante establecer normas sólidas y estándares industriales para la transparencia. Diferentes aspectos de la transparencia atienden a objetivos sociales y grupos de partes interesadas específicos. La transparencia en los datos, las prácticas laborales, el uso de la informática, las evaluaciones y las estadísticas de uso informa directamente la comprensión de los sesgos del modelo, las condiciones laborales, los costos de desarrollo, las capacidades, los riesgos y el impacto económico. Al fomentar una cultura de apertura, la comunidad de IA puede abordar colectivamente los desafíos, mejorar la comprensión y, en última instancia, mejorar el impacto social de los modelos básicos.
Mira el Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y únete a nuestro Canal de telegramas y LinkedIn Grarriba. Si te gusta nuestro trabajo, te encantará nuestro hoja informativa..
No olvides unirte a nuestro SubReddit de 52k+ ML
Asjad es consultor interno en Marktechpost. Está cursando B.Tech en ingeniería mecánica en el Instituto Indio de Tecnología, Kharagpur. Asjad es un entusiasta del aprendizaje automático y el aprendizaje profundo que siempre está investigando las aplicaciones del aprendizaje automático en la atención médica.