FEDKIM: un marco de inyección de conocimientos federado para mejorar los modelos de bases médicas multimodales

Los modelos básicos muestran capacidades impresionantes en todas las tareas y modalidades, superando los enfoques tradicionales de IA, a menudo específicos de tareas y limitados por modalidad. En medicina, sin embargo, el desarrollo de tales modelos enfrenta desafíos debido al acceso restringido a diversos datos y a leyes estrictas de privacidad. Si bien son capaces en áreas específicas, los modelos de fundamentos médicos existentes deben mejorarse centrándose en tareas y modalidades particulares. Las limitaciones incluyen dificultades en la capacitación centralizada debido a leyes de privacidad como HIPAA y GDPR y una adaptabilidad limitada entre funciones. El aprendizaje federado ofrece una solución que permite el desarrollo de modelos descentralizados sin compartir datos confidenciales directamente y al mismo tiempo incorpora conocimientos médicos más amplios, lo que sigue siendo un desafío continuo.

Los modelos básicos, con vastos parámetros y conjuntos de datos, se han vuelto prominentes en la atención médica y ofrecen soluciones para tareas como la detección de enfermedades y la oncología de precisión. A pesar de estos avances, los modelos de fundamentos médicos están limitados por las complejidades de los datos sanitarios. El aprendizaje federado (FL) permite ajustar los modelos básicos con datos almacenados localmente, admitiendo métodos de ajuste fino completos o eficientes en parámetros (PEFT), como la Adaptación de bajo rango (LoRA), que reduce las demandas computacionales al factorizar los parámetros. Si bien los enfoques de Mezcla de Expertos (MOE) refinan aún más la PEFT para tareas complejas, los métodos existentes no abordan completamente las necesidades diversas y multimodales exclusivas de los entornos de atención médica.

Investigadores de la Universidad Estatal de Pensilvania y la Universidad Estatal de Georgia han desarrollado FEDKIM, un método innovador de inyección de conocimientos para ampliar los modelos de fundamentos médicos dentro de un marco de aprendizaje federado. FEDKIM utiliza modelos locales livianos para recopilar información sobre atención médica a partir de datos privados, que se incorporan a un modelo básico centralizado. Esto se logra a través del módulo Multitask Multimodal Mixture of Experts (M3OE), que se adapta a diferentes tareas y modalidades médicas salvaguardando la privacidad de los datos. Los experimentos en doce tareas en siete modalidades confirman la capacidad de FEDKIM para escalar modelos de fundamentos médicos de manera efectiva, incluso sin acceso directo a datos confidenciales.

El marco FEDKIM consta de dos componentes principales: extractores de conocimiento del cliente local y un inyector de conocimiento central del lado del servidor. Cada cliente, que representa un hospital o instituto médico, entrena un modelo multimodal y multitarea con datos privados, que luego se comparten con el servidor. Estos parámetros del cliente se agregan e inyectan en un modelo de base médica central en el servidor, mejorado con un módulo Multitask M3OE. Este módulo selecciona dinámicamente sistemas expertos para cada par de modalidad de tarea, lo que permite a FEDKIM manejar escenarios médicos complejos. Este proceso iterativo actualiza los modelos locales y de servidor, lo que permite una integración eficiente del conocimiento y la preservación de la privacidad.

El estudio evalúa el desempeño de FEDKIM mediante evaluaciones de cero disparos y de ajuste. En las pruebas de tiro cero, donde las tareas de capacitación y evaluación difieren, FEDKIM superó a las líneas de base como FedPlug y FedPlugL, particularmente en el manejo de tareas invisibles, debido a su módulo M3OE que selecciona expertos de manera adaptativa. FEDKIM también mostró un sólido desempeño con las redes troncales FedAvg y FedProx, aunque FedProx en general mejoró sus resultados. La evaluación de ajuste de tareas conocidas confirmó el rendimiento superior de FEDKIM, especialmente sobre las variantes de FedPlug, ya que el conocimiento inyectado a través del aprendizaje federado resultó valioso. Los estudios de ablación subrayaron la necesidad de los módulos de FEDKIM, validando su importancia en el manejo de tareas y modalidades de atención médica complejas.

En conclusión, el estudio presenta FEDKIM, un enfoque para mejorar los modelos de fundamentos médicos mediante la inyección de conocimiento. FEDKIM utiliza el aprendizaje federado para extraer conocimientos de datos sanitarios privados distribuidos de forma segura. Lo integra en un modelo central mediante el módulo M3OE, que se adapta para manejar diversas tareas y modalidades. Esta técnica aborda los desafíos de la IA médica, como las limitaciones de privacidad y el acceso limitado a los datos, al tiempo que mejora el rendimiento del modelo en tareas complejas. Los resultados experimentales en 12 tareas y siete modalidades confirman la efectividad de FEDKIM, destacando su potencial para construir modelos de atención médica integrales que preserven la privacidad sin acceso directo a datos confidenciales.

Mira el Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y únete a nuestro Canal de telegramas y LinkedIn Grarriba. Si te gusta nuestro trabajo, te encantará nuestro hoja informativa.. No olvides unirte a nuestro SubReddit de más de 55.000 ml.

(Oportunidad de Patrocinio con nosotros) Promocione su investigación/producto/seminario web con más de 1 millón de lectores mensuales y más de 500.000 miembros de la comunidad

A Sana Hassan, pasante de consultoría en Marktechpost y estudiante de doble titulación en IIT Madras, le apasiona aplicar la tecnología y la inteligencia artificial para abordar los desafíos del mundo real. Con un gran interés en resolver problemas prácticos, aporta una nueva perspectiva a la intersección de la IA y las soluciones de la vida real.