DP-Norm: un novedoso algoritmo de IA para el aprendizaje federado (FL) descentralizado que preserva altamente la privacidad

Federated Learning (FL) es una solución exitosa para la capacitación de modelos descentralizados que prioriza la privacidad de los datos, permitiendo que varios nodos aprendan juntos sin compartir datos. Es especialmente importante en áreas sensibles como análisis médicos, detección de anomalías industriales y procesamiento de voz.

Los avances recientes en FL enfatizan las arquitecturas de red descentralizadas para abordar los desafíos que plantean los datos que no son IID (no independientes y distribuidos de manera idéntica), que pueden comprometer la privacidad durante las actualizaciones del modelo. Los estudios muestran que incluso pequeñas diferencias en los parámetros del modelo pueden filtrar información confidencial, lo que subraya la necesidad de estrategias de privacidad efectivas. Se han integrado técnicas de privacidad diferencial (DP) en FL descentralizada para mejorar la privacidad agregando ruido gaussiano controlado a la información intercambiada. Si bien estos métodos se pueden adaptar desde el entrenamiento de un solo nodo a entornos descentralizados, su introducción puede degradar el rendimiento del aprendizaje debido a interferencias y la naturaleza de la asignación de datos que no son IID.

Para superar estos problemas, un equipo de investigación de Japón propone un algoritmo de privacidad diferencial primal-dual con normalización de eliminación de ruido, denominado DP-Norm. Este enfoque introduce un proceso de difusión del PD en Edge Consensus Learning (ECL) como restricciones lineales en las variables del modelo, lo que mejora la solidez frente a datos que no son IID. Mientras aborda el ruido y la interferencia, el equipo incorpora un proceso de eliminación de ruido para mitigar los aumentos explosivos de las normas debido a los intercambios de variables duales, lo que garantiza la transmisión de mensajes que preservan la privacidad.

En particular, el enfoque aplica la difusión DP al reenvío de mensajes en el marco ECL, agregando ruido gaussiano a las variables duales para limitar la fuga de información. Sin embargo, durante las pruebas previas, se descubrió que la inclusión de este ruido provocaba que el proceso de aprendizaje se detuviera debido a un aumento en la norma de las variables duales. Para reducir la acumulación de ruido, la función de costo incorpora un término de normalización de eliminación de ruido ρ(λ). Esta normalización evita que la norma se expanda rápidamente y al mismo tiempo preserva los beneficios de privacidad del proceso de difusión de DP. La regla de actualización para DP-Norm se deriva utilizando técnicas de división de operadores, en particular la división Peaceman-Rachford, y alterna entre actualizaciones locales de las variables primarias y duales y el paso de mensajes que preservan la privacidad sobre un gráfico. Este enfoque garantiza que las variables del modelo en cada nodo se acerquen al punto estacionario de manera más efectiva, incluso con problemas de ruido y datos no IID. Incluir un proceso de eliminación de ruido (ρ(λ)) mejora aún más la estabilidad del algoritmo. En comparación con DP-SGD para FL descentralizado, DP-Norm con eliminación de ruido reduce la deriva de gradiente causada por datos que no son IID y el ruido excesivo, lo que mejora la convergencia del modelo. Por último, el rendimiento del algoritmo se analiza a través de evaluaciones de privacidad y convergencia, donde se determina el nivel de ruido mínimo requerido para (ε,δ)-DP y se discuten los efectos de la difusión y eliminación de ruido de DP en la convergencia.

Los investigadores utilizaron el conjunto de datos Fashion MNIST para comparar la técnica DP-Norm con enfoques anteriores (DP-SGD y DP-ADMM) para la clasificación de imágenes. Cada nodo tuvo acceso a subconjuntos de datos no IID y se probaron tanto la regresión logística convexa como el modelo ResNet-10 no convexo. Se han investigado cinco enfoques, incluido DP-Norm con y sin normalización, en diversos entornos de privacidad (ε={∞,1,0.5}, δ=0.001). DP-Norm (α>0) supera otros enfoques descentralizados en cuanto a la precisión de las pruebas, especialmente en entornos de mayor privacidad. El enfoque reduce el ruido de difusión de DP mediante la eliminación de ruido, lo que garantiza un rendimiento constante incluso bajo mayores restricciones de privacidad.

En conclusión, el estudio presentó DP-Norm, un método de preservación de la privacidad para el aprendizaje federado y descentralizado que garantiza (ε, δ)-DP. El enfoque combina reenvío de mensajes, actualizaciones de modelos locales y normalización de eliminación de ruido. Según la investigación teórica, DP-Norm supera a DP-SGD y DP-ADMM en términos de niveles de ruido y convergencia. Experimentalmente, DP-Norm se desempeñó regularmente cerca de las puntuaciones de referencia de un solo nodo, lo que demuestra su estabilidad y utilidad en contextos que no son IID.

Mira el Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y únete a nuestro Canal de telegramas y LinkedIn Grarriba. Si te gusta nuestro trabajo, te encantará nuestro hoja informativa..

No olvides unirte a nuestro SubReddit de 52k+ ML