HERL (Aprendizaje por refuerzo de cifrado homomórfico): un enfoque basado en el aprendizaje por refuerzo que utiliza Q-Learning para optimizar dinámicamente los parámetros de cifrado

El aprendizaje federado (FL) es una técnica que permite entrenar modelos de aprendizaje automático en fuentes de datos descentralizadas y, al mismo tiempo, preservar la privacidad. Este método es especialmente útil en sectores como la atención sanitaria y las finanzas, donde los problemas de privacidad impiden que los datos se centralicen. Sin embargo, existen grandes problemas cuando se intenta incluir el cifrado homomórfico (HE) para proteger la privacidad de los datos mientras se entrenan.

El cifrado homomórfico protege la privacidad al permitir realizar cálculos sobre datos cifrados sin necesidad de descifrarlos. Sin embargo, conlleva importantes gastos generales de computación y comunicación, lo que puede resultar especialmente problemático en entornos en los que los clientes tienen distintas capacidades de procesamiento y necesidades de seguridad. El entorno para utilizar el cifrado homomórfico en FL es complicado debido a la amplia gama de necesidades y capacidades de los clientes.

Por ejemplo, algunos clientes pueden tener menos capacidad de procesamiento y necesidades de seguridad menos urgentes, mientras que otros pueden tener recursos informáticos sólidos y requisitos de seguridad estrictos. En un entorno tan diverso, la implementación de un método de cifrado puede generar ineficiencias, lo que provocaría que algunos clientes sufrieran demoras innecesarias y que otros no recibieran el grado de protección necesario.

Como solución, un equipo de investigadores ha introducido el aprendizaje por refuerzo de cifrado homomórfico (HERL, por sus siglas en inglés), una técnica basada en el aprendizaje por refuerzo. Con la ayuda de Q-Learning, HERL optimiza dinámicamente la selección de parámetros de cifrado para satisfacer los requisitos únicos de varios grupos de clientes. Optimiza dos parámetros de cifrado principales: el módulo del coeficiente y el grado del módulo polinomial. Estos parámetros son importantes porque tienen un impacto directo en la carga computacional y el nivel de seguridad del proceso de cifrado.

El primer paso del procedimiento consiste en crear un perfil de los clientes según sus necesidades de seguridad y capacidades informáticas, incluida la memoria, la potencia de la CPU y el ancho de banda de la red. Se utiliza un enfoque de agrupamiento para clasificar a los clientes en niveles en función de este perfil. A continuación, el agente HERL interviene y elige de forma dinámica las mejores configuraciones de cifrado para cada nivel después de que los clientes hayan sido clasificados nivel por nivel. Esta selección dinámica es posible gracias al aprendizaje Q, en el que el agente obtiene conocimientos del entorno experimentando con diversas configuraciones de parámetros y luego utiliza ese conocimiento para tomar las mejores decisiones posibles al lograr un equilibrio entre seguridad, eficiencia informática y utilidad.

Tras la experimentación, el equipo ha compartido que HERL demostró que puede aumentar la eficiencia de convergencia hasta en un 30 %, reducir el tiempo necesario para que el modelo FL converja hasta en un 24 % y mejorar la utilidad hasta en un 17 %. Dado que estas ventajas se obtienen con poco sacrificio de seguridad, HERL es una opción confiable para integrar HE en FL en una variedad de configuraciones de clientes.

El equipo ha resumido sus principales contribuciones de la siguiente manera.

1. Se ha presentado una técnica basada en un agente de aprendizaje por refuerzo (RL) para elegir las mejores configuraciones de cifrado homomórfico para el aprendizaje federado dinámico. Dado que este método es genérico, se puede utilizar con cualquier esquema de agrupamiento de FL. El agente RL se ajusta a los requisitos exclusivos de cada cliente para proporcionar a los sistemas FL el mejor equilibrio posible entre seguridad y rendimiento.

2. El enfoque sugerido ofrece un equilibrio más exitoso entre seguridad, utilidad y latencia. A través del diseño adaptativo, el sistema reduce la sobrecarga computacional y, al mismo tiempo, preserva el grado necesario de seguridad de los datos de FL. Esto mejora la eficiencia de las operaciones de FL sin poner en riesgo la confidencialidad de los datos del cliente.

3. Los resultados han demostrado una mejora notable en la eficiencia del entrenamiento, hasta un 24% de aumento en el rendimiento.

El estudio también ha abordado una serie de cuestiones importantes para respaldar estas contribuciones, entre las que se incluyen las siguientes.

1. Se han estudiado los efectos de los parámetros HE en el rendimiento de FL y las mejores formas de utilizar HE en aplicaciones FL.

2. Se ha examinado cómo se pueden acomodar los variados entornos de clientes de FL ampliando el mecanismo de agrupamiento.
3. Esta optimización se centra en encontrar la mejor manera de combinar seguridad, sobrecarga computacional y utilidad en FL con HE.

4. Se ha analizado qué tan bien funciona RL al ajustar los parámetros HE de forma dinámica para varios niveles de cliente.

5. Se ha evaluado si el uso de un enfoque basado en RL mejora el rendimiento general del sistema FL y sus ventajas y desventajas.

Echa un vistazo a la PapelTodo el crédito por esta investigación corresponde a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y únete a nuestro Canal de Telegram y LinkedIn Gr¡Arriba!. Si te gusta nuestro trabajo, te encantará nuestro hoja informativa..

No olvides unirte a nuestro Subreddit con más de 50 000 millones de usuarios

⏩ ⏩ SEMINARIO WEB GRATUITO SOBRE IA: ‘SAM 2 para video: cómo optimizar sus datos’ (miércoles 25 de septiembre, 4:00 a. m. a 4:45 a. m. EST)