Estás leyendo la publicación: Este documento de inteligencia artificial presenta un método avanzado para la privacidad diferencial en el reconocimiento de imágenes con mayor precisión
El aprendizaje automático ha aumentado considerablemente en varias áreas debido a su desempeño en los últimos años. Gracias a la capacidad de cómputo y las tarjetas gráficas de las computadoras modernas, el aprendizaje profundo ha permitido lograr resultados que a veces superan los que dan los expertos. Sin embargo, su uso en áreas sensibles como la medicina o las finanzas genera problemas de confidencialidad. Una garantía de privacidad formal llamada privacidad diferencial (DP) prohíbe a los adversarios con acceso a modelos de aprendizaje automático obtener datos sobre puntos de entrenamiento específicos. El enfoque de entrenamiento más común para la privacidad diferencial en el reconocimiento de imágenes es el descenso de gradiente estocástico privado diferencial (DPSGD). Sin embargo, el despliegue de la privacidad diferencial está limitado por el deterioro del rendimiento causado por los sistemas DPSGD actuales.
Los métodos existentes para el aprendizaje profundo diferencialmente privado aún deben operar mejor ya que, en el proceso de descenso de gradiente estocástico, estas técnicas permiten todas las actualizaciones del modelo independientemente de si los valores de la función objetivo correspondiente mejoran. En algunas actualizaciones del modelo, agregar ruido a los gradientes podría empeorar los valores de la función objetivo, especialmente cuando la convergencia es inminente. Los modelos resultantes empeoran como resultado de estos efectos. El objetivo de optimización se degrada y el presupuesto de privacidad se desperdicia. Para abordar este problema, un equipo de investigación de la Universidad de Shanghai en China sugiere un enfoque de descenso de gradiente estocástico diferencialmente privado basado en recocido simulado (SA-DPSGD) que acepta una actualización candidata con una probabilidad que depende de la calidad de la actualización y la cantidad de iteraciones
Concretamente, se acepta la actualización del modelo si da un mejor valor de la función objetivo. De lo contrario, la actualización se rechaza con cierta probabilidad. Para evitar establecerse en un óptimo local, los autores sugieren utilizar rechazos probabilísticos en lugar de deterministas y limitar el número de rechazos continuos. Por lo tanto, el algoritmo de recocido simulado se usa para seleccionar actualizaciones del modelo con probabilidad durante el proceso de descenso del gradiente estocástico.
A continuación se ofrece una explicación de alto nivel del enfoque propuesto.
1- DPSGD genera las actualizaciones de forma iterativa y, a continuación, se calcula el valor de la función objetivo. El cambio de energía de la iteración anterior a la actual y el número total de soluciones aprobadas se utilizan para calcular la probabilidad de aceptación de la solución actual.
2- La probabilidad de aceptación siempre se mantiene en 1, cuando el cambio de energía es negativo. Eso significa que se aceptan las actualizaciones que van en la dirección correcta. No obstante, se garantiza que el entrenamiento se mueve principalmente en la dirección de la convergencia incluso cuando las actualizaciones del modelo son ruidosas, lo que significa que la energía real puede ser positiva con una probabilidad muy pequeña.
3- Cuando el cambio de energía es positivo, la probabilidad de aceptación cae exponencialmente a medida que aumenta el número de soluciones aprobadas. En esta situación, aceptar una solución empeoraría la energía. Los rechazos deterministas, sin embargo, pueden llevar a que la solución final caiga dentro de un óptimo local. Por lo tanto, los autores propusieron aceptar actualizaciones de cambios de energía positiva con una probabilidad pequeña y decreciente.
4- Si ha habido demasiados rechazos consecutivos, aún se permitirá una actualización ya que el número de rechazos continuos es limitado. La probabilidad de aceptación puede caer tan bajo que casi rechaza todas las soluciones con cambios de energía positivos a medida que el entrenamiento se aproxima a la convergencia, e incluso puede alcanzar un máximo local. Limitar el número de rechazos evita este problema al aceptar una solución cuando es esencial.
Para evaluar el rendimiento del método propuesto, SA-DPSGD se evalúa en tres conjuntos de datos: MNIST, FashionMNIST y CIFAR10. Los experimentos demostraron que SA-DPSGD supera significativamente a los esquemas de última generación, DPSGD, DPSGD(tanh) y DPSGD(AUTO-S), con respecto al costo de privacidad o la precisión de la prueba.
Según los autores, SA-DPSGD cierra significativamente la brecha de precisión de clasificación entre imágenes privadas y no privadas. Usando la selección de actualización aleatoria, el descenso del gradiente diferencialmente privado avanza en la dirección correcta en cada iteración, lo que hace que el resultado obtenido sea más preciso. En los experimentos con los mismos hiperparámetros, SA-DPSGD logra una alta precisión en los conjuntos de datos MNIST, FashionMNIST y CI-FAR10, en comparación con el resultado de última generación. Bajo los hiperparámetros libremente ajustados, el enfoque propuesto logra precisiones aún mayores.
