Estás leyendo la publicación: Los investigadores desarrollaron SmoothNets para optimizar el diseño de la arquitectura de la red neuronal convolucional (CNN) para el aprendizaje profundo diferencialmente privado
La privacidad diferencial (DP) se utiliza en el aprendizaje automático para preservar la confidencialidad de la información que forma el conjunto de datos. El algoritmo más utilizado para entrenar redes neuronales profundas con privacidad diferencial es el descenso de gradiente estocástico diferencialmente privado (DP-SGD), que requiere recorte y ruido de gradientes por muestra. Como resultado, la utilidad del modelo disminuye en comparación con la formación no privada.
Existen principalmente dos enfoques para hacer frente a esta disminución en el rendimiento causada por DP-SGD. Estos dos enfoques son modificaciones arquitectónicas y métodos de entrenamiento. La primera técnica tiene como objetivo hacer que la estructura de la red sea más robusta frente a los desafíos de DP-SGD mediante la modificación de la arquitectura del modelo. La segunda técnica se centra en encontrar una estrategia de entrenamiento adecuada para minimizar el efecto negativo de DP-SGD en la precisión. Solo unos pocos estudios han examinado opciones de diseño de modelos concretos específicos que ofrecen solidez frente a las reducciones de utilidad para el entrenamiento DP-SGD. En este contexto, un equipo de investigación alemán propuso recientemente SmoothNet, una nueva arquitectura profunda formada para reducir esta pérdida de rendimiento.
Los autores evaluaron los componentes del modelo individual de las arquitecturas de aprendizaje profundo ampliamente utilizadas en relación con su influencia en el rendimiento del entrenamiento DP-SGD. Luego, basándose en este estudio, extrajeron los componentes óptimos y ensamblaron una nueva arquitectura de modelo llamada SmoothNet, que produce resultados SOTA en modelos entrenados de forma privada de manera diferencial en conjuntos de datos de referencia CIFAR-10 e ImageNette. El estudio de evaluación de los componentes individuales del modelo mostró que la relación ancho-profundidad se correlaciona altamente con el rendimiento del modelo. De hecho, la relación anchura-profundidad óptima es mayor para la formación privada en comparación con la formación no privada. Además, el uso de conexiones residuales y densas es beneficioso para modelos robustos donde se emplea DP-SGD. Los autores también concluyeron que la función de activación SELU funciona mejor que RELU. Finalmente, Max Pooling mostró resultados superiores en comparación con otras funciones de agrupación.
Con base en los resultados citados anteriormente, los autores propusieron una nueva arquitectura denominada SmoothNet. Los componentes principales son bloques de construcción llamados Smooth-Blocks. DenseBlocks inspira estos bloques, pero con algunas modificaciones: la primera modificación es que el ancho de las capas convolucionales de 3×3 aumenta rápidamente. La segunda modificación es el uso de capas de normalización de grupos con ocho grupos en lugar de la normalización por lotes. Finalmente, la última modificación es el uso de capas SELU como funciones de activación. La profundidad de la red está limitada a 10 SmoothBlocks. Además, de manera similar a DenseNets, la agrupación promedio se implementa entre SmoothBlocks. Las características extraídas se comprimen a 2048 características, alimentadas al bloque clasificador formado por tres capas lineales, separadas por funciones de activación SELU.
Para validar la nueva arquitectura, los autores realizaron un estudio experimental en CIFAR-10 y geNette, un subconjunto de ImageNet. El rendimiento de SmoothNet se compara con varias arquitecturas estándar, como ResNet-18, ResNet-34, t EfficientNet-B0 y DenseNet-121. Los resultados demuestran que SmoothNets logra el mayor rendimiento en términos de precisión de validación cuando se utiliza DP-SGD.
En este artículo, mostramos una investigación realizada para encontrar opciones arquitectónicas óptimas para el entrenamiento de alta utilidad de redes neuronales con garantías de DP. Se propuso SmoothNet, una red novedosa, para hacer frente a la disminución del rendimiento relacionada con el uso de DP-SGD durante el entrenamiento. Los resultados demostraron que la nueva red propuesta supera los trabajos anteriores, que siguen la estrategia de modificaciones arquitectónicas.
Este artículo está escrito como un artículo de resumen de investigación por el personal de Marktechpost basado en el trabajo de investigación ‘SmoothNets: Optimización del diseño de la arquitectura CNN para un aprendizaje profundo diferencialmente privado’. Todo el crédito de esta investigación es para los investigadores de este proyecto. Revisar la papel.
Por favor no olvides unirte Nuestro subreddit de ML
Echa un vistazo a https://aitoolsclub.com para encontrar 100 de Cool AI Tools
