Estás leyendo la publicación: La Universidad de Drexel presenta TorchFL: una biblioteca de Python para la creación de prototipos y la experimentación del aprendizaje federado utilizando modelos y conjuntos de datos de última generación
El volumen de datos producidos por dispositivos móviles (clientes) ha crecido enormemente en los últimos años debido al rápido desarrollo de sensores y capacidades computacionales. La asombrosa cantidad de datos recopilados de los dispositivos de hardware es útil para resolver problemas en dominios como la orientación de anuncios, la traducción de idiomas, la generación de imágenes, las sugerencias de contenido y muchos otros problemas que eran difíciles de abordar sin una red neuronal.
El aprendizaje profundo (DL), un método para aprender activamente de los patrones de navegación de los usuarios y entrenar modelos computacionales en los datos de los usuarios, ha ganado popularidad debido al creciente volumen de datos. Los datos del usuario se entregan y recopilan con frecuencia en un servidor centralizado, y luego el modelo entrenado se implementa en el dispositivo, dado el volumen de datos y los recursos de procesamiento necesarios para entrenar estos modelos. Aunque este método ha tenido éxito, usar los datos para el entrenamiento del modelo DL es un desafío debido a leyes y estándares más estrictos en torno a la protección de datos.
El aprendizaje federado (FL), que intercambia solo parámetros en lugar de datos almacenados localmente, se ha convertido en un método potencial para entrenar modelos en múltiples clientes. Sin embargo, todavía queda un largo camino por recorrer antes de que los modelos DL de última generación puedan entrenarse en estos dispositivos o incluso ejecutar un proceso de entrenamiento en segundo plano sin afectar el rendimiento, la duración de la batería o la actividad habitual del usuario. Esto es cierto a pesar de que los dispositivos móviles y de borde de los clientes se están volviendo más poderosos computacionalmente.
Una investigación reciente de la Universidad de Drexel presenta a TorchFL como una biblioteca plug-and-play de alto rendimiento para el arranque de experimentos FL simulados. Al abstraer las implementaciones de hardware, infraestructura, datos y DL para configurar los experimentos, TorchFL puede reducir la carga de implementación de la comunidad FL. Los marcos Python, PyTorch y Lightning son los componentes principales de TorchFL, que también es compatible con versiones anteriores de los registros, perfiladores y aceleradores de PyTorch Lightning. Los desarrolladores pueden usarlo para realizar un experimento completo usando los siguientes atributos:
- Envoltorios de modelos DL modernos que se pueden entrenar en entornos federados o no federados
- La capacidad de construir automáticamente los fragmentos de datos en función de la configuración FL y los envoltorios para los conjuntos de datos modernos más utilizados.
- Se ha agregado compatibilidad con la extracción de características o el ajuste fino de modelos DL preentrenados, lo que permite el aprendizaje de transferencia federado para un entrenamiento más rápido.
- Capa de FL adaptable con clientes, muestreadores y agregadores de FL listos para usar que se pueden usar para iniciar experimentos rápidamente usando archivos de configuración.
- Compatibilidad con versiones anteriores de registradores, generadores de perfiles, aceleradores de hardware y las herramientas DevOps más recientes de PyTorch Lightning para reducir la implementación y la sobrecarga de rendimiento para registrar y compilar resultados experimentales
Debido a que TorchFL está diseñado de abajo hacia arriba, los programadores pueden modificar cada capa y agregarla a la biblioteca para probar sus teorías e investigaciones.
Actualmente, TorchFL maneja grandes conjuntos de datos enfocados en resolver problemas generales de reconocimiento de imágenes, clasificación o visión por computadora. Sin embargo, el diseño y las interfaces son compatibles con una variedad más amplia de tareas de DL, como el aprendizaje por refuerzo y el procesamiento del lenguaje natural. Por lo tanto, el equipo planea agregar diversos conjuntos de datos e implementaciones de modelos para hacerlos compatibles con otras tareas.
También tienen la intención de agregar esos módulos a los muestreadores y agregadores porque la comunidad de FL desarrolla continuamente nuevos métodos para el muestreo, la incentivación de agentes, los mecanismos de defensa, el cifrado de gradiente/parámetro y más. Además, esperan ampliar la selección de muestras y agregadores disponibles para que los usuarios que deseen personalizar TorchFL para sus estudios puedan usarlos como ejemplos.
