Estás leyendo la publicación: Investigadores de la Universidad de Michigan Open-Source ‘FedScale’: una suite de evaluación comparativa de aprendizaje federado (FL) con conjuntos de datos realistas y un tiempo de ejecución escalable para permitir la investigación de FL reproducible…
El aprendizaje federado (FL) es un nuevo entorno de aprendizaje automático (ML) en el que un coordinador lógicamente centralizado organiza numerosos clientes dispersos (por ejemplo, teléfonos móviles o portátiles) para entrenar o evaluar un modelo de forma colectiva. Permite la formación de modelos y la evaluación de los datos del usuario final al tiempo que evita costos significativos y riesgos de privacidad asociados con la adquisición de datos sin procesar de los clientes, con aplicaciones que abarcan una amplia gama de trabajos de ML. El trabajo existente se ha centrado en mejorar las características críticas de FL en el contexto de velocidades de ejecución variadas de dispositivos cliente y distribuciones de datos que no son IID.
Un punto de referencia completo para evaluar una solución FL debe estudiar su comportamiento en un escenario FL práctico con (1) heterogeneidad de datos y (2) heterogeneidad de dispositivos bajo (3) conectividad heterogénea y (4) condiciones de disponibilidad en (5) muchas escalas en un ( 6) amplia gama de tareas de ML. Si bien los primeros dos elementos se citan con frecuencia en la literatura, las conexiones de red reales y la disponibilidad del dispositivo del cliente pueden afectar ambas formas de heterogeneidad, lo que impide la convergencia del modelo. Del mismo modo, la evaluación a gran escala puede revelar la resiliencia de un algoritmo, ya que la implementación real de FL suele involucrar a miles de participantes simultáneos entre millones de clientes.
Pasar por alto solo un componente puede causar que la evaluación de FL esté sesgada. Lamentablemente, los puntos de referencia de FL establecidos con frecuencia se quedan cortos en numerosas dimensiones. Para empezar, tienen flexibilidad de datos restringida para muchas aplicaciones FL del mundo real. Aunque tienen muchos conjuntos de datos y objetivos de entrenamiento de FL (p. ej., LEAF), sus conjuntos de datos con frecuencia comprenden particiones creadas sintéticamente derivadas de conjuntos de datos convencionales (p. ej., CIFAR) y no representan características realistas. Esto se debe a que estos puntos de referencia se basan principalmente en los puntos de referencia clásicos de ML. (por ejemplo, MLPerf o están diseñados para sistemas FL simulados como TensorFlow Federated o PySyft.
En segundo lugar, los puntos de referencia existentes con frecuencia ignoran el rendimiento del sistema, la conexión y la disponibilidad del cliente (p. ej., FedML y Flower). Esto impide que los intentos de FL consideren la eficiencia del sistema, lo que da como resultado un rendimiento estadístico indebidamente optimista. En tercer lugar, sus conjuntos de datos son predominantemente de pequeña escala porque sus configuraciones experimentales no pueden simular implementaciones de FL a gran escala. Si bien FL real involucra con frecuencia a miles de participantes en cada ciclo de capacitación, la mayoría de las plataformas de evaluación comparativa disponibles solo pueden capacitar a decenas de participantes en cada ronda.
Finalmente, la mayoría de ellos carecen de API fáciles de usar para la integración automática, lo que requiere un trabajo técnico significativo para la evaluación comparativa a gran escala. Para facilitar evaluaciones de FL completas y consistentes, presentamos FedScale, un punto de referencia de FL y tiempo de ejecución de apoyo: • FedScale, según nuestro conocimiento, tiene la colección más completa de conjuntos de datos de FL para examinar varios elementos de instalaciones prácticas de FL. Actualmente tiene 20 conjuntos de datos FL reales con tamaños pequeños, medianos y grandes para una amplia gama de categorías de tareas, que incluyen clasificación de imágenes, identificación de objetos, predicción de palabras, reconocimiento de voz y aprendizaje por refuerzo.
FedScale Runtime para estandarizar y simplificar la evaluación de FL en condiciones más realistas. FedScale Runtime incluye un backend móvil para la evaluación de FL en el dispositivo y un backend de clúster para evaluar comparativamente diferentes métricas prácticas de FL (por ejemplo, la duración real de la ronda del cliente) en GPU/CPU utilizando información precisa del sistema y estadística de FL. El backend del clúster puede entrenar de manera eficiente a miles de clientes en una pequeña cantidad de GPU en cada ciclo. FedScale Runtime también es extensible, lo que permite la rápida implementación de nuevos algoritmos y conceptos a través de API flexibles. Los investigadores realizaron pruebas sistemáticas para demostrar cómo FedScale permite una evaluación comparativa completa de FL y destaca el requisito crítico para optimizar conjuntamente el sistema y la eficiencia estadística, particularmente al tratar con los rezagados del sistema, el sesgo de precisión y las compensaciones de energía del dispositivo.
FedScale (fedscale.ai) proporciona API de alto nivel para implementar algoritmos FL, implementarlos y evaluarlos a escala en varios backends de hardware y software. FedScale también presenta el punto de referencia de FL más completo, que incluye tareas de FL desde clasificación de imágenes e identificación de objetos hasta modelado de lenguaje y reconocimiento de voz. Además, ofrece conjuntos de datos que simulan adecuadamente escenarios de entrenamiento de FL en los que FL se aplicará de forma práctica. La mejor característica es su código abierto y el código está disponible gratuitamente en Github.
Este artículo está escrito como un artículo de resumen por el personal de Marktechpost basado en el trabajo de investigación ‘FedScale: modelo de evaluación comparativa y rendimiento del sistema de aprendizaje federado a escala‘. Todo el crédito de esta investigación es para los investigadores de este proyecto. Revisar la papel, enlace github y artículo de referencia.
Por favor no olvides unirte Nuestro subreddit de ML
Echa un vistazo a https://aitoolsclub.com para encontrar 100 de Cool AI Tools
