Estás leyendo la publicación: Google AI Open Sources Vizier: un paquete independiente de Python diseñado para administrar y optimizar experimentos de aprendizaje automático a escala
Google creó una variante del sistema Vizier llamada Google Open Source Vizier y la puso a disposición como software de código abierto. Con la infraestructura informática en la nube de Google, incluidos productos como Google Cloud AI Platform y Google Kubernetes Engine, esta versión de Vizier se ha creado y optimizado para su uso. Google Open Source Vizier permite a los clientes expandir sus experimentos para manejar enormes volúmenes de datos y computación y administrar y monitorear convenientemente sus flujos de trabajo desde una única interfaz basada en la web mediante el uso de estas sólidas capacidades de computación en la nube.
Google Vizier superó importantes problemas de diseño para adaptarse a una variedad de casos de uso y procesos, al tiempo que se mantuvo altamente tolerante a fallas para funcionar a la escala de mejorar los sistemas importantes de miles de usuarios y ajustar millones de modelos de aprendizaje automático. Para la investigación, ha mejorado la robótica, ha diseñado arquitecturas informáticas, ha acelerado el hardware, ha ayudado al descubrimiento de proteínas y ha reducido la latencia del usuario para los modelos de lenguaje, además de brindar a los usuarios una interfaz de back-end confiable para buscar arquitecturas neuronales y desarrollar algoritmos de aprendizaje por refuerzo.
OSS Vizier está diseñado para una amplia gama de escenarios porque enfatiza fuertemente ser un servicio, lo que permite a los clientes enviar solicitudes al servidor en cualquier momento. El presupuesto para evaluaciones o ensayos puede oscilar entre decenas y millones de dólares, y la latencia de la evaluación puede oscilar entre segundos y semanas. Un modelo de ML se puede ajustar mediante evaluaciones asincrónicas o lotes sincrónicos (p. ej., entornos de laboratorio húmedo que implican varios experimentos simultáneos). Las evaluaciones también pueden fallar por razones temporales y deben volver a intentarse, o pueden fallar por razones permanentes (como que la evaluación sea imposible) y no deben volver a intentarse.
Esto habilita ampliamente varias aplicaciones, como la maximización de objetivos no computacionales que pueden ser, por ejemplo, físicos, químicos, biológicos, mecánicos o incluso evaluados por humanos, como recetas de galletas o hiperparámetros ajustando modelos de aprendizaje profundo.
Para que Vizier funcione, un servidor debe proporcionar servicios, a saber, la optimización de los objetivos o funciones de la caja negra, de varios clientes. El servicio comienza generando un trabajador para ejecutar un algoritmo (es decir, una política de Pythia) para calcular las siguientes recomendaciones. En el flujo de trabajo principal, un cliente envía una llamada de procedimiento remoto (RPC) y solicita una propuesta (es decir, una entrada recomendada para la función de caja negra del cliente). Después de evaluar las ideas, los clientes crean sus valores y métricas objetivos apropiados y los envían de vuelta al proveedor. Para crear una trayectoria de sintonización completa, este proceso se realiza varias veces.
El uso de la conocida biblioteca gRPC, que funciona con la mayoría de los lenguajes de programación, incluidos C++ y Rust, proporciona el mayor grado de personalización y flexibilidad. El usuario puede crear clientes únicos e incluso algoritmos independientes de la interfaz integrada de Python. Los patrones de uso pueden conservarse como conjuntos de datos útiles para el estudio de técnicas de metaaprendizaje y transferencia de aprendizaje multitarea como OptFormer e HyperBO, ya que todo el proceso se guarda en un almacén de datos SQL, lo que garantiza una recuperación perfecta después de un bloqueo.
Características
Además, Google Open Source Vizier ofrece una variedad de funciones sofisticadas para controlar operaciones complejas de aprendizaje automático, que incluyen:
Seguimiento de experimentos: Vizier realiza un seguimiento de cada paso de una investigación, registrando sus parámetros, resultados y artefactos. Es sencillo obtener y evaluar estos datos para detectar patrones y mejorar el rendimiento del modelo.
Vizier ofrece muchas técnicas, incluida la búsqueda en cuadrícula y la optimización bayesiana, para automatizar el ajuste de los hiperparámetros del modelo. Esto hace posible que los usuarios identifiquen el conjunto ideal de parámetros para sus modelos de manera rápida y efectiva.
Gestión de flujos de trabajo: Vizier permite procesos complicados de varios pasos que incluyen preparación de datos, entrenamiento de modelos y evaluación. Dentro de la interfaz de Vizier, los usuarios pueden construir y administrar rápidamente flujos de trabajo y realizar experimentos simultáneamente en varios recursos computacionales.
Vizier es compatible con muchas otras bibliotecas y programas de aprendizaje automático, como TensorFlow, PyTorch y scikit-learn. Esto simplifica la experimentación con varios modelos y metodologías y la reutilización del código existente.
Google Open Source Vizier es una potente herramienta para organizar y optimizar los experimentos de aprendizaje automático en general. Es especialmente adecuado para su uso en aplicaciones de uso intensivo de datos a gran escala.
Para organizar y mejorar los experimentos de aprendizaje automático, Google Open Source Vizier es un sistema completo que es útil para académicos y profesionales que trabajan en diversos campos y aplicaciones.
Por último, pero no menos importante, es importante tener en cuenta que Google Open Source Vizier se creó teniendo en cuenta la seguridad y la privacidad. La plataforma permite el cifrado de datos confidenciales y ofrece procedimientos seguros de autenticación y autorización. Además, es adaptable, lo que permite a las empresas configurar sus reglas de seguridad y privacidad según sea necesario.
