Estás leyendo la publicación: Principales herramientas para el seguimiento y la gestión de experimentos de aprendizaje automático (ML)
Una cosa es obtener buenos resultados de una sola ejecución de entrenamiento de modelos cuando se trabaja en un proyecto de aprendizaje automático. Otra cosa es mantener las pruebas de aprendizaje automático bien organizadas y tener un método para sacar conclusiones confiables de ellas.
El seguimiento de experimentos proporciona la solución a estos problemas. El seguimiento de experimentos en el aprendizaje automático es la práctica de conservar todos los datos pertinentes para cada experimento que realice.
Los equipos de ML implementan el seguimiento de experimentos de varias maneras, incluido el uso de hojas de cálculo, GitHub o plataformas internas. Sin embargo, usar herramientas creadas expresamente para administrar y rastrear experimentos de ML es la opción más eficiente.
Las siguientes son las mejores herramientas para el seguimiento y la gestión de experimentos de ML
Peso y sesgos
Se creó un marco de aprendizaje automático llamado Peso y sesgos para la gestión de modelos, el control de versiones de conjuntos de datos y la supervisión de experimentos. El objetivo principal del componente de seguimiento de experimentos es ayudar a los científicos de datos a registrar cada paso del proceso de entrenamiento de modelos, visualizar modelos y comparar ensayos.
W&B es una herramienta que se puede utilizar tanto en las instalaciones como en la nube. Weights & Biases admite una amplia gama de marcos y bibliotecas en términos de integraciones, incluidos Keras, el entorno PyTorch, TensorFlow, Fastai, Scikit-learn y más.
Cometa
Los científicos de datos pueden rastrear, comparar, explicar y optimizar experimentos y modelos utilizando la plataforma Comet ML durante todo el ciclo de vida del modelo, desde la capacitación hasta la producción. Para el seguimiento de experimentos, los científicos de datos pueden registrar conjuntos de datos, cambios de código, historiales de experimentación y modelos.
Comet se ofrece a equipos, individuos, instituciones académicas y corporaciones para todos los que quieran hacer experimentos, facilitar el trabajo y visualizar rápidamente los resultados. Puede instalarse localmente o utilizarse como una plataforma alojada.
Sagrado + Omniboard
Los investigadores de aprendizaje automático pueden configurar, organizar, registrar y replicar experimentos utilizando el programa de código abierto Sacred. Aunque Sacred carece de una interfaz de usuario ejemplar, puede vincularla a algunas herramientas de tablero como Omniboard (pero también puede usar otras, como Sacredboard o Neptune, a través de la integración).
Aunque Sacred carece de la escalabilidad de las otras herramientas y no ha sido diseñado para la colaboración en equipo (excepto cuando se combina con otra herramienta), tiene muchas posibilidades para la investigación en solitario.
MLflow
Un marco de código abierto llamado MLflow ayuda a administrar todo el ciclo de vida del aprendizaje automático. Esto cubre la experimentación y el almacenamiento, duplicación y uso de modelos. El seguimiento, el registro de modelos, los proyectos y los modelos son los cuatro componentes de MLflow, cada uno de los cuales representa uno de estos factores.
El componente de seguimiento de MLflow tiene una API y una interfaz de usuario que permiten registrar diferentes metadatos (como parámetros, versiones de código, métricas y archivos de salida) y luego ver los resultados.
TensorTablero
Dado que TensorBoard es el conjunto de herramientas gráficas para TensorFlow, los usuarios suelen comenzar con él. Las herramientas de visualización y depuración de modelos de aprendizaje automático están disponibles a través de TensorBoard. Los usuarios pueden examinar el gráfico del modelo, proyectar incrustaciones en un espacio de menor dimensión, realizar un seguimiento de las métricas del experimento, como la pérdida y la precisión, y mucho más.
Puede cargar y compartir los resultados de sus experimentos de aprendizaje automático con cualquiera que use TensorBoard.dev (faltan funciones de colaboración en TensorBoard). Si bien TensorBoard.dev se ofrece como un servicio gratuito en un servidor administrado, TensorBoard es de código abierto y está alojado localmente.
IA del gremio
La licencia de código abierto Apache 2.0 cubre Guild AI, un sistema de seguimiento de experimentos de aprendizaje automático. Permite el análisis, la visualización, las operaciones de diferenciación, la automatización de canalizaciones, el ajuste de hiperparámetros de AutoML, la programación, el procesamiento paralelo y la capacitación remota.
También se incluyen varias herramientas integradas para comparar experimentos con Guild AI, que incluyen:
- Guild Compare, un programa basado en curses que le permite ver ejecuciones en formato de hoja de cálculo completas con banderas y datos escalares,
- Guild View, una aplicación en línea que le permite comparar resultados y ver carreras,
- Usando el comando Guild Diff, puede contrastar dos carreras.
Poliaxón
Una plataforma para aplicaciones de aprendizaje automático y aprendizaje profundo escalables y reproducibles se llama Polyaxon. Tiene muchas funciones, incluida la gestión de modelos, la organización de ejecuciones, el cumplimiento normativo y el seguimiento y la optimización de experimentos. El objetivo principal de sus creadores es maximizar la producción y la productividad mientras se minimizan los gastos.
Puede registrar automáticamente métricas, hiperparámetros, visualizaciones, artefactos y recursos importantes del modelo con Polyaxon, y también puede controlar la versión del código y los datos. Puede utilizar la interfaz de usuario de Polyaxon o incorporarla con otra placa, como TensorBoard, para mostrar los metadatos registrados más adelante. Puede optar por implementar Polyaxon en las instalaciones o con un proveedor de servicios en la nube en particular. También se admiten las principales bibliotecas ML y DL como TensorFlow, Keras o Scikit-learn.
ClearML
El equipo detrás de Allegro AI es compatible con ClearML, una plataforma de código abierto con una colección de herramientas para simplificar su proceso de aprendizaje automático. El paquete comprende administración de datos, orquestación, implementación, administración de canalizaciones de ML y procesamiento de datos. Cinco módulos de ClearML exhiben todas estas características:
- Paquete de Python para la integración de ClearML en su base de código actual;
- almacenar datos de experimentos, modelos y flujos de trabajo en ClearML Server, que también es compatible con el administrador de experimentos de interfaz de usuario web;
- el agente de orquestación ML-Ops ClearML Agent, que permite la reproducibilidad escalable de experimentos y flujos de trabajo;
- una plataforma de gestión de datos y control de versiones construida sobre sistemas de archivos y almacenamiento de objetos llamada ClearML Data;
- Inicie instancias remotas de VSCode y Jupyter Notebooks mediante una sesión de ClearML.
El entrenamiento de modelos, la optimización de hiperparámetros, las herramientas de gráficos, las soluciones de almacenamiento y otros marcos y bibliotecas están todos integrados con ClearML.
Valohai
La plataforma MLOps Valohai automatiza todo, desde la implementación del modelo hasta la extracción de datos. Según los desarrolladores de esta herramienta, Valohai “proporciona orquestación de máquinas sin configuración y seguimiento de experimentos similar a MLFlow”. Aunque esta plataforma no tiene el seguimiento de experimentos como su enfoque principal, ofrece capacidades específicas, que incluyen comparación de experimentos, control de versiones, linaje de modelos y trazabilidad.
Cualquier lenguaje o marco, así como una amplia gama de programas y herramientas, son compatibles con Valohai. Se puede configurar en las instalaciones o con cualquier proveedor de nube. El programa también está diseñado con el trabajo en equipo y tiene numerosas características para hacerlo más fácil.
Paquidermo
Pachyderm es una plataforma de canalización de datos de nivel empresarial de código abierto que permite a los usuarios administrar un ciclo completo de aprendizaje automático. opciones de escalabilidad, creación de experimentos, seguimiento y linaje de datos.
Hay tres versiones del software disponibles:
- Comunidad: una versión de Pachyderm gratuita y de código abierto creada y respaldada por un grupo de profesionales;
- En Enterprise Edition, se puede instalar una plataforma completa con control de versiones en la infraestructura de Kubernetes que elija el usuario.
Flujo de Kube
La caja de herramientas de aprendizaje automático para Kubernetes se llama Kubeflow. Su objetivo es utilizar la capacidad de Kubernetes para simplificar el escalado de modelos de aprendizaje automático. Aunque la plataforma ofrece ciertas funciones de seguimiento, no son el objetivo principal del proyecto. Tiene varias partes, incluyendo:
- Un marco para crear e implementar flujos de trabajo escalables de aprendizaje automático (ML) basados en contenedores Docker se llama Kubeflow Pipelines. Es probable que la característica de Kubeflow sea la más utilizada;
- Panel central es la principal interfaz de usuario (IU) de Kubeflow;
- KFServing es un conjunto de herramientas para implementar y servir modelos de Kubeflow, y Notebook Servers es un servicio para crear y administrar cuadernos Jupyter interactivos.
- Para los modelos ML en Kubeflow a través de operadores, capacite a los operadores (p. ej., PyTorch, TensorFlow).
verta.ai
Verta es una plataforma para MLOps empresariales. El software se desarrolló para facilitar la gestión del ciclo de vida completo del aprendizaje automático. Cuatro palabras resumen sus características clave: rastrear, colaborar, implementar y monitorear. Los productos principales de Verta, Gestión de experimentos, Registro de modelos, Implementación de modelos y Supervisión de modelos, incorporan todas estas funciones.
Puede monitorear y visualizar experimentos de aprendizaje automático, registrar diferentes tipos de metadatos, buscar y comparar experimentos, asegurar la reproducibilidad del modelo, trabajar en equipo en proyectos de ML y hacer mucho más con el componente de administración de experimentos.
TensorFlow, PyTorch, XGBoost, ONNX y otros marcos de ML conocidos se encuentran entre los compatibles con Verta. Es accesible como un servicio empresarial, SaaS y de código abierto.
Estudio SageMaker
Un componente de la plataforma de AWS es SageMaker Studio. Permite a los científicos y desarrolladores de datos crear, construir, entrenar e implementar modelos superiores de aprendizaje automático (ML). Se llama a sí mismo el primer entorno de desarrollo integrado (IDE) específico de ML. Sus cuatro partes son preparación, entrenamiento, puesta a punto, implementación y gestión. El tercero, entrenar y sintonizar, se encarga de la funcionalidad de seguimiento del experimento. Los usuarios pueden automatizar el ajuste de hiperparámetros, depurar ejecuciones de entrenamiento, registrar, organizar y comparar experimentos.
Estudio DVC
DVC Studio es miembro del iterativo. Familia de herramientas DVC con tecnología Ai. DVC se diseñó inicialmente como un sistema de control de versiones de código abierto específico para el aprendizaje automático. Este componente todavía está en su lugar para permitir que los científicos de datos compartan y repliquen sus modelos ML. El estudio DVC, una interfaz visual para proyectos de ML, se desarrolló para ayudar a los usuarios a realizar un seguimiento de los experimentos, visualizarlos y trabajar en ellos con el equipo.
La aplicación DVC Studio está disponible tanto en línea como localmente.
kit profundo
Use Deepkit.ai, una herramienta de desarrollo de aprendizaje automático de código abierto y un paquete de capacitación para un aprendizaje automático moderno, inteligente, rápido y reproducible. Puede administrar servidores informáticos, registrar sus pruebas y depurar sus modelos con Deepkit.ai.
Experimento Gestión Modelo Depuración Computación Gestión: Principales beneficios de Deepkit.ai
Trenes
Los modelos de aprendizaje profundo de grado de producción se rastrean y administran a través de la plataforma de código abierto conocida como Trains. Con solo unas pocas líneas de código, cualquier equipo de investigación en la etapa de desarrollo del modelo puede configurar y mantener entradas detalladas en su servidor local de Trains.
Cualquier flujo de trabajo DL/ML se integra fácilmente con Trains. Automáticamente archiva los cuadernos de jupyter en código Python y vincula los experimentos con el código de entrenamiento (git commit + diff local + versiones del paquete Python).
DAGsHub
Usando la fuerza de Git (control de versiones del código fuente) y DVC, la plataforma de colaboración de aprendizaje automático y ciencia de datos de código abierto DagsHub le permite construir, hacer crecer e implementar fácilmente proyectos de aprendizaje automático (control de versión de datos).
DAGsHub simplifica la construcción, distribución y reutilización de proyectos de ciencia de datos y aprendizaje automático, ahorrando a los equipos de datos el tiempo y el esfuerzo de comenzar de nuevo cada vez. Las siguientes características de DAGsHub lo diferencian de otras plataformas convencionales:
Los controles remotos incorporados para programas como Git (para la gestión del código fuente), DVC (para el seguimiento de la versión de datos) y MLflow (para el seguimiento de experimentos) proporcionan la capacidad de vincular todo en una ubicación sin configuración.
DAGsHub le ofrece la comodidad de una experiencia de usuario encantadora al tiempo que le permite rastrear y monitorear los diversos experimentos de ML realizados por numerosas personas. ¡Todas las pruebas de un proyecto de ML se pueden monitorear y conectar a la versión particular de sus modelos, código y datos!
Además de realizar un seguimiento de sus experimentos, las visualizaciones intuitivas de DAGsHub y los datos registrados para cada experimento le permiten comparar varios ensayos uno al lado del otro y comprender las variaciones en las métricas de rendimiento y los hiperparámetros.
Nota: Hicimos todo lo posible para presentar Cool Tools, pero si nos perdimos algo, no dude en comunicarse con
Echa un vistazo a https://aitoolsclub.com para encontrar 100 de Cool AI Tools
