El mejor flujo de trabajo de MLOps para mejorar los ciclos de vida de ML

Estás leyendo la publicación: El mejor flujo de trabajo de MLOps para mejorar los ciclos de vida de ML

El ciclo de vida del aprendizaje automático es un proceso cíclico por el que deben pasar las iniciativas de ciencia de datos. El aprendizaje automático abarca una amplia gama de disciplinas, desde trabajos comerciales hasta científicos de datos y DevOps. El ciclo de vida especifica cada paso que una organización/individuo debe dar para extraer un valor comercial tangible del aprendizaje automático. Una comprensión detallada del ciclo de vida de desarrollo del modelo ML le permitirá administrar adecuadamente los recursos y adquirir una mejor idea de dónde se encuentra en el proceso. MLOps, abreviatura de Machine Learning Operations, es una etapa clave en el diseño de un proyecto de ciencia de datos. Este artículo lo llevará al mejor diseño de operación de ML, lo que lo ayudará a ganar confianza en el ciclo de vida. Los siguientes son los temas a tratar.

Tabla de contenido

1. Un vistazo al ciclo del proyecto de ciencia de datos
2. El flujo de las operaciones de aprendizaje automático
   1. Desencadenar
   2. Entrenamiento y prueba de modelos
   3. Registro de modelo
   4. Despliegue
   5. Monitor

Un vistazo al ciclo del proyecto de ciencia de datos

Hay tres pasos principales en el ciclo de vida del aprendizaje automático, todos los cuales tienen la misma importancia y van en un orden específico. Todos estos componentes son esenciales para crear modelos de calidad que aporten valor añadido al negocio. Este proceso se denomina ciclo porque, cuando se ejecuta correctamente, los conocimientos adquiridos del modelo existente dirigirán y definirán el siguiente modelo que se implementará.

Objetivo

La fase inicial del ciclo de vida es encontrar una oportunidad para mejorar las operaciones, aumentar la felicidad del cliente o crear valor de alguna otra manera. El problema central y sus subproblemas se formularán en hipótesis, que luego se resolverán progresivamente.

Por ejemplo, si una empresa de entrega de alimentos quiere predecir su tasa de abandono temporal para el próximo año y resolverlos de antemano. Los ingenieros enmarcarán principalmente el objetivo como “Predicción de abandono temporal”, y sus años objetivo serían al menos dos años. Construirían todos los escenarios posibles en los que la empresa podría enfrentar una rotación. Una vez que se generan estas hipótesis, ahora intentarían combinar algunas hipótesis o rechazarlas para que lleguen a un número factible en el que puedan trabajar. También es posible que algunos requieran aprendizaje automático y otros no.

Por lo tanto, esta etapa es para enmarcar el objetivo y decidir si estas hipótesis realmente requieren un modelo de aprendizaje automático y, luego de concluir, luego pasar a la parte de datos del proyecto.

Datos

La siguiente etapa es recopilar y preparar todos los datos esenciales para su uso en el aprendizaje automático. Esto implica entrevistar a expertos en el dominio para establecer qué datos serían útiles para pronosticar las tasas de reingreso, recopilar esos datos de registros de pacientes anteriores y convertirlos a un formato apropiado para su análisis y procesamiento.

Para extraer información de los datos mediante el aprendizaje automático, se debe seleccionar la variable de destino. En el ejemplo anterior de temporal, la variable de destino para un determinado objetivo sería “tiempo total dedicado por el cliente” por cada vez que el cliente abre la aplicación.

operaciones de aprendizaje automático

Una vez que se preparan los datos, el equipo de ingeniería diseña el algoritmo de aprendizaje automático necesario para realizar las tareas. En general, una organización utiliza 2 o 3 modelos generalizados que podrían usarse para cada problema, de modo que se pueda ahorrar tiempo en la investigación.

Explicar los hallazgos de un modelo a otros sin experiencia en ciencia de datos es uno de los aspectos más desafiantes de las iniciativas de aprendizaje automático, especialmente en industrias altamente reguladas como la atención médica. El aprendizaje automático se ha visto tradicionalmente como una “caja negra”, ya que es difícil evaluar los hallazgos y explicar su valor a las partes interesadas y las agencias reguladoras. Cuanto más fácil sea satisfacer los estándares legales y explicar el valor de su modelo a la gerencia y otras partes interesadas importantes, más interpretable será.

La fase final es poner en práctica el proyecto de ciencia de datos, registrarlo y administrarlo para que el hospital pueda continuar usando y construyendo sobre sus modelos. La implementación del modelo suele ser problemática debido al conocimiento de codificación y ciencia de datos requerido, así como al tiempo inaceptable de implementación desde el comienzo del ciclo utilizando metodologías típicas de ciencia de datos.

¿Está buscando un repositorio completo de bibliotecas de Python utilizadas en ciencia de datos, echa un vistazo aquí.

El flujo de las operaciones de aprendizaje automático

Todo el conjunto de flujo está en la secuencia de eventos; se conoce como canalización de aprendizaje automático. La tubería tiene cinco pasos principales: ingesta de datos, entrenamiento y prueba de modelos, registro, implementación y monitoreo.

Revista de análisis de la India

Desencadenar

La fase de ingestión de datos sirve como un “disparador” para la canalización de ML. Maneja el volumen, la velocidad y la diversidad de datos al extraer datos de diversas fuentes de datos (como bases de datos, almacenes de datos o lagos de datos) e ingerir los datos necesarios para la etapa de entrenamiento del modelo. Las sólidas canalizaciones de datos junto con muchas fuentes de datos le permiten realizar operaciones de extracción, transformación y carga (ETL) para entregar los datos necesarios para el entrenamiento de ML. En esta etapa, podemos particionar y versionar los datos en el formato necesario para el entrenamiento del modelo (por ejemplo, el conjunto de entrenamiento o prueba). Como resultado de esta etapa, cualquier experimento (entrenamiento de modelos) puede ser auditado y rastreado.

Entrenamiento y prueba de modelos

Este paso habilitará el entrenamiento del modelo después de obtener los datos necesarios para el entrenamiento del modelo ML en el paso anterior; tiene scripts o códigos modulares que realizan todos los pasos tradicionales en ML, como el preprocesamiento de datos, la ingeniería de características y el escalado de características antes de entrenar o volver a entrenar cualquier modelo. Después de eso, el modelo ML se entrena mientras se realiza el ajuste de hiperparámetros para hacer coincidir el modelo con el conjunto de datos (conjunto de entrenamiento). Esta etapa se puede realizar de forma manual, aunque existen alternativas eficientes y automáticas, como la búsqueda en cuadrícula o la búsqueda aleatoria. Como consecuencia, se llevan a cabo todas las fases críticas del entrenamiento del modelo ML, con un modelo ML como resultado final.

Durante las pruebas, el rendimiento del modelo entrenado se evalúa en una colección distinta de puntos de datos conocida como datos de prueba (que se dividió y versionó en el paso de ingestión de datos). La inferencia del modelo entrenado se evalúa utilizando métricas elegidas específicamente para el caso de uso. Esta etapa produce un informe sobre el rendimiento del modelo entrenado. Implementación de casos de uso Evaluamos el rendimiento del modelo entrenado probándolo en datos de prueba (que separamos anteriormente en la etapa de ingesta de datos).

Después de la prueba del modelo entrenado en la etapa anterior, el modelo puede serializarse en un archivo o contenerse (mediante Docker) y exportarse al entorno de producción.

Registro de modelo

El modelo que fue serializado o contenerizado en la fase anterior es registrado y guardado en el registro de modelos en esta etapa. Un modelo registrado es una agrupación lógica o un paquete de uno o más archivos que construyen, representan y ejecutan su modelo de aprendizaje automático. Varios archivos, por ejemplo, se pueden registrar como un modelo. Un modelo de clasificación, por ejemplo, puede estar compuesto por un vectorizador, pesos de modelo y archivos de modelo serializados. Todos estos archivos se pueden registrar como un solo modelo. Después del registro, el modelo (todos los archivos o un solo archivo) puede descargarse e implementarse según sea necesario.

Despliegue

Es fundamental validar la durabilidad y el rendimiento de un modelo de ML antes de implementarlo en producción. Como resultado, la fase de “prueba de la aplicación” implica la validación cuidadosa de todos los modelos entrenados para la resiliencia y el rendimiento en un entorno similar al de producción conocido como entorno de prueba. Un profesional de control de calidad revisa los resultados de rendimiento de forma automática o manual. Cuando el rendimiento del modelo ML supera los criterios, se certifica para su implementación en el entorno de producción.

Los modelos que se han probado y aprobado previamente se implementan en el entorno de producción para la inferencia del modelo con el fin de proporcionar valor comercial u operativo. Esta versión del producto se entrega al entorno de producción, lo que es posible gracias a las canalizaciones de CI/CD.

Monitor

El módulo de monitoreo recopila datos cruciales para monitorear la integridad de los datos, la desviación del modelo y el rendimiento de la aplicación. Los datos de telemetría se pueden usar para monitorear el rendimiento de la aplicación. Ilustra el rendimiento del dispositivo de un sistema de fabricación a lo largo del tiempo. Podemos monitorear el rendimiento, la salud y la durabilidad del sistema de producción utilizando datos de telemetría como acelerómetro, giroscopio, humedad, magnetómetro, presión y temperatura.

Analizar el rendimiento del modelo de los modelos ML implementados en los sistemas de producción es fundamental para garantizar un rendimiento y una gobernanza óptimos en relación con las elecciones o los efectos comerciales. Para evaluar el rendimiento del modelo en tiempo real, empleamos metodologías de explicabilidad del modelo. Con esto, analizamos características críticas como la imparcialidad del modelo, la confianza, el sesgo, la transparencia y el análisis de errores para mejorar la relevancia comercial del modelo.

El monitoreo y el análisis se realizan para regular la aplicación implementada y lograr un rendimiento comercial óptimo (o el propósito del sistema ML). Podemos producir advertencias y acciones específicas para regular el sistema después de monitorear y evaluar los datos de producción.

Conclusión

Todos los modelos desarrollados, implementados y monitoreados mediante la técnica MLOps son rastreables de extremo a extremo y se realiza un seguimiento de su linaje para rastrear los orígenes del modelo, que incluye el código fuente utilizado para entrenar el modelo, los datos utilizados para entrenar y probar el modelo, y los parámetros utilizados para converger el modelo. Con este artículo, hemos entendido el ciclo de vida del aprendizaje automático y las operaciones de aprendizaje automático.

Referencias