Una guía para el aprendizaje profundo paralelo con Colossal-AI

Estás leyendo la publicación: Una guía para el aprendizaje profundo paralelo con Colossal-AI

Colossal-AI es un modelo de aprendizaje profundo a gran escala diseñado para entrenar datos en paralelo. Combina diferentes estándares de técnicas de paralelización, como el paralelismo de tuberías, el paralelismo de datos, el paralelismo de tensores, el paralelismo de secuencias. Permite a los desarrolladores crear modelos para computación paralela a medida que crean modelos para computación normal. Con la ayuda de esta herramienta, los desarrolladores pueden concentrarse más en el desarrollo del modelo de aprendizaje profundo y sin estrés de la capacitación distribuida. En este artículo, comprenderemos los conceptos de aprendizaje distribuido y paralelo y cómo se pueden lograr en el aprendizaje profundo. Los puntos principales que se tratarán en este artículo se enumeran a continuación.

Tabla de contenido

1. ¿Qué es el entrenamiento distribuido y el paralelismo?
2. Introducción a Colosal-IA
3. El motivo detrás de la creación de Colossal-AI
4. Funcionamiento de Colossal-AI

¿Qué es Sistema Distribuido y Paralelismo?

Un sistema distribuido compuesto por múltiples componentes de software que se pueden ejecutar en múltiples máquinas de hardware se realiza para lograr un alto rendimiento y una baja tasa de latencia. Una sola máquina no puede lograr lo que puede lograr un sistema distribuido. La escalabilidad es una métrica que evalúa el rendimiento de un sistema distribuido. Por ejemplo, si ejecutamos un modelo en 4 máquinas, esperamos que el modelo se ejecute 4 veces más rápido que el sistema único. Sin embargo, existen desafíos para lograr una aceleración lineal, como escribir un algoritmo para un buen diseño, diferentes tipos de hardware que generan latencia. Consulte la figura a continuación para sistemas distribuidos, software diferente conectado con hardware diferente.

Paralelismo significa ejecutar procesos simultáneamente. En el aprendizaje automático, existen diferentes paradigmas de paralelismo, como el paralelismo de datos, el paralelismo de modelos, el paralelismo de tensores, el paralelismo de tuberías.

Introducción a Colosal-IA

Colossal-AI fue creado por Zhengda Bian, Hongxin Liu. Se basa en el popular marco de aprendizaje profundo llamado PyTorch. Es un sistema tan poderoso que puede realizar un entrenamiento distribuido complicado y brinda una manera fácil de configurar todo el paralelismo, como el paralelismo de datos, el paralelismo de modelos, el paralelismo de tensores, el paralelismo de tuberías. También proporciona la optimización para el paralelismo tensorial con multiplicación multidimensional de matriz a matriz. El flujo de trabajo de Colossal-AI es tan fluido que es muy fácil de usar.

(Fuente de imagen)

El motivo detrás de la creación de Colossal-AI

A medida que avanzamos en el campo del aprendizaje profundo, obtenemos una gran cantidad de datos. El aprendizaje profundo muestra su rendimiento espectacular en muchas aplicaciones. Las redes neuronales, como BERT, pueden aprender y predecir con un alto nivel de inteligencia entrenándose con grandes cantidades de datos. Entonces, si las redes neuronales obtienen más recursos de memoria y poder computacional, entonces pueden volverse poderosas, pero se convertirán en un modelo costoso, lo que significa que necesitará más poder de GPU para ejecutarse.

La tendencia de que los modelos se vuelvan significativamente más y más grandes cada día está en constante aumento. Solo tomó 3 meses obtener el nuevo modelo más grande de BERT-large a GPT-2 (Radford -2019) y ahora, más recientemente, se presentó GLM con 1.75 billones de números ridículamente altos de parámetros. Entonces, para ejecutar estos grandes modelos, se debe requerir capacitación distribuida, es por eso que surgió este sistema.

Funcionamiento de Colossal-AI

Colossal-AI proporciona una forma muy sencilla de crear una combinación de paralelismo de datos, paralelismo de modelos, paralelismo de tensores y paralelismo de tuberías. Con la ayuda de la API, los usuarios pueden crear un modelo de aprendizaje profundo distribuido utilizando el paralelismo de tensores. Ahora comprendamos los diferentes enfoques de paralelismo que se pueden usar al construir modelos paralelos de aprendizaje profundo.

Paralelismo tensorial: Tiene herramientas para el paralelismo de tensores como 2D, 2.5D y 3D, los investigadores mencionaron que agregarán paralelismo de tensores 1D en el futuro.

(Fuente de imagen)

Paralelismo tensorial 2D: Este paralelismo se basa en SUMMA (algoritmo de multiplicación de matriz universal escalable) que divide los datos de entrada y los pesos y las salidas de capas en dos dimensiones. Estos tensores luego se distribuyen sobre una malla 2D de N2 dispositivos, donde N son los fragmentos de tensor. Sea X la entrada y W el peso. Hemos dividido tanto X como W.

W10W11 W00W01< /mn>‘ width=”143″ height=”66″ title=”abrir corchetes tabla fila celda W 10 final celda celda W 11 final celda fila celda W 00 final celda celda W 01 final celda final tabla cerrar corchetes”>

Paralelismo tensorial 2.5D: Basado en el algoritmo de multiplicación de matrices 2.5D, el paralelismo 2D reduce el costo de la memoria pero introduce más comunicación, por eso se introdujo un 2.5D para reducir la comunicación mediante el uso de más dispositivos.

Procesador P = q * q * d y q = d = 2, dividimos X en d*q filas y q columnas.

X10X11 X00X01< /mn>‘ width=”132″ height=”66″ title=”abrir corchetes tabla fila celda X 10 final celda celda X 11 final celda fila celda X 00 final celda celda X 01 final celda final tabla cerrar corchetes”>

y

y pesos W,