Estás leyendo la publicación: Conozca xTuring: una herramienta de código abierto que le permite crear su propio modelo de lenguaje extenso (LLM) con solo tres líneas de código
La implementación práctica de un modelo de lenguaje grande (LLM) para una aplicación a medida es actualmente difícil para la mayoría de las personas. Se necesita mucho tiempo y experiencia para crear un LLM que pueda generar contenido con alta precisión y velocidad para dominios especializados o, tal vez, para imitar un estilo de escritura.
Stochastic cuenta con un equipo de brillantes ingenieros de aprendizaje automático, posdoctorados y estudiantes graduados de Harvard que se enfocan en optimizar y acelerar la IA para los LLM. Presentan xTuring, una solución de código abierto que permite a los usuarios crear su propio LLM con solo tres líneas de código.
Las aplicaciones como la entrega de texto automatizada, los chatbots, la traducción de idiomas y la producción de contenido son áreas en las que las personas se esfuerzan por desarrollar y crear nuevas aplicaciones con estos conceptos. Puede llevar mucho tiempo y ser costoso entrenar y ajustar estos modelos. xTuring hace que la optimización del modelo sea fácil y rápida, ya sea usando LLaMA, GPT-J, GPT-2 u otro método.
La versatilidad de xTuring como marco de entrenamiento de GPU única o GPU múltiple significa que los usuarios pueden adaptar sus modelos a sus configuraciones de hardware específicas. xTuring utiliza técnicas de ajuste fino eficientes en memoria como LoRA para acelerar el proceso de aprendizaje y reducir los gastos de hardware hasta en un 90 %. Al disminuir la cantidad de memoria necesaria para el ajuste fino, LoRA facilita un entrenamiento de modelos más rápido y efectivo.
El modelo LLaMA 7B se utilizó como punto de referencia para las capacidades de ajuste fino de xTuring, y el equipo comparó xTuring con otras técnicas de ajuste fino. 52 000 instrucciones comprenden el conjunto de datos, y se utilizaron 335 GB de memoria de CPU y GPU 4xA100 para las pruebas.
Los resultados demuestran que entrenar el modelo LLaMA 7B durante 21 horas por época con DeepSpeed + descarga de CPU consumió 33,5 GB de GPU y 190 GB de CPU. Mientras se realiza un ajuste fino con LoRA + DeepSpeed o LoRA + DeepSpeed + descarga de CPU, el uso de la memoria se reduce drásticamente a 23,7 GB y 21,9 GB en la GPU, respectivamente. La cantidad de RAM utilizada por la CPU se redujo de 14,9 GB a 10,2 GB. Además, el tiempo de entrenamiento se redujo de 40 minutos a 20 minutos por época al usar LoRA + DeepSpeed o LoRA + DeepSpeed + descarga de CPU.
Comenzar con xTuring no podría ser más fácil. La interfaz de usuario de la herramienta está destinada a ser fácil de aprender y usar. Los usuarios pueden ajustar sus modelos con unos pocos clics del mouse y xTuring hará el resto. Debido a su facilidad de uso, xTuring es una excelente opción para personas nuevas en LLM y aquellas con más experiencia.
Según el equipo, xTuring es la mejor opción para ajustar modelos de lenguaje grande, ya que permite el entrenamiento de GPU única y múltiple, utiliza enfoques eficientes en memoria como LoRA y tiene una interfaz sencilla.
Revisar la Github, Proyecto y Referencia. Todo el crédito de esta investigación es para los investigadores de este proyecto. Además, no olvides unirte nuestro SubReddit de 17k+ ML, Canal de discordiay Boletín electrónicodonde compartimos las últimas noticias de investigación de IA, interesantes proyectos de IA y más.
Echa un vistazo a https://aitoolsclub.com para encontrar 100 de Cool AI Tools
