Estás leyendo la publicación: Chat local simplificadoGPT: hacia la IA
Publicado originalmente en Hacia la IA.
GPT4All basado en Meta LLaMA para su solución local de clonación de ChatGPT
ChatGPT ha conquistado el mundo. Establece nuevos récords para la base de usuarios de más rápido crecimiento en la historia, acumulando 1 millón de usuarios en 5 días y 100 millones de MAU en solo dos meses.
Transformador preentrenado generativo, o GPT, es la tecnología subyacente de ChatGPT. Se dice que la versión más reciente, GPT-4, posee más de 1 billón de parámetros. Según los informes, se ha entrenado en un grupo de 128 GPU A100 durante tres meses y cuatro días.
Sin duda, muchos desarrolladores o usuarios quieren ejecutar su propio ChatGPT localmente. GPT4All se ha convertido en la solución popular. Rápidamente ganó tracción en la comunidad, asegurando 15k estrellas de GitHub en 4 días, un hito que generalmente toma alrededor de cuatro años para proyectos de código abierto conocidos (por ejemplo, Apache Spark y Kafka).
Aquí tocará GPT4All y lo probará paso a paso en una computadora portátil con CPU local.
Introducir GPT4All
GPT4Todos es un chatbot de modelo de lenguaje grande (LLM) desarrollado por IA nómica, la primera empresa de cartografía de la información del mundo. Se ajustó a partir del modelo LLaMA 7B, el modelo de lenguaje grande filtrado de Meta (también conocido como Facebook). GPT4All está entrenado en un conjunto de datos masivo de texto y código, y puede generar texto, traducir idiomas, escribir diferentes tipos de contenido creativo y responder a sus preguntas de manera informativa.
GPT4All está disponible para el público en GitHub. LLaMA está disponible para uso comercial bajo la licencia GPL-3.0 — mientras que el código LLaMA está disponible para uso comercial, los PESOS no lo están. Esto lo coloca efectivamente en la misma clase de licencia que GPT4All. Nomic está trabajando en un GPT-JVersión basada en GPT4All con una licencia comercial abierta. GPT4All nunca tendrá una tarifa de suscripción. GPT4All es Free4All.
Aunque GPT4All aún se encuentra en sus primeras etapas, ya ha dejado una marca notable en el panorama de la IA. Se espera que su popularidad y capacidades se expandan aún más en el futuro.
Cómo ejecutar GPT4All localmente
GPT4Todos Léame proporciona algunos detalles sobre su uso. Aquí se demostrará brevemente cómo ejecutar GPT4All localmente en M1 CPU Mac.
- Descargar gpt4all-lora-quantized.bin desde el ojo.
- Clone este repositorio, navegue hasta el chat y coloque el archivo descargado allí. Simplemente ejecute el siguiente comando para M1 Mac:
cd chat;./gpt4all-lora-quantized-OSX-m1
Ahora, está listo para ejecutarse localmente. Por favor, vea algunas instantáneas a continuación:
Al igual que ChatGPT, GPT4All tiene la capacidad de comprender chino, una característica de la que carece Bard.
Si desea interactuar con GPT4All mediante programación, puede instalar el cliente nomic de la siguiente manera.
- Instale el cliente nomic usando pip install nomic.
- Utilice el siguiente script de Python para interactuar con GPT4All:
desde nomic.gpt4all importar GPT4All
m = GPT4Todos()
m.abrir()
m.prompt(‘escríbeme una historia sobre una superestrella’)
Chat4All desmitificado
GPT4All tiene como objetivo proporcionar un modelo rentable y ajustado para obtener resultados de LLM de alta calidad.
El modelo GPT4All se ajustó utilizando una instancia de LLaMA 7B con LoRA en 437 605 ejemplos posprocesados para 4 épocas. Los hiperparámetros detallados del modelo y los códigos de entrenamiento se pueden encontrar en el repositorio de GitHub.
Los desarrolladores de GPT4All recopilaron alrededor de 1 millón de respuestas rápidas utilizando la API GPT-3.5-Turbo OpenAI de varios conjuntos de datos disponibles públicamente. Después de un extenso proceso de preparación de datos, redujeron el conjunto de datos a un subconjunto final de 437 605 pares de respuestas rápidas de alta calidad.
El desarrollo de GPT4All tomó aproximadamente cuatro días e incurrió en $800 en gastos de GPU y $500 en tarifas de API de OpenAI. El modelo gpt4all-lora final se puede entrenar en un Lambda Labs DGX A100 8x 80GB en aproximadamente 8 horas, con un costo total de $100.
Una evaluación preliminar de GPT4All comparó su perplejidad con el modelo de alpaca-lora mejor conocido públicamente. Los resultados mostraron que los modelos GPT4All ajustados exhibieron una menor perplejidad en la evaluación de autoinstrucciones en comparación con Alpaca. Sin embargo, esta evaluación no fue exhaustiva debido a que alentó a los usuarios a ejecutar el modelo en CPU locales para obtener información cualitativa sobre sus capacidades.
TL;RD
Teniendo en cuenta los LLM costosos en capacitación y servicio, Meta LLaMA es una base para acelerar la comunidad de código abierto LLM.
Stanford’s Alpaca, basado en LLaMA, ofrece un modelo más pequeño optimizado con un rendimiento mejorado. Ahora, GPT4All, también basado en LLaMA, permite la ejecución local. La IA generativa está evolucionando rápidamente todos los días.
Publicado a través de Hacia la IA
