Estás leyendo la publicación: GPT4ALL – Tu chat personal GPT Run Locally 1-click-install
GPT4All es un proyecto intrigante basado en Llama, y aunque puede que no sea utilizable comercialmente, es divertido jugar con él. GPT4All aprendió de una colección masiva de interacciones de ayuda como rompecabezas de palabras, historias, conversaciones y código. Compartieron el proceso de recopilación de datos, el código de entrenamiento y los detalles del modelo final para fomentar la investigación abierta y facilitar su repetición. Además, una versión más simple del modelo, por lo que casi cualquier persona puede ejecutarlo en la CPU de su computadora.
Captura de pantalla del autor, GPT4ALL Informe técnico
¿Es GPT4All tu nuevo ChatGPT personal? Si bien es posible que no sea un reemplazo completo para ChatGPT, ciertamente brinda una funcionalidad interesante.
Este blog explorará GPT4All, un proyecto de código abierto que lleva el ajuste más allá de Alpaca, y verá cómo se compara con ChatGPT.
Introducción a GPT4All: ¿Cuál es el trato?
El equipo detrás de GPT4All creó un informe que detalla su proceso. Utilizaron un millón de respuestas rápidas generadas con GPT-3.5 Turbo, lo que puede estar en contra de los términos de servicio de OpenAI. Ver cómo construyeron su conjunto de datos y ajustaron el modelo es interesante.
Nomic.ai: la empresa detrás del proyecto
Nomic.ai es la empresa detrás de GPT4All. Uno de sus productos esenciales es una herramienta para visualizar muchas indicaciones de texto. Esta herramienta se usó para filtrar las respuestas que obtuvieron de la API GPT-3.5 Turbo. Compilaron su conjunto de datos utilizando varias fuentes, incluido el conjunto de datos CHIP-2, las preguntas de codificación de Stack Overflow y el conjunto de datos P3. Después de filtrar las respuestas no tan buenas, tenían alrededor de 500 000 pares de indicaciones y continuaciones. Luego afinaron el modelo Llama, lo que resultó en GPT4All.
Configuración de GPT4All: Easy Peasy
La configuración fue la más fácil. Sus instrucciones de Github están bien definidas y son sencillas. Hay dos opciones, local o google collab. Probé ambos y pude ejecutarlo en mi Mac M1 y Google Collab en unos minutos.
Configuración local
- Descargue el archivo gpt4all-lora-quantized.bin desde Direct Link.
- Clone este repositorio, navegue hasta el chat y coloque el archivo descargado allí.
- Ejecute el comando apropiado para su sistema operativo:
- M1 Mac/OSX: cd chat;./gpt4all-lora-quantized-OSX-m1
- Linux: cd chat;./gpt4all-lora-quantized-linux-x86
- Windows (PowerShell): cd chat;./gpt4all-lora-quantized-win64.exe
- Intel Mac/OSX: cd chat;./gpt4all-lora-quantized-OSX-intel
Colaboración de Google
La ejecución en Google Collab fue un clic, pero la ejecución es lenta ya que solo usa CPU. Ejecuté los dos bloques de código y pegué. cd /content/gpt4all/chat;./gpt4all-lora-quantized-linux-x86
Capturado por el autor, Google Collab GPT4ALL
GPT4All en acción: ¿Cómo funciona?
Al probar GPT4All con una serie de indicaciones, queda claro que el modelo es bastante bueno para proporcionar respuestas coherentes.
Capturado por el autor, GPT4ALL en acción
Sin embargo, cuando se prueba el modelo con tareas más complejas, como escribir un artículo completo o crear una función para verificar si un número es primo, GPT4All se queda corto. Es evidente que si bien GPT4All es un modelo prometedor, no está a la altura de ChatGPT o GPT-4.
Recopilación de datos GPT4All
El equipo recopiló aproximadamente un millón de pares de respuestas rápidas mediante la API GPT-3.5-Turbo OpenAI entre el 20 y el 26 de marzo de 2023. Aprovecharon tres conjuntos de datos disponibles públicamente para recopilar una muestra diversa de preguntas e indicaciones: Datos sin procesar:
- El subconjunto chip2 unificado de LAION OIG
- Codificación de preguntas con una submuestra aleatoria de preguntas de Stackoverflow
-
Ajuste de instrucciones con una submuestra de Bigscience/P3
Capturado por el autor, respuestas de Train RAW Data Capturado por el autor, respuestas de Train RAW Data Durante la preparación y curación de datos, los investigadores eliminaron ejemplos en los que GPT-3.5-Turbo no respondía a las indicaciones y producía resultados con formato incorrecto. Después de la limpieza, el conjunto de datos contenía 806 199 pares de generación rápida de alta calidad. El equipo eliminó todo el subconjunto Bigscience/P3 debido a la baja diversidad de salida. El conjunto de datos final constaba de 437 605 pares de generación rápida.
Entrenamiento y reproducibilidad de modelos
Los investigadores entrenaron varios modelos ajustados a partir de una instancia de LLaMA 7B (Touvron et al., 2023). Usaron LoRA (Hu et al., 2021) para entrenar su modelo de lanzamiento público inicial en los 437,605 ejemplos posprocesados para cuatro épocas. El equipo publicó todos los datos, el código de entrenamiento y los pesos de los modelos para garantizar la reproducibilidad. La producción de estos modelos fue de aproximadamente $ 800 en costos de GPU y $ 500 en gastos de API OpenAI. Pesos LoRa entrenados:
- gpt4all-lora (cuatro épocas completas de entrenamiento): https://huggingface.co/nomic-ai/gpt4all-lora
-
gpt4all-lora-epoch-2 (tres épocas completas de entrenamiento) https://huggingface.co/nomic-ai/gpt4all-lora-epoch-2 Datos sin procesar:
- Datos de entrenamiento sin P3
Explorador: https://atlas.nomic.ai/map/gpt4all%5Fdata%5Fclean%5Fwithout%5Fp3> -
Conjunto de datos completo con P3
Explorador: https://atlas.nomic.ai/map/gpt4all%5Fdata%5Fclean> Puede entrenar y generar su propio modelo. Siga su documentación para más referencia. **Encuentre la colaboración de Google para entrenar su propio ChatGPT personal.
Consideraciones de evaluación y uso
GPT4All se evaluó utilizando datos de evaluación humana del documento Self-Instruct (Wang et al., 2022). Los resultados mostraron que los modelos ajustados en este conjunto de datos recopilados exhibieron una perplejidad mucho menor en la evaluación de Autoinstrucción que Alpaca. Aunque no es exhaustiva, la evaluación indica el potencial de GPT4All. Los autores publicaron datos y detalles de capacitación para acelerar la investigación LLM abierta, especialmente en los dominios de alineación e interpretabilidad. GPT4Todos los pesos y datos de los modelos están destinados y autorizados solo con fines de investigación, con uso comercial prohibido. Los datos del asistente se obtienen del GPT-3.5-Turbo de OpenAI, cuyos términos de servicio prohíben desarrollar modelos que compitan comercialmente con OpenAI.
Hoja de ruta futura
Según su página de GitHub, la hoja de ruta consta de tres etapas principales, comenzando con objetivos a corto plazo que incluyen entrenar un modelo GPT4All basado en GPTJ para abordar los problemas de distribución de llamadas y desarrollar mejores interfaces de CPU y GPU para el modelo, los cuales están en progreso. . Los planes también implican la integración de enlaces llama.cpp, la creación de una interfaz de chat conversacional fácil de usar y la posibilidad de que los usuarios envíen sus chats para capacitación futura, pero estas tareas aún no se han iniciado. A mediano plazo, el enfoque cambiará a la integración de GPT4All con Atlas para la recuperación de documentos (bloqueado por GPT4All basado en GPTJ) y Langchain, así como al desarrollo de scripts de capacitación personalizados simples para el ajuste fino del modelo de usuario. Por último, los objetivos a largo plazo tienen como objetivo permitir que cualquier persona seleccione datos de entrenamiento para futuras versiones de GPT4All usando Atlas y democratizar la IA, con este último actualmente en progreso.
Mi conclusion
Si bien GPT4All es un modelo divertido para jugar, es esencial tener en cuenta que no es ChatGPT o GPT-4. Es posible que no proporcione la misma profundidad o capacidades, pero aun así se puede ajustar para fines específicos. Si un modelo de código abierto como GPT4All pudiera entrenarse en un billón de tokens, podríamos ver modelos que no dependen de las API de ChatGPT o GPT-4. Entonces, aunque GPT4All puede no ser el reemplazo de ChatGPT que esperaba, sigue siendo un proyecto emocionante que muestra el potencial de los modelos de IA de código abierto. ¿Entonces, qué piensas? Deja un comentario para que Medium pueda recomendarte más contenido excelente. La mejor parte de leer artículos es desplazarse hacia abajo hasta la sección de comentarios y encontrar información adicional o comentarios divertidos. Entonces, ¡vamos, hagamos vibrar a la comunidad de IA!
Sígueme en las redes sociales YouTube, Gorjeoy Instagram.
