Estás leyendo la publicación: Conozca GPT4All: un modelo de lenguaje de parámetros 7B perfeccionado a partir de un conjunto seleccionado de 400k GPT-Turbo-3.5 Generación de estilo asistente
Si ha estado en Internet recientemente, es muy probable que haya oído hablar de los grandes modelos de lenguaje o de las aplicaciones creadas a su alrededor. El ejemplo más conocido es ChatGPT de OpenAI, que emplea el modelo de lenguaje grande GPT-Turbo-3.5. Los modelos de lenguaje grande, o LLM, como se les conoce, son una revolución revolucionaria en el mundo de la inteligencia artificial y el aprendizaje automático, ya que estos algoritmos sofisticados son capaces de llevar a cabo varias tareas de lenguaje natural. Estos algoritmos pueden reconocer con éxito patrones de texto después de haber sido entrenados en conjuntos de datos masivos con millones o miles de millones de parámetros. Debido a sus numerosos casos de uso, los LLM se están incorporando actualmente a una variedad de campos para mejorar la vida de las personas en general.
Numerosas empresas, desde grandes empresas de tecnología hasta nuevas empresas, se han lanzado a la carrera para desarrollar aplicaciones de inteligencia artificial en lenguaje natural después de ver la promesa de los LLM. En respuesta a ChatGPT de OpenAI, Google presentó BARD, su chatbot conversacional de IA, mientras que Meta desarrolló LLaMA, un LLM 65B que supuestamente puede superar GPT-3. ¡Sin embargo, la historia no termina aquí! La última innovación de Nomic AI, GPT4All, un LLM de parámetros 7B entrenado en un vasto corpus curado de más de 800k interacciones de asistentes de alta calidad recopiladas con el modelo GPT-Turbo-3.5, se une a la carrera de empresas que experimentan con modelos GPT basados en transformadores. GPT4All se inspira en gran medida en el modelo de seguimiento de instrucciones de Stanford, Alpaca, y ha dado como resultado aproximadamente 430.000 pares de interacción de estilo asistente de alta calidad, que incluyen descripciones de historias, diálogo, código, etc.
Los creadores de GPT4All se embarcaron en un camino bastante innovador y fascinante para construir un chatbot similar a ChatGPT utilizando LLM ya existentes como Alpaca. Curar una cantidad significativamente grande de datos en forma de emparejamientos de respuesta rápida fue el primer paso en este viaje. Para este propósito, el equipo reunió más de un millón de preguntas e indicaciones de varias fuentes de acceso público y recopiló sus respuestas utilizando el modelo GPT-Turbo-3.5. El siguiente paso fue limpiar estos datos de respuesta rápida para eliminar cualquier instancia de solicitud fallida y respuestas irregulares, dejándolos con más de 800 000 pares de respuesta rápida de alta calidad. El equipo explicó que dedicaron una cantidad considerable de tiempo y atención a los detalles en el paso de curación y preparación de datos para garantizar que sus pares de datos estuvieran actualizados y cubrieran una amplia gama de temas.
La siguiente fase involucró el entrenamiento de múltiples modelos y la selección del que mejor se desempeñó. Los investigadores aplicaron numerosas instancias del modelo de lenguaje LLaMA de Meta para el entrenamiento. El modelo vinculado al lanzamiento público más reciente de GPT4All es Alpaca de Stanford, que se basa en el modelo LLaMA de Meta. Se entrenó utilizando un método de adaptación de bajo rango (LoRA), que produjo 430 000 instancias posprocesadas. Los investigadores también realizaron una evaluación inicial de su estrategia al comparar la perplejidad de su modelo con el mejor modelo de alpaca-Lora que estaba a disposición del público. El procedimiento de evaluación está en curso y la organización planea proporcionar información adicional pronto.
Actualmente, el modelo GPT4All tiene licencia solo con fines de investigación y su uso comercial está prohibido ya que se basa en LLaMA de Meta, que tiene una licencia no comercial. Una de las principales atracciones del modelo GPT4All es que también viene en una versión cuantificada de 4 bits, lo que permite que cualquier persona ejecute el modelo simplemente en una CPU. En pocas palabras, los usuarios con recursos computacionales limitados pueden conformarse con menos precisión para entrenar su modelo a cambio de usar hardware de nivel de consumidor. Las instrucciones para ejecutar GPT4All son sencillas y están bien documentadas en su repositorio de GitHub. Nomic AI también ha abierto toda la información relacionada con GPT4All, incluido el conjunto de datos, el código y los pesos de los modelos, para que la comunidad desarrolle su trabajo.
Tales iniciativas y contribuciones a la carrera por los modelos de lenguaje natural son esenciales para acelerar el ritmo actual de la inteligencia artificial y el aprendizaje automático. En esta dirección, el modelo GPT4All es un paso realmente destacado. El modelo logra resultados ejemplares utilizando menos recursos computacionales, lo que lo hace bastante extraordinario.
