Estás leyendo la publicación: Mientras Google y OpenAI luchan por el AI Bone, el código abierto… – Hacia la IA
Publicado originalmente en Hacia la IA.
“Oye, ¿escuchaste? dicen que Google y OpenAI no tienen una ventaja competitiva en LLM”.
“Sí, claro… ¿quién lo dijo?”
“Google.”
“Espera un minuto…”
Hace una semana, SemiAnalysis lanzó una verdadera sorpresa cuando hizo público un documento filtrado de Google titulado “No tenemos una ventaja competitiva, y OpenAI tampoco”. Si bien no podemos estar seguros de si el documento es legítimo, presenta algunos puntos que invitan a la reflexión sobre la lucha real en el mundo de los modelos de lenguaje extenso (LLM). No es Google contra OpenAI; es más como LLM de código abierto que se enfrenta a sus contrapartes de código cerrado.
Este documento filtrado insinúa que tanto Google como OpenAI podrían estar perdiendo su ventaja frente a la creciente comunidad LLM de código abierto. ¿La razón? Es bastante simple: los proyectos de código abierto avanzan a la velocidad del rayo. Más rápido de lo que pueden igualar las grandes corporaciones o las empresas respaldadas por corporaciones, especialmente porque los proyectos de código abierto no enfrentan muchos riesgos de reputación. Aparentemente escrito por un investigador de Google, el documento enfatiza que a pesar de que Google y OpenAI han estado trabajando arduamente para crear los modelos de lenguaje más poderosos, la comunidad de código abierto se está poniendo al día a una velocidad asombrosa. Los modelos de código abierto son más rápidos, más adaptables y más portátiles. Han logrado obtener excelentes resultados con muchos menos recursos, mientras que Google se enfrenta a presupuestos más grandes y modelos más complejos.
Además, tener toneladas de investigadores trabajando juntos al aire libre hace que sea más difícil para empresas como Google y OpenAI mantenerse a la vanguardia en términos de tecnología. El informe dice que mantener una ventaja competitiva en tecnología se está volviendo aún más difícil ahora que la investigación LLM de vanguardia está al alcance. Las instituciones de investigación de todo el mundo se basan en el trabajo de los demás, explorando el espacio de soluciones de una manera que va mucho más allá de lo que puede hacer una sola empresa. Resulta que ser capaz de entrenar modelos enormes desde cero en hardware costoso ya no cambia las reglas del juego que solía ser, lo que significa que casi cualquier persona con una idea genial puede crear un LLM y compartirlo.
Muy bien, hemos visto proyectos de código abierto que intentan superar a sus contrapartes corporativas antes, pero profundicemos un poco más para ver si se trata de una amenaza real en el mundo de la IA.
Altibajos en el mundo de la colaboración abierta
El software de código abierto siempre ha tenido sus altibajos. A algunos proyectos como BIND, WordPress y Firefox les ha ido muy bien, demostrando que pueden enfrentarse a productos empresariales de renombre. Por otro lado, proyectos como OpenOffice, GIMP y OpenSolaris enfrentaron dificultades y perdieron terreno rápidamente. Independientemente, el software de código abierto sigue siendo popular, con muchos sitios web que utilizan servidores web Apache, servidores BIND y bases de datos MySQL.
Ahora, el problema es que mantener los proyectos de código abierto financiados y mantenidos puede ser complicado. Se necesita una planificación sólida, los recursos adecuados y una conexión real con los usuarios. Si un proyecto tiene una base de usuarios dedicada y desarrolladores apasionados, es más probable que se mantenga al día y siga mejorando. En 2018, OpenAI enfrentó algunos de estos obstáculos y decidió que era hora de un cambio. Comenzaron a buscar capital y finalmente se convirtieron en beneficio limitado compañía. Eso significa que podrían obtener inversiones y ofrecer a los inversores un rendimiento máximo de 100 veces su inversión inicial.
OpenAI dijo que necesitaban hacer estos cambios para financiar la investigación, apoyar a las grandes empresas y mantener las cosas seguras. Entonces, se podría argumentar que hicieron lo que tenían que hacer para esquivar las trampas habituales del código abierto. Pero eso no fue gratis, ya que, si bien OpenAI ha logrado un progreso impresionante en el desarrollo de IA, su secreto cada vez mayor, la falta de transparencia y las opciones de personalización limitadas han alienado a la misma comunidad a la que alguna vez pretendió servir.
Por otro lado, a Google le gusta mucho el software de código abierto y está involucrado en bastantes proyectos de código abierto. Basta con mirar a Android, su sistema operativo móvil. Se basa en el kernel de Linux y ha cambiado las reglas del juego al hacer que el software de código abierto sea popular en el mundo de los teléfonos inteligentes. Hoy en día, la mayoría de los teléfonos inteligentes funcionan con Android. Otro increíble proyecto de código abierto de Google es Kubernetes, que se ha convertido en la mejor opción para la orquestación de contenedores. Ayuda a los desarrolladores a automatizar cosas como la implementación, el escalado y la gestión de aplicaciones en contenedores. Por último, pero no menos importante, no olvidemos Chromium. Chrome de Google se basa en el proyecto Chromium de código abierto y se ha vuelto muy popular desde su lanzamiento.
Al ser parte de proyectos de código abierto como estos, Google muestra que realmente les gusta la transparencia, la apertura y el trabajo conjunto para crear soluciones de software innovadoras y flexibles. Están dedicados a hacer que el mundo de la tecnología sea más inclusivo, diverso y accesible para todos. Por esta razón, no me sorprendería demasiado si Google decidiera hacer de su próximo gran modelo de lenguaje un proyecto de código abierto. Podría ser un movimiento inteligente porque tendrían toda su marca, marketing, y los desarrolladores lo respaldan, lo que le da a OpenAI una seria competencia. Por supuesto, eso suponiendo que la calidad del modelo esté a la par, lo que no ha sido el caso hasta ahora. Lo que es aún más crucial es que alguien más pueda enganchar ese lugar primero. Como veremos a continuación, hay una larga lista de novatos esperando en la fila.
Un viaje guiado a través del auge de LLM de código abierto
Uno de los aspectos más interesantes del documento SemiAnalysis es la línea de tiempo reciente que destaca hitos clave en la comunidad de código abierto, particularmente en el área de modelos de lenguaje extenso (LLM). Todo comienza con lo que podría considerarse el “big bang” de los avances recientes de LLM de código abierto: el lanzamiento de LLaMA por parte de Meta el 24 de febrero de 2023. LLaMA es un LLM con tamaños de parámetros de 7B a 65B, que afirma requerir menos potencia informática, lo que lo hace ideal para probar nuevos enfoques. En realidad, no se lanzó como un modelo de código abierto, pero una semana después del lanzamiento, los pesos del modelo de LLaMA se filtraron al público y todos tuvieron la oportunidad de jugar con él. Fue entonces cuando las cosas comenzaron a dispararse.
Aquí hay un breve resumen de los hitos descritos en el documento:
- Implementación Raspberry Pi de Artem Andreenko de LLaMA (12 de marzo de 2023)
- Lanzamiento de Alpaca de Stanford (13 de marzo de 2023)
- Cuantificación de LLaMA de 4 bits de Georgi Gerganov, que permite que se ejecute en una CPU de MacBook sin GPU (18 de marzo de 2023)
- El lanzamiento del modelo 13B de Vicuña (19 de marzo de 2023) se entrenó por solo $ 300.
- Cerebras entrenó una arquitectura GPT-3 de código abierto que eclipsa a los clones GPT-3 existentes.
- LLaMA-Adapter (28 de marzo de 2023) estableció un nuevo récord en ScienceQA multimodal con solo 1,2 millones de parámetros que se pueden aprender mediante una técnica de ajuste fino eficiente de parámetros (PEFT).
- Koala de UC Berkeley (3 de abril de 2023) lanza un modelo de diálogo entrenado completamente en datos gratuitos, que cuesta $ 100 y obtiene una preferencia de usuario de más del 50 % en comparación con ChatGPT.
- El lanzamiento de Open Assistant (15 de abril de 2023) ofrece una pila abierta completa para ejecutar modelos RLHF (aprendizaje de refuerzo a partir de comentarios humanos) con una calificación de preferencia humana del 48,3 %.
Y la lista continúa…
Si, lo tienes bien. Todo esto sucedió en poco más de dos meses, lo que demuestra cuán animada es la escena de código abierto. Sin embargo, la mayoría de estos modelos de código abierto pueden ser conocidos solo por personas internas y no han llegado a la corriente principal (debo admitir que también me enteré de la mayoría de ellos a través del documento filtrado). Pero hace solo unos días, el 5 de mayo, llegó un posible cambio de juego: se lanzó MosaicML. MPT-7B, poniendo el listón muy alto para los competidores de código abierto (y tal vez incluso para OpenAI). Además, tiene licencia para uso comercial, a diferencia de LLaMA. La serie MPT también admite entradas superlargas con longitudes de contexto de hasta 84k durante la inferencia.
MosaicML sometió a la serie MPT a pruebas rigurosas en varios puntos de referencia, lo que demuestra que puede igualar los estándares de alta calidad de LLaMA-7B. El modelo base MPT-7B es un transformador estilo decodificador con parámetros 6.7B, entrenado en tokens de texto y código de 1T. MosaicML también lanzó tres versiones mejoradas: MPT-7B-StoryWriter-65k+ para longitudes de contexto súper largas en ficción; MPT-7B-Instruct para seguimiento de instrucciones breves; y MPT-7B-Chat, un modelo similar a un chatbot para generar diálogos.
MPT-7B se entrenó en la plataforma MosaicML en solo 9,5 días con 440 GPU, sin intervención humana. Las ventajas de estas mejoras están claras en los números. Por ejemplo, MosaicML afirma que el modelo MPT-7B ofrece un rendimiento competitivo con solo 7 mil millones de parámetros, que es 28 veces más pequeño que el GPT-3 de OpenAI con sus 175 mil millones de parámetros. Esta reducción de tamaño significa un gran ahorro de costes, ya que se necesitan menos recursos tanto para la formación como para la implementación. Además, el modelo MPT-7B más pequeño es más portátil, lo que facilita su incorporación a diversas aplicaciones y plataformas.
Entonces, la pregunta del millón es: ¿puede MPT-7B igualar el nivel de calidad que esperamos de ChatGPT? Ya veremos. Pero una cosa es segura: el mundo de código abierto de los LLM está lleno de entusiasmo e innovación, y no pasará mucho tiempo antes de que lo descubramos.
Entonces, ¿tenemos un claro ganador?
No, en realidad no lo hacemos. No creo que todos los temores expresados en el artículo estén necesariamente bien fundados. Muchas de las preocupaciones planteadas en el artículo podrían no estar bien fundadas. Sin embargo, esta tampoco es una gran noticia para Google, ya que OpenAI sigue siendo, con mucho, el líder indiscutible en el mercado de LLM. OpenAI hizo un movimiento inteligente y audaz en noviembre de 2022 al lanzar ChatGPT para uso público, totalmente gratuito y quizás aún no completamente seguro. Este movimiento obtuvo una tracción masiva, lo que convirtió a OpenAI en la empresa más rápida en llegar a un millón de usuarios en solo cinco días, y a la friolera de 100 millones a fines de enero de 2023.
Dejando a un lado los números impresionantes, hay un punto importante a destacar aquí: OpenAI está recopilando una enorme (y quiero decir ENORME) cantidad de datos de usuario. Si bien el documento filtrado afirma que los algoritmos más rápidos y económicos brindan una ventaja competitiva, esa es solo una parte de la historia. En el ámbito de la IA, lo que realmente importa a los usuarios es la calidad de la información que ofrecen los modelos. Para hacer mejores inferencias, se necesitan más datos y comentarios, y eso es exactamente lo que está recopilando OpenAI.
Además, vale la pena señalar que OpenAI cuenta con el respaldo de Microsoft, lo que les otorga acceso a una nube masiva de datos de usuario. Cuando su IA puede crear una impresionante presentación de PowerPoint, una hoja de cálculo de Excel completa o el perfil de LinkedIn perfecto con solo describirlos con palabras, el algoritmo utilizado para lograrlo se vuelve irrelevante. Pero cuando hace preguntas y recibe respuestas incorrectas, saber que el algoritmo se entrenó con un presupuesto de solo $ 300 no es reconfortante.
Publicado a través de Hacia la IA
