Estás leyendo la publicación: Documento filtrado de Google revela desafíos para mantener la ventaja competitiva en IA
Un individuo anónimo compartió un documento filtrado en un servidor público de Discord de un investigador dentro de Google, confirmó SemiAnalysis. El documento destaca que aunque OpenAI y Google están en una carrera para desarrollar los modelos de lenguaje más avanzados, su progreso se ve eclipsado rápidamente por los avances realizados en la comunidad de código abierto.
El documento contiene las opiniones personales de un empleado de Google y no representa los puntos de vista de la empresa en su conjunto. De acuerdo a BloombergLuke Sernau, ingeniero senior de software de Google, compartió el documento en una plataforma interna dentro de la empresa hace aproximadamente un mes.
“Mientras que nuestros modelos todavía tienen una ligera ventaja en términos de calidad, la brecha se está cerrando asombrosamente rápido. Los modelos de código abierto son más rápidos, más personalizables, más privados y, libra por libra, más capaces. Están haciendo cosas con parámetros de $ 100 y 13 mil millones con los que luchamos a $ 10 millones y 540 mil millones. Y lo están haciendo en semanas, no en meses”,
leyó el documento.
Se cuestionó el enfoque de la empresa hacia los modelos de lenguaje. Sernau escribió que Google no posee una “salsa secreta” y, en cambio, debería buscar aprender y colaborar con esfuerzos externos. El documento enfatizó la importancia de permitir integraciones de terceros y reconoció que es poco probable que las personas paguen por un modelo restringido cuando existen alternativas gratuitas de calidad comparable. Sernau también argumentó que la búsqueda de modelos lingüísticos gigantes estaba impidiendo el progreso y sugirió que las variantes más pequeñas deberían recibir más atención. El documento concluyó que los mejores modelos, a largo plazo, son aquellos que se pueden repetir rápidamente.
El gráfico, que incluye las etiquetas “2 semanas de diferencia” y “1 semana de diferencia”, se derivó de un gráfico en el anuncio de Vicuña 13-B. El autor modificó el cuadro original para ilustrar el rápido desarrollo de LLaMA Vicuña y Alpaca después del desarrollo de LLaMA.
Fuente: SemianálisisLos intentos de Google por salvaguardar sus ventajas tecnológicas frente a competidores como OpenAI han demostrado ser un desafío. Además, con la creciente colaboración dentro de la comunidad investigadora, mantener una ventaja competitiva se ha vuelto aún más difícil. Con acceso asequible a investigaciones de vanguardia sobre LLM, las instituciones de todo el mundo están realizando estudios que superan con creces la capacidad de Google. Sernau sugiere que Google puede aferrarse a sus secretos mientras la innovación externa diluye su valor o buscar aprender de otros en la comunidad de investigación.
Leer más:
