Estás leyendo la publicación: Los picos y pozos del código abierto con cara de abrazo
En sus diez años como científico de datos, Rajiv Shah ha desempeñado múltiples funciones: ingeniero de ventas en DataRobot, arquitecto de soluciones en Snorkel AI, evangelista tecnológico y ahora ingeniero de aprendizaje automático en Hugging Face. Incluso mientras trabaja con socios empresariales para monetizar los productos Hugging Face, Shah continúa sirviendo como profesor asistente adjunto en la Universidad de Illinois.
La revista Analytics India se reunió con Rajiv para comprender cómo se mantiene al día con la velocidad vertiginosa de la innovación de la IA, las cuestiones éticas que rodean la investigación de código abierto y los apocalipsis.
Rajiv: Nunca había visto tanta participación en el movimiento de código abierto en torno a la IA. Durante los últimos 10 años, hemos tenido varias herramientas de inteligencia artificial de código abierto, pero ahora el tamaño de la comunidad y el interés son enormes. Cada vez que miro TikTok o LinkedIn o incluso la reunión de Hugging Face que acaba de ocurrir en San Francisco, hace aproximadamente un mes aparecen 5000 personas.
Y estamos empezando a ver ese progreso en términos de construir conjuntos de datos útiles para entrenar estos LLM. Además de las preexistentes, ahora también hay un montón de organizaciones nuevas, como Together.xyz, que está comenzando a construir un modelo y acaban de compartir su conjunto de datos de RedPajama. O incluso H2O.ai o Databricks y ahora Stability AI, que tienen todos los modelos de código abierto. Por lo tanto, hay muchas empresas que se involucran ahora para tratar de mejorar el estado del código abierto.
OBJETIVO: Hay preocupaciones éticas sobre cómo muchos de estos modelos han sido entrenados con datos reciclados de, por ejemplo, ShareGPT u otros modelos de OpenAI. ¿Cómo ve usted estos temas?
Rajiv: Hay toda una lata de gusanos cuando empezamos a mirar los datos que se utilizan para entrenar estos modelos. Si da un paso atrás y mira, hay una gran cantidad de demandas en este momento contra Stability AI por parte de personas cuyo contenido se introduce en sus modelos o GitHub Copilot que está siendo demandado porque el código que tenían no debería haber estado dentro de los modelos. Es por eso que ahora hay un montón de empresas como Reddit o StackOverflow que están reteniendo sus datos.
Hay otra parte en la que algunos de estos modelos se lanzan con “propósitos educativos”, pero luego ves a todas estas empresas saltando sobre ellos y usándolos. Entonces, ¿realmente te preguntas si están hechos con fines educativos o comerciales?
Luego, hay otra categoría en la que los resultados de estos modelos GPT se usan para entrenar a otros modelos porque son de alta calidad. No hace falta decir que esta es un área muy gris. No está claro si eso es algo aceptable tanto en términos de las leyes de derechos de autor como de los Términos de servicio de OpenAI.
OBJETIVO: ¿HuggingGPT se acaba de lanzar en la plataforma Hugging Face? ¿Cómo llena el chatbot los vacíos que deja ChatGPT?
Rajiv: En primer lugar, creo que es importante aclarar que lo que realmente introdujimos fue una interfaz de usuario para chatear, y luego podrías conectarle cualquier tipo de modelo. Entonces, el modelo en realidad no está entrenado por Hugging Face: es el grupo abierto de asistentes el que construyó y entrenó el modelo. Sé que es fácil combinar estas cosas porque parece que estamos creando un rival para los productos OpenAI. Pero lo que introdujimos fue una interfaz de chat de código abierto, por lo que si las personas quieren usarla, pueden simplemente conectar su propio modelo. Entonces, cuando habla de alucinaciones y todos los demás problemas, es bastante conocido que todos los LLM son muy susceptibles a este problema.
OBJETIVO: La carta abierta que proponía la pausa de seis meses generó mucho ruido. ¿Qué piensas sobre eso?
Rajiv: Nunca me tomé la moratoria muy en serio. No había gente política involucrada en esto, así que no parecía muy realista. Por otro lado, lo que Europa está haciendo con respecto a la prohibición de ChatGPT y modelos similares parece estar en un terreno mucho más firme porque hace preguntas sobre los datos, el consentimiento para obtener los datos, la privacidad y otros temas importantes. Lo veo mucho más válido.
Estos modelos simplemente extrajeron datos de Internet a gran escala, lo que hasta ahora ha sido aceptable en los EE. UU., pero como vemos, Europa y otros lugares no estarán de acuerdo con este tipo de comportamiento.
OBJETIVO: ¿Qué puede decirnos sobre el tipo de asociaciones que busca Hugging Face?
Rajiv: Hugging Face realmente cree en la democratización de la IA, por lo que no queremos modelos de IA en una moratoria o cerrados porque creemos que es valioso tener transparencia. Ahora, hay muchas otras empresas que están alineadas con esa misión como, por ejemplo, AWS, que es una de nuestras asociaciones principales. Uno de nuestros socios recientes, Databricks, también se inclina hacia el código abierto. Hay otras organizaciones sin fines de lucro como Eleuther AI con las que también hemos trabajado para crear modelos de código abierto.
En general, solo queremos ver crecer la comunidad de código abierto y cualquier cosa que podamos hacer para construir más de estos puentes o enriquecer estas conexiones, lo haremos.
OBJETIVO: Hay toda una sección de investigadores que son serios apocalípticos y creen que estos modelos ni siquiera deberían ser de código abierto. Como respondes a eso?
Rajiv: Si damos un paso atrás y miramos lo que los humanos han hecho en los últimos 100 o 200 años, encontrarás que muchos ingenieros han construido muchas tecnologías peligrosas a lo largo de la historia. Entonces, creo que a veces la industria de la IA está un poco demasiado metida en sí misma en ese sentido.
Muchas de estas preocupaciones que se han planteado son bastante teóricas y muy presuntuosas. ¡Quiero decir que todavía estoy esperando mi auto sin conductor que nos prometieron hace 10 años! Así que creo que es saludable ser un poco escéptico. Claro, existe la probabilidad de peligros reales, pero en términos de todos los demás peligros y problemas que tenemos ahora mismo en el planeta, la IA está bastante abajo en la lista.
OBJETIVO: Tengo mucha curiosidad por entender cómo te mantienes al día con todo lo que está pasando en este momento.
Rajiv: ¡Lo sé bien! Se siente como todos los días y cada semana hay algo nuevo. La parte difícil de esto es que estamos en un punto de inflexión donde las cosas están cambiando muy rápido. Pero la cosa es que hemos pasado por eventos como este antes, donde tenemos muchos cambios durante un par de meses, pero las cosas eventualmente se ralentizan a medida que empezamos a entender más. Las personas se acostumbran a la tecnología lentamente y no se sorprenden tanto más tarde.
Pero como dijiste, es un cambio tan radical que afectará a tantos dominios diferentes y las preguntas a su alrededor son infinitas. Hay cuestiones legales, el impacto en las empresas, el empleo, la sociedad. Honestamente, podríamos hablar de esto para siempre.
