NVIDIA intenta mantener “encaminadas” las alucinaciones de los chatbots de IA

Estás leyendo la publicación: NVIDIA intenta mantener “encaminadas” las alucinaciones de los chatbots de IA

Los chatbots de IA y las alucinaciones van de la mano. Incluso si la tecnología tiene toda la publicidad a su alrededor con ChatGPT, Bard y muchos otros lanzamientos cada dos semanas, no podemos negar que comete errores que también pueden ser peligrosos. A veces, los modelos pueden sonar motivados para mentir e incluso engañar a sus usuarios y también decir cosas negativas.

NVIDIA decidió tomar el asunto en sus propias manos para tratar de solucionar este problema. La empresa ha lanzado Barandillas NeMoun conjunto de herramientas de código abierto que tiene como objetivo hacer que las aplicaciones basadas en modelos de lenguaje grande (LLM) sean “precisas, apropiadas, sobre el tema y seguras”, como se anunció en un blog de la compañía.

El conjunto de herramientas creado por NVIDIA está impulsado por y para LangChain, que fue creado por Harrison Chase. El conjunto de herramientas se creó para proporcionar plantillas y patrones fáciles de usar para crear aplicaciones basadas en LLM. Los usuarios pueden crear fácilmente límites alrededor de las aplicaciones de IA al agregar NeMo Guardrails en las aplicaciones creadas con LangChain. También puede funcionar con aplicaciones de la plataforma Zapier.

Chase dijo que John C, otro desarrollador detrás de LangChain, también tuvo la idea de instalar barandillas alrededor de su desarrollo nativo hace unos meses y ha incorporado las ideas en las nuevas barandillas de NVIDIA.

Jonathan Cohen, vicepresidente de investigación aplicada de NVIDIA, dijo que la empresa ha estado trabajando en guardarraíles alrededor de sistemas similares durante bastante tiempo y que GPT-4 y ChatGPT le dieron la idea correcta a él y a la empresa. Cohen le dijo a TechCrunch: “Las herramientas de seguridad del modelo de IA son fundamentales para implementar modelos para casos de uso empresarial”.

La naturaleza de código abierto de las barandillas de NeMo junto con LangChain en Python permitirá que cualquier desarrollador las use, incluso si no es un experto en aprendizaje automático, dijo la compañía. Estos se pueden usar para cualquier herramienta que use una empresa con solo unas pocas líneas de código. El marco NeMo está disponible en el NVIDIA IA empresarialademás de estar presente en GitHub para desarrolladores.

Existencia de Barandas

Algunos critican a OpenAI y ChatGPT por su capacidad de generar resultados dañinos, mientras que otros, como Elon Musk, lo critican por estar demasiado alerta. Sea como sea, es importante poner barandillas para que estos modelos dejen al menos de alucinar.

Además de publicar recientemente un blog sobre las pautas de la marca que se abstienen de desarrollar aplicaciones con el nombre ‘GPT’ y también solicitar una marca registrada en el mismo, la compañía también se ha preocupado por la seguridad y confiabilidad de sus modelos. La compañía actualizó su política de uso el mes pasado para garantizar que no haya actividad ilegal, incluido contenido de odio y generación de malware, al tiempo que rechaza una gran cantidad de contenido. Ahora también permite a los usuarios eliminar su historial de chat y sus datos.

Esto también plantea la cuestión de los sesgos en los chatbots. En febrero, OpenAI había publicado el blog, “¿Cómo deberían comportarse los sistemas de IA y quién debería decidir?”, donde la empresa explicaba el funcionamiento de ChatGPT y cómo está dispuesta a permitir una mayor personalización y aportes del público en la toma de decisiones. proceso. Para ello, la empresa decidió conseguir revisores para afinar su modelo.

Curiosamente, el blog también dijo que OpenAI permitirá que ChatGPT genere contenido con el que muchas personas, incluidas ellas, no estarían de acuerdo. “En algunos casos, ChatGPT actualmente rechaza salidas que no debería y, en algunos casos, no rechaza cuando debería. Creemos que es posible mejorar en ambos aspectos”. Lograr el equilibrio adecuado es importante.

Mira Murati, CTO de OpenAI, en The Daily Show con Trever Noah dijo que debería haber una mayor participación del gobierno para crear regulaciones en torno a productos de IA como ChatGPT.

De manera similar, Sundar Pichai dijo en una entrevista de CBS “60 Minutes” que la instalación de barandas alrededor de la IA no es algo que la empresa deba decidir sola. De manera similar, el exjefe de Google, Eric Schmidt, también dijo que en lugar de detener los avances en IA y la capacitación de modelos que se propusieron en una petición reciente, es más importante que todos se reúnan y discutan las medidas de seguridad apropiadas.

¿Hay algún problema?

Esencialmente, según lo definido por NVIDIA, estas barreras se encuentran entre el usuario y la aplicación de IA conversacional. Aunque filtrará el contenido según el tema, haciéndolo parecer más relevante, también filtrará el contenido especificado por el desarrollador del chatbot como inseguro o poco ético.

Esto trae consigo la cuestión del sesgo inducido por humanos en los chatbots también.. Es cierto que debería haber algunas medidas de seguridad en torno a los chatbots para evitar que generen contenido peligroso, definiendo odioso y prohibiendo que el contenido pueda estar sesgado. Esto podría hacer que los chatbots como ChatGPT sean aún más restrictivos de lo que son, aunque la intención sea la contraria.

Las barandillas pueden hacer que el contenido generado por los chatbots sea más actual, pero también pueden inducir más sesgos, haciéndolos menos confiables, aunque “seguros”.

El blog de OpenAI de dos meses de antigüedad sobre permitir que las personas ajusten su modelo y también permitir contenido con el que no están de acuerdo suena algo opuesto a esto. ¿Quién sabe qué pasaría con TruthGPT de Musk? ¿Tendría el tipo correcto de barandas?