Estás leyendo la publicación: Los agentes de IA pueden aprender a pensar mientras actúan: una nueva investigación de IA presenta un nuevo marco de aprendizaje de imitación llamado clonación de pensamientos
El lenguaje les da a los humanos un nivel extraordinario de intelecto general y los distingue de todas las demás criaturas. Es importante destacar que el lenguaje no solo ayuda a las personas a interactuar mejor con los demás, sino que también mejora nuestra capacidad de pensar. Antes de discutir las ventajas de los agentes de pensamiento de lenguaje, que han recibido mucha menos atención, primero discuten los beneficios de los agentes de comprensión de lenguaje (un tema frecuente en IA). Si sus agentes pueden dominar el idioma, resultan varias ventajas. Esto es esencial para que los agentes se generalicen a las nuevas tareas que se les exigen.
Esto se debe a que le da a un agente una descripción del trabajo en lugar de dejar que el agente lo descubra según sus resultados en una muestra mucho más eficiente. Además, los agentes con capacidad de idiomas nos permiten crear nuevas tareas durante las pruebas sin tener que adivinar qué solicitudes pueden tener los usuarios más adelante para sus agentes capacitados. Esto contrasta con las descripciones de trabajo tradicionales diseñadas a mano, que pueden ser extensas pero aún tienen limitaciones sobre lo que se le puede pedir a un agente que haga. Si bien las ventajas de los agentes que pueden interpretar el lenguaje se exploran con frecuencia, las ventajas de los agentes que piensan en el lenguaje han recibido mucha menos atención en la IA, particularmente en el aprendizaje por refuerzo (RL).
Los seres humanos que piensan lingüísticamente pueden generalizar, extrapolar, adaptarse a nuevas circunstancias, combinar información previa de formas novedosas, explorar, planificar, replanificar cuando sea ventajoso, etc. A pesar de estas ventajas, los seres de IA rara vez piensan, al menos no en lenguaje humano. Aunque las activaciones de vectores internos en las redes neuronales se pueden considerar como pensamiento, muchos teorizan que hay ventajas particulares en creer en la forma discreta y simbólica del lenguaje (como la capacidad de combinar ideas en un número exponencial de formas), lo que sugiere que el lenguaje los agentes pueden aprender más rápidamente, desempeñarse mejor y generalizar con mayor eficacia que los agentes no lingüísticos. Los agentes que piensan en su idioma nativo tienen ventajas significativas en la seguridad e interpretación de la IA y son más competentes.
Supongamos que uno puede ver el proceso de pensamiento de un agente durante el entrenamiento. En ese caso, se pueden identificar áreas donde se deben mejorar las habilidades o los valores o determinar si el agente aún debe estar preparado para el despliegue. Los pensamientos del agente pueden monitorearse continuamente durante las pruebas para detener cualquier mal plan. Uno puede actuar para prevenir ese comportamiento por adelantado. Por ejemplo, si un agente piensa: “Mi objetivo es llevar a mi pasajero a la tienda lo más rápido posible para pasar este semáforo en rojo sin detenerme”. Además, observar cómo piensan los agentes los hace más fáciles de dirigir.
Uno puede proporcionarle a un agente sus pensamientos para ayudarlo a resolver problemas de la manera en que desea que se resuelvan si el agente tiene problemas con problemas difíciles. Los agentes que entienden el lenguaje humano también facilitan el desarrollo de sistemas de IA más inteligentes y seguros. En lugar de simplemente ver algo roto, uno puede identificar por qué está dañado y ofrecer sugerencias sobre cómo solucionar el problema o mejorar el entrenamiento de IA. Estos argumentos implican que imitar el pensamiento humano es el enfoque más práctico para lograr este objetivo y que dar a las entidades de IA la capacidad de pensar en lenguaje podría generar muchos beneficios importantes.
Las habilidades de pensamiento no son algo que las personas aprendan de forma independiente; más bien, se enseñan parcialmente a través de comentarios y ejemplos del instructor. Usar demostraciones donde los actores piensan en voz alta mientras actúan para instruir a los agentes es un buen enfoque. Este método difiere de otros que emplean modelos de lenguaje extenso (LLM) preentrenados para la planificación, ya que estos LLM deben entrenarse con datos de situaciones del mundo real en las que las personas hablan en voz alta mientras actúan.
Millones de horas de personas hablando en voz alta mientras ejecutan actividades se capturan en datos de pensamiento, que incluyen videos y transcripciones de YouTube. Este tipo de datos revela el razonamiento detrás de las acciones, los planes, las decisiones y los planes de reorganización de las personas, como cuando juegan videojuegos. Este estudio tiene como objetivo estimular más investigaciones sobre el uso de datos de pensamiento para enseñar habilidades de pensamiento a los agentes. Aunque los datos son muy útiles y generalmente accesibles (Sección 2), aún no se han investigado a fondo. Se pueden lograr enormes beneficios al desarrollar una IA más potente, o quizás AGI, si pueden abordar las preocupaciones genuinas y sustanciales de la seguridad de la IA y el peligro existencial.
En esta investigación, los autores de la Universidad de Columbia Británica y Vector Institue sugieren un paradigma único de aprendizaje por imitación llamado Clonación de pensamientos, en el que los agentes no solo aprenden a actuar a partir de demostraciones humanas, como en la Clonación conductual, sino que también aprenden a pensar a partir de demostraciones. donde los actores humanos piensan en voz alta mientras actúan. Este trabajo respalda la idea de datos de pensamiento artificial en un área difícil, BabyAI, a pesar de que anticipan que la clonación de pensamiento realmente brillará cuando se entrene en conjuntos de datos web masivos de pensamientos y actividades humanos sincronizados. Su investigación muestra que la Clonación de Pensamiento funciona mejor que la Clonación de Comportamiento, incluso cuando los agentes de Clonación de Comportamiento pueden pensar (en vectores latentes) pero deben aprender esa competencia sin la supervisión del pensamiento que ofrece la Clonación de Pensamiento.
Además, muestran que en condiciones de disparo cero y ajuste fino, la clonación de pensamientos generaliza mejor que la clonación de comportamiento en tareas fuera de distribución. Finalmente, ofrecen soporte empírico para los beneficios de la clonación de pensamiento en términos de seguridad e interpretabilidad, donde el comportamiento dañino puede prevenirse casi con precisión antes de la ejecución, como se indicó anteriormente. En general, los hallazgos son alentadores y brindan una idea del enorme potencial de la clonación de pensamientos para mejorar la inteligencia de la IA y hacerla más segura y fácil de entender.
