Estás leyendo la publicación: Este documento de AI presenta LLM+P: el primer marco que incorpora las fortalezas de los planificadores clásicos en los LLM
Los investigadores en IA han estado trabajando para desarrollar sistemas que puedan hablar en lenguaje natural con la misma elegancia y adaptabilidad que las personas desde el inicio del campo. Aunque modelos muy simples, como Eliza de 1966, pueden proporcionar respuestas a algunas sugerencias plausibles, siempre ha sido relativamente simple generar preguntas que revelen sus deficiencias en comparación con las personas: su falta de “comprensión” real. Aunque los modelos de lenguaje extenso (LLM) como GPT-4 y ChatGPT superaron significativamente las expectativas de hace unos años, son iguales. Internet está inundado de personas que disfrutan mucho manipulando ChatGPT para producir resultados que incluso un niño humano de 5 años vería como imprudente.
Este comportamiento no debería sorprender, dada la forma en que se crean y educan los LLM. No están diseñados con la comprensión en mente. Se les ha enseñado a producir secuencias de palabras que, dado un contexto, parecerían creíbles para un ser humano. Los LLM dominan el arte de la competencia lingüística, o saber cómo decir las cosas, según Mahowald et al., pero necesitan ser más hábiles en la competencia funcional o comprender qué decir. En particular, pueden ser engañados (relativamente) fácilmente, por ejemplo, al pedir la respuesta a un problema matemático simple que no está incluido en su corpus de capacitación o al solicitar la solución a un problema de planificación único que requiere conocimiento de cómo funciona el mundo exterior. .
¿Necesitan ahora trabajar más para incorporar todas las tareas matemáticas y de planificación en su corpus de entrenamiento? Esa es una tarea de tontos. Pero, ¿por qué debería ser necesario, por otro lado? Ya tienen calculadoras y planificadores simbólicos de propósito general que garantizan resultados precisos. Conectar los LLM a dichas tecnologías es una estrategia alternativa lógica que no son los primeros en investigar. Con este propósito en mente, la investigación descrita en este documento tiene como objetivo proporcionar a los LLM la primera solución precisa a las dificultades de planificación. Quieren hacer esto incluso con ajustes finos sin cambiar los LLM.
En cambio, los investigadores de UT Austin y la Universidad Estatal de Nueva York presentan un método conocido como LLM+P que, cuando se le da una descripción en lenguaje natural de un problema de planificación, el LLM:
- Produce una descripción del problema adecuada como entrada para un planificador de propósito general.
- Resuelve el problema utilizando el planificador de propósito general.
- Convierte la producción del planificador de nuevo al lenguaje natural.
En este trabajo, no solicitan que el LLM comprenda cuándo se ha presentado un aviso que puede ser procesado por la canalización sugerida de LLM+P. Reconocer cuándo LLM+P debe manejar un aviso será importante para futuras investigaciones. Sus exhaustivos análisis empíricos muestran que LLM+P puede responder con precisión a muchos más problemas de planificación que los LLM solos. Esta amplia técnica se puede utilizar para responder a cualquier clase de casos para los que exista un solucionador bueno y completo, como problemas aritméticos (mediante el uso de calculadoras), aunque se ilustró en este trabajo sobre problemas de planificación. El código y los resultados están disponibles públicamente en GitHub.
