Estás leyendo la publicación: Piense así y respóndame: este enfoque de IA utiliza sugerencias activas para guiar modelos de lenguaje extenso
Todos nos familiarizamos con los modelos de lenguaje extenso (LLM) en los últimos meses con la introducción de ChatGPT, y rápidamente se convirtió en una herramienta esencial en nuestra vida diaria. Los LLms son útiles en la recuperación de información, asistencia de chat, asistencia de escritura, etc.
En general, los LLM tienen fuertes capacidades de razonamiento, lo que significa que pueden usar el razonamiento lógico o la deducción para llegar a una solución basada en la información dada. Pueden hacer inferencias, sacar conclusiones y conectar lógicamente piezas de información. Por ejemplo, pueden responder preguntas como “Supón que tienes una serie de números: 2, 4, 6, 8, 10,… ¿Cuál es el siguiente número en la secuencia?”
Las tareas de razonamiento se consideran más desafiantes que las tareas más simples de comprensión del lenguaje, ya que requieren un mayor nivel de comprensión y capacidad de razonamiento. Los LLM son buenos en ellos, pero las cosas cambian cuando les pedimos que se desempeñen bien en tareas de razonamiento complejas.
Una forma sencilla de guiar a los LLM es el aprendizaje en contexto. Aquí, antes de enviar su solicitud principal, le da a LLM un conjunto de preguntas y respuestas de ejemplo para que pueda aprender lo que realmente quiere preguntar. Por ejemplo, puede cambiar el indicador de “Ssupón que tienes una serie de números: 2, 4, 6, 8, 10,… ¿Cuál es el siguiente número en la secuencia?” a “P: Supón que tienes una serie de números: 2, 4, 6, 8, 10,… ¿Cuál es el siguiente número en la secuencia? A: Es 12 porque cada número aumenta en dos. P: Supón que tienes una serie de números: 3, 7, 11,… ¿Cuál es el siguiente número en la secuencia?De esta manera, LLM puede ver la cadena de pensamiento (CoT) y adaptarse en consecuencia.
Se ha demostrado que las indicaciones de CoT dotan a los LLM de buenas habilidades de razonamiento. Sin embargo, realmente depende de la ingeniería humana seleccionar preguntas informativas y anotarlas con CoT y respuestas. Como puede imaginar, la cadena de preguntas y respuestas que proporciona es de suma importancia.
Debido a la considerable diversidad en dificultad, alcance y dominio entre las tareas de razonamiento, no está claro qué tipo de pregunta debe priorizarse para la anotación. Además, no está claro si un grupo específico de ejemplos es el más efectivo para obtener la información deseada. Por otro lado, si pudiéramos determinar las preguntas importantes, anotarlas sería una tarea bastante sencilla. La cuestión es cómo elegir las preguntas.
Aquí es donde Incitación activa entra en juego. Propone una solución a este problema aprovechando la incertidumbre e introduciendo algunos esfuerzos humanos para anotar un pequeño conjunto de preguntas.
El método propuesto primero introduce varias métricas para caracterizar la incertidumbre entre las predicciones del LLM. Estas métricas de incertidumbre se utilizan luego para clasificar las preguntas más inciertas y estas preguntas se seleccionan para su anotación. Luego, se generan respuestas de ejemplo utilizando un enfoque CoT de pocos disparos o CoT de cero disparos.
Se utilizan cuatro enfoques distintos para estimar la incertidumbre: desacuerdo, entropía, varianza y confianza en uno mismo. Cada una de estas estrategias ofrece una perspectiva única sobre la naturaleza de la incertidumbre, pero el enfoque principal es utilizar los métodos de desacuerdo y entropía. El desacuerdo es calcular las respuestas únicas en las predicciones. Por otro lado, una entropía más alta indica más incertidumbre, mientras que una entropía más baja indica menos incertidumbre. Como resultado, cuando se trata de un razonamiento complejo, es más probable que las preguntas con una entropía relativamente alta se consideren como posibles opciones.
La solución propuesta se evalúa en varias tareas de razonamiento y los resultados muestran que supera a los métodos de referencia en términos de precisión y eficiencia. El documento también proporciona un análisis de las métricas de incertidumbre y muestra cómo se pueden utilizar para mejorar el rendimiento del modelo.
En conclusión, las indicaciones activas son una solución al problema de determinar qué preguntas son las más importantes y útiles para la anotación en las indicaciones de CoT. Aprovecha la incertidumbre y está diseñado para minimizar los esfuerzos humanos para anotar un conjunto de preguntas. Los resultados muestran que la solución propuesta supera a los métodos de referencia y se puede utilizar para mejorar el rendimiento de los LLM en tareas de razonamiento.
