Estás leyendo la publicación: Conozca a SelFee: un LLM iterativo de autorrevisión potenciado por la generación de auto-retroalimentación
Un estudio reciente ha destacado la eficacia de la retroalimentación del lenguaje natural para mejorar el rendimiento de los modelos de lenguaje. Un equipo de investigadores de KAIST ha introducido un nuevo modelo SelFee diseñado explícitamente para la generación de auto-retroalimentación y auto-revisión. A diferencia de los enfoques anteriores, SelFee no requiere un lenguaje significativo externo o modelos específicos de tareas para generar respuestas de alta calidad.
SelFee es un modelo de seguimiento de instrucciones basado en LLaMA perfeccionado que revisa continuamente sus respuestas hasta que logra una respuesta de alta calidad dentro de una sola inferencia. Basado en la instrucción dada, el modelo genera una solución inicial y secuencias de auto-retroalimentación. Al analizar el contenido de la retroalimentación generada, el modelo determina si se necesita una revisión. Si es así, genera una respuesta revisada basada en los comentarios. Este proceso de revisión iterativo se completa en una única inferencia, lo que da como resultado soluciones mejoradas en comparación con los modelos existentes basados en LLaMA.
Los investigadores recopilaron diversos datos de instrucción de varias fuentes, como ShareGPT, Alpaca, Math, Code y Flan Collection. Para abordar la escasez de comentarios y datos de revisión, aumentaron el conjunto de datos mediante un proceso de destilación de un modelo de maestro llamado ChatGPT. Este enfoque les permitió generar más instancias de retroalimentación y revisión a un costo más accesible.
Para entrenar el modelo, los investigadores utilizaron técnicas de aumento de datos mediante llamadas a la API de OpenAI. Recolectaron instrucciones de múltiples fuentes y las ingresaron en ChatGPT para generar las respuestas correspondientes. Luego obtuvieron comentarios sobre las respuestas generadas consultando ChatGPT nuevamente. Si se consideró necesaria una revisión, ChatGPT revisó la respuesta en función de los comentarios autogenerados. Este proceso se repitió hasta que no se requirieron más modificaciones.
SelFee fue entrenado usando el marco FastChat. Con base en la instrucción, el modelo se ajustó para generar la cadena de respuesta y retroalimentación, incluidas las revisiones. Los investigadores observaron que aumentar las revisiones mínimas requeridas durante el proceso de inferencia mejoró la calidad de la respuesta. Descubrieron que un mínimo de tres revisiones produjo el mejor rendimiento, e incluso un modelo 7B SelFee que generó al menos tres revisiones superó a un modelo 13B SelFee que no requirió modificaciones.
En términos de evaluación, los investigadores adoptaron el escenario de evaluación Vicuña, que involucró 80 consultas diversas. En lugar de realizar una evaluación humana, realizaron una evaluación piloto utilizando GPT-4 como evaluador. Se informaron las puntuaciones relativas en comparación con ChatGPT, considerando el sesgo posicional de GPT-4.
Si bien SelFee demostró un rendimiento comparable al de ChatGPT en el entorno de evaluación de Vicuna, se descubrió que carecía de conocimientos en áreas como matemáticas, razonamiento, factualidad y codificación en comparación con ChatGPT.
En general, SelFee presenta un enfoque novedoso para la generación de auto-retroalimentación y auto-revisión en modelos de lenguaje. Al ajustar el modelo para revisar sus respuestas continuamente, SelFee logra un rendimiento mejorado en comparación con los modelos existentes. Los hallazgos de la investigación resaltan la importancia de la revisión iterativa para mejorar la calidad de las respuestas del modelo de lenguaje y sugieren que aumentar el cálculo de inferencia de un modelo puede ser más efectivo que simplemente aumentar su tamaño.
