Estás leyendo la publicación: Google AI Open-Sources Flan-T5: un modelo de lenguaje basado en transformadores que utiliza un enfoque de texto a texto para tareas de NLP
Los grandes modelos de lenguaje, como PaLM, Chinchilla y ChatGPT, han abierto nuevas posibilidades en la realización de tareas de procesamiento de lenguaje natural (NLP) a partir de la lectura de claves instructivas. El estado de la técnica ha demostrado que el ajuste de instrucciones, que implica el ajuste fino de modelos de lenguaje en varias tareas de PNL organizadas con instrucciones, mejora aún más la capacidad de los modelos de lenguaje para realizar una tarea desconocida dada una instrucción. Al comparar sus procedimientos y estrategias de ajuste fino, evalúan los enfoques y los resultados de las iniciativas de generalización de la instrucción de código abierto en este documento.
Este trabajo se centra en los detalles de los métodos de ajuste de instrucciones, eliminando factores individuales y comparándolos directamente. Identifican y evalúan las mejoras metodológicas críticas en la “Colección Flan 2022”, que es el término que usan para la recopilación de datos y los métodos que se aplican al proceso de ajuste de datos e instrucciones que se enfoca en lo emergente y lo más avanzado. resultados de combinar Flan 2022 con PaLM 540B. La Colección Flan 2022 contiene la colección más completa de trabajos y técnicas para el ajuste de instrucciones que actualmente está disponible públicamente. Se ha aumentado con miles de plantillas premium y mejores patrones de formato.
Demuestran que, en todos los puntos de referencia de evaluación evaluados, un modelo entrenado en esta colección supera a otras colecciones públicas, incluido el Flan 2021 original, T0++, Super-Natural Instructions, y el trabajo contemporáneo en OPT-IML. Esto incluye, para modelos de tamaño idéntico, mejoras de más del 4,2 % y del 8,5 % en los puntos de referencia de evaluación de MMLU y BIG-Bench Hard. Según un análisis del enfoque Flan 2022, los sólidos resultados se deben a la colección más grande y variada de tareas y varias estrategias sencillas para el ajuste y el aumento de datos. En particular, la capacitación en varias instancias con plantillas de indicaciones de cero disparos, pocos disparos y cadena de pensamiento mejora el rendimiento en todos estos contextos.
Por ejemplo, un aumento del 10 % en las indicaciones de pocos disparos mejora los resultados de las indicaciones de cero disparos en un 2 % o más. Además, se ha demostrado que equilibrar las fuentes de tareas y mejorar la variedad de tareas mediante la inversión de los pares de entrada-salida, como se hizo, son esenciales para el rendimiento. En el ajuste fino de una sola tarea, el modelo Flan-T5 resultante converge más rápido y funciona mejor que los modelos T5, lo que indica que los modelos ajustados por instrucción proporcionan un punto de partida computacionalmente más efectivo para aplicaciones posteriores. Anticipan que hacer que estos resultados y herramientas sean accesibles abiertamente optimizará los recursos disponibles para la adaptación de la instrucción y acelerará el desarrollo de modelos de lenguaje de propósito más general.
Las principales contribuciones de este estudio se enumeran a continuación: • Metodológicas: demostrar que el entrenamiento con una combinación de señales de cero y pocos disparos produce resultados significativamente superiores en ambos entornos. • Medir y demostrar los métodos clave para el ajuste eficiente de las instrucciones, incluida la escala de la Sección 3.3, la mejora de la diversidad de tareas mediante la inversión de entrada, la adición de datos de capacitación de cadena de pensamiento y el equilibrio de varias fuentes de datos. • Resultados: estas decisiones técnicas mejoran el rendimiento de las tareas pendientes entre un 3 y un 17 % en comparación con las colecciones de ajuste de instrucciones de código abierto disponibles. • Hallazgos: Flan-T5 XL proporciona un punto de partida computacional más sólido y efectivo para el ajuste fino de una sola tarea. • Poner a disposición del público la nueva colección de tareas, plantillas y metodologías de investigación de Flan 2022. El código fuente está disponible en GitHub.
