Estás leyendo la publicación: Este documento de IA propone UPRISE: un enfoque liviano y versátil para mejorar el rendimiento de disparo cero de diferentes LLM de modelos de lenguaje grande en diversas tareas
Los modelos de lenguajes grandes como GPT-3, OPT y BLOOM han demostrado capacidades impresionantes en varias aplicaciones. Según un estudio reciente, hay dos formas clave de aumentar su rendimiento: mejorar la capacidad de los LLM para seguir las indicaciones y crear procedimientos para la ingeniería rápida. El ajuste fino de los LLM altera sus pesos para cumplir con instrucciones específicas y aumentar el rendimiento de la tarea. Sin embargo, esto podría verse limitado por los recursos de procesamiento y la falta de disponibilidad de las ponderaciones del modelo. El ajuste multitarea proporciona un método diferente para mejorar la generalización de tareas de disparo cero, lo que justifica parcialmente el gasto del ajuste.
Sin embargo, debido a que los LLM siempre están evolucionando, se hace necesario ajustar nuevos modelos, lo que plantea serias dudas sobre el costo total del ajuste. Las señales de ingeniería se utilizan para dirigir los LLM congelados. El diseño del indicador incorpora un indicador de lenguaje natural de ingeniería en la entrada de la tarea para capacitar al LLM para que aprenda en contexto o para alentar al LLM a razonar. El ajuste rápido agrega un aviso suave representado por parámetros continuos para mejorarlo. Si bien estas técnicas pueden proporcionar resultados sobresalientes para trabajos particulares, no está claro si las solicitudes creadas para una tarea se pueden usar para otros tipos de tareas que aún no se han descubierto, ya que las configuraciones estrictas de disparo cero ciegan a los diseñadores de solicitudes.
UPRISE propuesto por los investigadores de Microsoft es una solución viable y útil para aplicaciones del mundo real debido a su generalización entre modelos y entre tareas. En este estudio, ofrecen UPRISE, un perro perdiguero ligero y adaptable que, dada una entrada de trabajo de disparo cero, ajusta las indicaciones de un grupo de datos preconstruido automáticamente. Al retriever se le enseña a recuperar señales para varias tareas, como se ve en la Figura 1, lo que le permite generalizar a otros tipos de tareas durante la inferencia. Además, muestran la eficacia con la que las habilidades de tareas cruzadas se traducen de un LLM pequeño a varios LLM de escalas considerablemente mayores ajustando el retriever usando GPT-Neo-2.7B y evaluando su desempeño en BLOOM-7.1B, OPT-66B y GPT3. -175B.
Se ha descubierto que ChatGPT lucha con importantes problemas de alucinaciones, lo que da como resultado respuestas incorrectas a pesar de sus grandes habilidades. UPRISE puede resolver este problema para las tareas de verificación de hechos instruyendo al modelo para que deduzca las conclusiones correctas de su conocimiento preexistente. Además, como lo demuestran sus pruebas con ChatGPT, su técnica puede mejorar incluso los LLM más potentes.
En conclusión, sus contribuciones incluyen lo siguiente:
• Desarrollan UPRISE, un método simple y adaptable para mejorar el rendimiento de tiro cero de los LLM en contextos de tareas cruzadas y modelos cruzados.
• Su investigación sobre ChatGPT revela el potencial de UPRISE para impulsar el rendimiento incluso de los LLM más fuertes. UPRISE se ajusta con GPT-Neo-2.7B pero también puede beneficiar a varios LLM de tamaños considerablemente más grandes, como BLOOM-7.1B, OPT-66B y GPT3-175B.
