Estás leyendo la publicación: Una nueva investigación de IA propone ejemplos de composición para el aprendizaje en contexto (CEIL): un enfoque novedoso que utiliza el proceso de punto determinante (DPP) para un contexto más eficiente…
En los últimos años, los modelos de lenguaje se han convertido en uno de los campos de más rápido crecimiento en Inteligencia Artificial. Estos modelos se han desarrollado para procesar, producir y utilizar texto en lenguaje natural para impulsar algunas aplicaciones de IA creativas e innovadoras. Los modelos de lenguaje están revolucionando y introduciéndonos en una nueva era en la expansión de la IA. El modelo desarrollado por OpenAI llamado GPT-3, que ganó popularidad recientemente, posee capacidades extraordinarias y muestra un gran rendimiento. Utiliza una arquitectura transformadora para procesar el texto, lo que da como resultado un modelo que puede generar contenido sin esfuerzo y responder preguntas como lo haría un ser humano. No solo esto, el modelo es incluso capaz de resumir textos largos, completar códigos y realizar tareas con una velocidad y precisión súper buenas.
Los modelos de lenguaje pueden operar sin fallas, gracias al concepto de aprendizaje en contexto por el cual se generalizan a tareas no vistas. Sin embargo, el aprendizaje en contexto (ICL) muestra una ligera limitación debido a su sensibilidad hacia la selección de ejemplos en contexto y la incapacidad de tener en cuenta la interrelación entre los ejemplos en contexto. El nuevo enfoque, denominado Ejemplos de composición para el aprendizaje en contexto o simplemente CEIL, formula el proceso de elección de ejemplos en contexto como un problema de selección de subconjuntos. No se basa en heurísticas simples como los métodos anteriores, sino que muestra una gran interacción entre la entrada y los ejemplos.
El aprendizaje en contexto se puede explicar simplemente como un aprendizaje en el que el modelo aprende algo nuevo y único al observar ejemplos similares a los que el modelo intenta predecir. Esto se puede explicar con la ayuda de un ejemplo. Mientras aprende la suma de fracciones en Matemáticas, uno lo aprende mirando primero ejemplos que involucran la suma de fracciones con el mismo denominador. La idea es comprender los patrones y reglas para resolver problemas nuevos e invisibles. En términos de aprendizaje en contexto, para que el modelo entienda y clasifique oraciones positivas y negativas, se muestran varios ejemplos y algún contexto sobre la oración, como una reseña de una aplicación o un tweet.
Dado que los métodos tradicionales utilizan estimaciones básicas y muestran un rendimiento subóptimo, CEIL es un mejor enfoque porque utiliza el concepto de Procesos de puntos determinantes (DPP). Lo hace para modelar la interacción entre la entrada dada y los ejemplos en contexto. DPP es un modelo probabilístico que selecciona varios subconjuntos de elementos de un conjunto más grande. Los determinantes en DPP miden el volumen de un subespacio de un espacio mayor atravesado por un conjunto de vectores. En CEIL, DPP se ha utilizado para elegir diversos conjuntos o subconjuntos de ejemplos para entrenar un modelo. CEIL modela todos los conjuntos ejemplares aprendiendo su probabilidad conjunta con un DPP condicional, seguido de entrenamiento para alinearse con la puntuación del modelo de lenguaje a través de una pérdida contrastiva.
El equipo detrás de Compositional Exemplars for In-context Learning (CEIL) ha validado el enfoque en 12 conjuntos de datos de clasificación y generación de 7 tareas diferentes de procesamiento de lenguaje natural. Los datos variaron desde análisis de sentimientos y datos de detección de paráfrasis hasta razonamiento y respuesta a preguntas de dominio abierto. El CEIL demostró ser más eficiente y efectivo que los métodos estándar debido a su transferibilidad y composicionalidad. En consecuencia, la introducción de Ejemplos de composición para el aprendizaje en contexto (CEIL) parece cambiar las reglas del juego en el procesamiento del lenguaje natural.
