Estás leyendo la publicación: Conozca REPLUG: un marco LM de modelado de lenguaje con recuperación aumentada que combina un modelo de lenguaje congelado con un recuperador sintonizable/congelado que mejora el rendimiento de GPT-3 (175B)…
En los últimos años, los modelos de lenguaje se han convertido en uno de los campos de más rápido crecimiento en Inteligencia Artificial. Estos modelos, que se han desarrollado para procesar y producir texto en lenguaje natural, están impulsando algunas de las aplicaciones de IA más innovadoras y revolucionarias y están a la vanguardia de una nueva era en la expansión de la IA. Un modelo de idioma en particular, GPT-3, ha causado revuelo en todo el mundo debido a sus extraordinarias capacidades y rendimiento. GPT-3 utiliza una arquitectura transformadora para procesar texto, lo que da como resultado un modelo que puede responder preguntas fácilmente como lo haría un ser humano. No solo esto, el modelo es incluso capaz de resumir párrafos largos, terminar códigos y completar tareas con una velocidad y precisión inigualables.
Los modelos de lenguaje como GPT-3 todavía están lejos de ser perfectos y tienen limitaciones cuando se trata de generar respuestas precisas y apropiadas a nuevas indicaciones. Aquí es donde entra en juego REPLUG. Se ha introducido un nuevo método llamado REPLUG: un marco de modelo de lenguaje de recuperación aumentada. Es un método para improvisar el rendimiento de los modelos de lenguaje de caja negra fusionándolos con una estructura basada en la recuperación. El sistema de recuperación encuentra los pasajes más apropiados en un gran corpus de texto que coincidan con un mensaje dado, y luego se modifica el modelo de lenguaje en los pasajes recuperados. Esto permite que el modelo de lenguaje produzca respuestas más precisas, especialmente cuando el indicador no se ve en sus datos de entrenamiento.
El método REPLUG consta de dos pasos principales: recuperación de documentos y reformulación de entrada. En primer lugar, se utiliza un recuperador para identificar documentos relacionados de un corpus externo. Luego, cada documento recuperado se agrega claramente al contexto de entrada original y las probabilidades de salida se combinan a partir de varios pases. Este enfoque utiliza una red neuronal profunda que impulsa los mecanismos de atención para aprender las redes entre las diferentes modalidades.
REPLUG se probó en varios conjuntos de datos de referencia, incluido un gran conjunto de datos de subtítulos de imágenes, y mostró mejores resultados en comparación con los sistemas existentes en términos de precisión y escalabilidad. Una de las ventajas clave de REPLUG es que no requiere ninguna alteración en la arquitectura del modelo de lenguaje subyacente. Los modelos actuales como GPT-3 se pueden mejorar agregando un sistema de recuperación. Esto hace que REPLUG sea fácil de acceder e implementar. REENCHUFAR con el perdiguero sintonizado mejora significativamente el rendimiento de GPT-3 (175B) en el modelado de lenguaje en un 6,3 %, así como el rendimiento de Codex en MMLU de cinco disparos en un 5,1 %.
En consecuencia, la introducción de REPLUG parece un cambio de juego en el campo de la PNL. Combina las fortalezas de los modelos de lenguaje de caja negra y los sistemas de recuperación para generar un modelo híbrido que supera a los modelos de lenguaje tradicionales. La arquitectura de red neuronal profunda utilizada por REPLUG es escalable, lo que la hace adecuada para aplicaciones del mundo real que requieren el procesamiento de grandes cantidades de datos multimodales. Las aplicaciones potenciales para REPLUG son definitivamente masivas y parecen prometedoras en el futuro próximo.
