Estás leyendo la publicación: Conozca PRODIGY: un marco de IA de preentrenamiento que permite el aprendizaje en contexto sobre gráficos
El modelo GPT, que es la arquitectura transformadora detrás del famoso chatbot desarrollado por OpenAI llamado ChatGPT, trabaja en el concepto de tareas de aprendizaje con la ayuda de solo unos pocos ejemplos. Este enfoque, llamado aprendizaje en contexto, evita que el modelo tenga que ajustarse con miles de textos de entrada y le permite aprender a desempeñarse bien en diferentes tareas utilizando solo ejemplos específicos de tareas como entrada. El ajuste fino de los modelos para tareas específicas puede ser muy costoso, ya que GPT es un modelo de lenguaje “grande” con miles de millones de parámetros, y como todos los parámetros del modelo deben actualizarse durante el ajuste fino, resulta ser comparativamente costoso.
El aprendizaje en contexto se usa efectivamente para la generación de código, la respuesta a preguntas, la traducción automática, etc., pero aún carece y enfrenta desafíos en su uso para tareas de aprendizaje automático de gráficos. Algunas de las tareas de aprendizaje automático de Graph incluyen la identificación de propagadores que difunden verdades a medias o noticias falsas en las redes sociales y recomendaciones de productos en sitios web de comercio electrónico. El aprendizaje en contexto se enfrenta a limitaciones a la hora de formular y modelar estas tareas en gráficos en una representación de tareas unificada que permite que el modelo aborde una variedad de tareas sin volver a entrenar ni ajustar los parámetros.
Recientemente, un equipo de investigadores presentó PRODIGY en su trabajo de investigación, un marco de preentrenamiento para permitir el aprendizaje en contexto sobre gráficos. PRODIGY (Preentrenamiento sobre diversos sistemas de gráficos en contexto) formula el aprendizaje en contexto sobre gráficos utilizando una representación gráfica rápida. Prompt graph sirve como una representación de tareas de gráficos en contexto que integra el modelado de nodos, bordes y tareas de aprendizaje automático a nivel de gráfico. La red de avisos conecta los nodos de entrada o los bordes con nodos de etiquetas adicionales y contextualiza los ejemplos y consultas de avisos. Esta representación interconectada permite especificar diversas tareas de aprendizaje automático de gráficos en el mismo modelo, independientemente del tamaño del gráfico.
Propuesto por investigadores de la Universidad de Stanford y la Universidad de Ljubljana, el equipo ha diseñado una arquitectura de red neuronal gráfica que se ha diseñado específicamente para procesar el gráfico rápido y que modela y aprende de manera efectiva a partir de datos estructurados por gráficos. El diseño sugerido hace uso de GNN para enseñar representaciones de los nodos y bordes del gráfico indicador. Además, se ha introducido una familia de objetivos de preentrenamiento en contexto para guiar el proceso de aprendizaje, que proporciona señales de supervisión que permiten al modelo capturar patrones gráficos relevantes y generalizar a través de diversas tareas.
Para evaluar el rendimiento y la eficacia de PRODIGY, los autores han realizado experimentos en tareas que involucran redes de citas y gráficos de conocimiento. Las redes de citas representan relaciones entre artículos científicos, mientras que los gráficos de conocimiento capturan información estructurada sobre diferentes dominios. El modelo preentrenado ha sido probado en estas tareas utilizando aprendizaje en contexto, y los resultados se comparan con líneas de base contrastivas de preentrenamiento con adaptación codificada y ajuste estándar con datos limitados. PRODIGY superó las líneas base contrastivas de preentrenamiento con adaptación codificada en un promedio del 18 % en términos de precisión. Logró una mejora promedio del 33 % sobre el ajuste fino estándar con datos limitados cuando se aplicó el aprendizaje en contexto.
En conclusión, PRODIGY parece prometedor en escenarios basados en gráficos como el aprendizaje en contexto en aplicaciones de aprendizaje automático de gráficos. Incluso puede realizar tareas de clasificación posteriores en gráficos nunca antes vistos, lo que lo hace aún más efectivo y beneficioso.
