Estás leyendo la publicación: ¿Por qué el pionero de la IA, Yoshua Bengio, apoya a GFlowNets?
“Rara vez he estado tan entusiasmado con una nueva dirección de investigación. Los llamamos GFlowNets, por Generative Flow Networks”, escribió el pionero de la IA Yoshua Bengio en su último blog. Desarrollado en 2021, GFlowNets es un método generativo novedoso para distribuciones de probabilidad no normalizadas. Se basan en redes de flujo y el requisito previo es que el flujo que llega a un estado debe coincidir con el flujo que sale. También se consideran como un marco general para el modelado generativo de gráficos y otros objetos discretos y compuestos.
Este concepto se encuentra en la intersección del aprendizaje por refuerzo, los modelos generativos profundos y los modelos probabilísticos basados en energía. Una de las principales ventajas de GFlowNets, según Bengio, es que es más fácil para los sesgos inductivos del sistema 2 (pensamiento rápido y lento), que a su vez ayudan a incorporar la causalidad y a lidiar con la generalización fuera de distribución. Otras aplicaciones incluyen el modelado bayesiano no paramétrico, el aprendizaje no supervisado/semisupervisado de representaciones abstractas y el aprendizaje activo generativo.
GFlowNets: una alternativa a MCMC
El objetivo de desarrollar un modelo como GFlowNets era muestrear la distribución de trayectorias cuya probabilidad es proporcional al retorno positivo o función de recompensa en lugar de generar una sola secuencia de acciones de recompensa más alta. Las GFlowNets son adecuadas para modelar y muestrear distribuciones de conjuntos y gráficos. Se pueden utilizar para estimar energías libres y distribuciones marginales. Esto es particularmente útil para tareas donde la exploración es importante.
Crédito: Yoshua Bengio
Para los algoritmos de aprendizaje por refuerzo, se elige una sola secuencia de acciones de recompensa más alta para maximizar la recompensa esperada. Sin embargo, para tareas como la síntesis de moléculas de fármacos, donde la exploración es importante, el objetivo es probar un conjunto diverso de soluciones de alto rendimiento que ofrece GFlowNets.
Una red de flujo es un gráfico dirigido con sumideros, fuentes y bordes que reciben el flujo. La motivación de tal red de flujo es la optimización iterativa de caja negra, donde el agente tiene que calcular la recompensa para un gran lote de candidatos para cada ronda. El equipo que trabaja en una red de flujo de este tipo define una única fuente y sumideros que se consideran estados terminales. Luego, el equipo intenta calcular un flujo válido entre nodos.
Hablando de GFlowNets, Bengio escribió: “Curiosamente, esto hace posible generar un conjunto diverso de muestras sin enfrentar lo que solía pensar que era el desafío intratable de mezclar entre modos con métodos MCMC. Lo notable de este marco es que nos dice cómo entrenar una política que muestree los objetos construidos con la probabilidad deseada y cómo estimar las constantes de normalización correspondientes y las probabilidades condicionales sobre cualquier subconjunto de variables abstractas”.
Lea el documento completo aquí.
GFlowNets para el aprendizaje de estructuras bayesianas
Las redes bayesianas son una opción de marco popular para una variedad de aplicaciones como el diagnóstico médico, la biología molecular y el modelado ecológico. La estructura de la red bayesiana se representa como un gráfico acíclico dirigido (DAG), y luego el cálculo de las dependencias estadísticas entre las variables de interés se basa en el conocimiento experto del dominio. Sin embargo, en los casos en que se desconoce el gráfico, la estructura DAG de la red bayesiana se puede conocer solo a partir de los datos para encontrar la relación estadística, formando la base para nuevas teorías científicas.
Recientemente, un grupo de investigadores, incluido Bengio, propuso usar GFlowNet como una alternativa a MCMC para encontrar la distribución posterior sobre redes bayesianas para un conjunto determinado de observaciones. Se ve como un problema de decisión secuencial donde el gráfico se construye un borde a la vez, dependiendo de las probabilidades de transición aprendidas. Los investigadores pudieron demostrar que su enfoque, también llamado DAG-GFlowNet, ofrece una alternativa al MCMC o la inferencia variacional y proporciona una aproximación precisa de los DAG posteriores. Este documento también introdujo mejoras sobre el marco original de GFlowNet, como una nueva condición de coincidencia de flujo y la función de pérdida correspondiente, un modelo probabilístico jerárquico para las transiciones hacia adelante y el uso de herramientas adicionales basadas en el aprendizaje de refuerzo.
Los investigadores predicen que la estructura de GFlowNets puede eventualmente adaptarse para trabajar con representaciones alternativas de dependencias estadísticas en redes bayesianas. También tienen como objetivo trabajar en sus futuras aplicaciones en el descubrimiento causal, especialmente en la estructura del modelo de aprendizaje con variables latentes.
Lea el documento completo aquí.
