Estás leyendo la publicación: La última investigación sobre aprendizaje automático de Deepmind explora la conexión entre el metaaprendizaje basado en gradientes y la optimización convexa
El término “meta-aprendizaje” se refiere al proceso mediante el cual un alumno se ajusta a un nuevo desafío modificando un algoritmo con parámetros conocidos. Los parámetros del algoritmo se meta-aprendieron midiendo el progreso del alumno y ajustándose en consecuencia. Hay mucho apoyo empírico para este marco. Se ha utilizado en varios contextos, incluido el metaaprendizaje, cómo explorar el aprendizaje por refuerzo (RL), el descubrimiento de funciones de pérdida de caja negra, algoritmos e incluso protocolos de entrenamiento completos.
Aun así, nada se entiende sobre las características teóricas del metaaprendizaje. La intrincada relación entre el aprendiz y el metal-aprendiz es la razón principal detrás de esto. El desafío del alumno es optimizar los parámetros de un objetivo estocástico para minimizar la pérdida prevista.
El optimismo (un pronóstico del gradiente futuro) en el metaaprendizaje es posible utilizando la técnica Bootstrapped Meta-Gradients, tal como lo exploró un equipo de investigación de DeepMind en su reciente publicación Optimistic Meta-Gradients.
La mayor parte de la investigación anterior se ha centrado en la metaoptimización como un problema en línea, y las garantías de convergencia se han derivado de esa perspectiva. A diferencia de otros trabajos, este considera el metaaprendizaje como un cambio no lineal a la optimización tradicional. Como tal, un meta-aprendiz debe ajustar sus meta-parámetros para lograr la máxima eficiencia de actualización.
Los investigadores primero analizan el metaaprendizaje con técnicas modernas de optimización convexa, durante las cuales validan las mayores tasas de convergencia y consideran el optimismo asociado con el metaaprendizaje en la situación convexa. Después de eso, presentan la primera evidencia de convergencia de la técnica BMG y demuestran cómo se puede usar para comunicar optimismo en el metaaprendizaje.
Al contrastar el impulso con el tamaño de paso metaaprendido, el equipo descubre que la incorporación de un algoritmo de actualización de no linealidad puede aumentar la tasa de convergencia. Para verificar que el metaaprendizaje del vector de escala acelera de manera confiable la convergencia, el equipo también lo compara con un enfoque de subgradiente de AdaGrad para la optimización estocástica. Finalmente, el equipo contrasta el metaaprendizaje optimista con el metaaprendizaje tradicional sin optimismo y descubre que es significativamente más probable que este último conduzca a la aceleración.
En general, este trabajo verifica la función del optimismo para acelerar el metaaprendizaje y presenta nuevos conocimientos sobre la relación entre la optimización convexa y el metaaprendizaje. Los resultados de este estudio implican que introducir esperanza en el proceso de metaaprendizaje es crucial si se quiere lograr la aceleración. Cuando el metal-aprendiz recibe pistas, el optimismo surge naturalmente desde una perspectiva de optimización clásica. Se puede lograr un gran impulso en la velocidad si las pistas predicen con precisión la dinámica de aprendizaje. Sus hallazgos brindan la primera prueba rigurosa de convergencia para BMG y una condición general bajo la cual el optimismo en BMG ofrece un aprendizaje rápido como objetivos en BMG y pistas en el viaje optimista de aprendizaje en línea.
