Gönderiyi okuyorsunuz: Deepmind’in en son makine öğrenimi araştırması, gradyan tabanlı meta öğrenme ile dışbükey optimizasyon arasındaki bağlantıyı araştırıyor
“Meta-öğrenme” terimi, öğrencinin bilinen parametrelerle bir algoritmayı değiştirerek yeni bir zorluğa uyum sağladığı süreci ifade eder. Algoritmanın parametreleri, öğrencinin ilerlemesi ölçülerek ve buna göre ayarlanarak meta-öğrenildi. Bu çerçeve için pek çok ampirik destek bulunmaktadır. Meta-öğrenme, takviyeli öğrenmenin (RL) araştırılması, kara kutu kaybı fonksiyon keşfi, algoritmalar ve hatta tüm eğitim protokolleri dahil olmak üzere çeşitli bağlamlarda kullanılmıştır.
Buna rağmen meta-öğrenmenin teorik özelliklerine dair hiçbir şey anlaşılamamıştır. Bunun temel sebebi çırak ile metal çırak arasındaki karmaşık ilişkidir. Öğrencinin görevi, beklenen kaybı en aza indirmek için stokastik bir hedefin parametrelerini optimize etmektir.
Meta-öğrenmede iyimserlik (gelecekteki değişimin tahmini), DeepMind araştırma ekibinin yakın tarihli yayınları Optimistic Meta-Gradients’te araştırıldığı gibi Bootstrapped Meta-Gradients tekniği kullanılarak mümkündür.
Önceki araştırmaların çoğu, çevrimiçi bir sorun olarak meta-optimizasyona odaklanmıştı ve yakınsama garantileri bu perspektiften türetilmişti. Diğer çalışmalardan farklı olarak bu çalışma, meta-öğrenmeyi geleneksel optimizasyona yönelik doğrusal olmayan bir değişiklik olarak ele alıyor. Bu nedenle, bir meta öğrenicinin, maksimum güncelleme verimliliğine ulaşmak için meta parametrelerini ayarlaması gerekir.
Araştırmacılar ilk önce meta-öğrenmeyi modern dışbükey optimizasyon teknikleriyle analiz ediyorlar; bu sırada daha yüksek yakınsama oranlarını doğruluyorlar ve dışbükey durumda meta-öğrenmeyle ilişkili iyimserliği değerlendiriyorlar. Bundan sonra, BMG tekniğinin yakınsamasına dair ilk kanıtları sunuyorlar ve bunun meta-öğrenmede iyimserliği iletmek için nasıl kullanılabileceğini gösteriyorlar.
Ekip, momentumu meta-öğrenilen adım boyutuyla karşılaştırarak, doğrusal olmayan bir güncelleme algoritmasının dahil edilmesinin yakınsama oranını artırabileceğini buldu. Ekip, ölçek vektörü meta-öğrenmesinin yakınsamayı güvenilir bir şekilde hızlandırdığını doğrulamak için bunu aynı zamanda stokastik optimizasyona yönelik AdaGrad alt dereceli yaklaşımıyla karşılaştırıyor. Son olarak ekip, iyimser meta-öğrenmeyi iyimser olmayan geleneksel meta-öğrenmeyle karşılaştırıyor ve ikincisinin hızlanmaya yol açma olasılığının önemli ölçüde daha yüksek olduğunu buluyor.
Genel olarak bu çalışma, meta-öğrenmeyi hızlandırmada iyimserliğin rolünü doğruluyor ve dışbükey optimizasyon ile meta-öğrenme arasındaki ilişkiye dair yeni bilgiler sunuyor. Bu çalışmanın sonuçları, eğer hızlanma sağlanacaksa meta-öğrenme sürecine umut katmanın çok önemli olduğunu göstermektedir. Metal öğrenen kişi ipuçları aldığında, klasik optimizasyon perspektifinden iyimserlik doğal olarak ortaya çıkar. İpuçları öğrenme dinamiklerini doğru bir şekilde tahmin ederse, hızda büyük bir artış elde edilebilir. Bulguları, BMG için ilk sıkı yakınsama testini ve BMG’deki iyimserliğin BMG’de hedefler olarak hızlı öğrenmeyi ve iyimser çevrimiçi öğrenme yolculuğunda ipuçlarını sunduğu genel bir durumu sağlıyor.
