Yazıyı okuyorsunuz: ResMem ile tanışın: model artıklarını K-en yakın komşu tabanlı bir regresörle eşleştirerek mevcut bir tahmin modelini güçlendiren yeni bir yapay zeka algoritması
Modern büyük sinir ağlarının yeni veri ve görevlere genelleme konusundaki olağanüstü sonuçları, karmaşık eğitim modellerini bilinçaltında hatırlama konusundaki doğuştan gelen yeteneklerine atfedilmiştir. Bu tür bir geri çağırmayı mümkün kılmanın etkili bir yöntemi, modelin boyutunu artırmaktır; ancak bu, eğitim ve hizmet maliyetlerini önemli ölçüde artırabilir.
Stanford Üniversitesi’ndeki araştırmacılar, yeni makaleleri ResMem: Learn What You Can ve Memorize the Rest’de ResMem’i önererek bu soruyu yanıtlamaya çalışıyorlar. Bu artık ezberleme algoritması, farklı bir k-en yakın komşu bileşeni aracılığıyla doğrudan ezberleme yoluyla daha küçük sinir ağı modellerinin genelleme yeteneğini geliştirir.
İşte ekibin en önemli araştırma bulgularının özeti:
- İlk olarak, temel bir tahmin modelini en yakın komşu regresörle birleştiren, artık ezberleme (ResMem) adı verilen iki aşamalı bir öğrenme yaklaşımı öneriyorlar.
- ResMem’in özellikle geniş bir eğitim seti ile sinir ağlarının test performansını iyileştirdiğine dair ampirik kanıtlar sağlıyorlar.
- Üçüncü paragrafta, ResMem’in stilize edilmiş bir doğrusal regresyon problemi üzerinde yakınsama oranını teorik olarak inceleyerek temel tahmin modelinden üstün olduğunu gösterdiler.
Daha önce yapılan bazı araştırmalar, ilgili bilgilerin ezberlenmesinin yeterli olduğunu, hatta bazı durumlarda sinir ağı modellerinde verimli genelleme için gerekli olduğunu bulmuştur. Bu araştırma dizisine yanıt olarak araştırmacılar, küçük modellerin genelleme performansını artırmak için benzersiz bir açık ezberleme stratejisi kullanan ResMem yöntemini sunuyor.
Geleneksel bir sinir ağı eğitildiğinde, model kalıntılarına (rkNN) yumuşak bir en yakın komşu regresörü ka yerleştirilir. Referans modelinin ve rkNN’nin birleşik doğruluğu nihai sonucu belirler.
Araştırma ekibi, ResMem’i görme (CIFAR100 ve ImageNet’te görüntü sınıflandırma) ve NLP (otoregresif dil modelleme) görevlerine ilişkin DeepNet temel çizgisiyle karşılaştırarak deneyler yaptı. Test setlerindeki diğer yöntemlerin genelleme yetenekleriyle karşılaştırıldığında ResMem olağanüstü iyi performans gösterdi. Araştırmacılar ayrıca, örnek boyutu sonsuza yaklaştığında ResMem’in referans tahmincisine göre daha olumlu bir test riski sağladığını belirtiyorlar.
Modern sinir ağları, karmaşık eğitim modellerini dolaylı olarak ezberleyebilir ve bu da mükemmel genelleme performanslarına katkıda bulunur. Bu bulgulardan yola çıkan bilim insanları, açık bellek yoluyla model genellemesini geliştirmek için yeni bir strateji araştırıyorlar. Önceden var olan tahmin modellerini (sinir ağları gibi) geliştirmek için araştırmacılar, model artıklarına uyacak k-en yakın komşu tabanlı regresör kullanan artık ezberleme (ResMem) yaklaşımını önermektedir. Son olarak, bir tahmin elde etmek için takılan artık regresör orijinal modele eklenir. ResMem, eğitim etiketlerini açıkça ezberlemek için tasarlanmıştır. Araştırmacılar deneysel olarak, ResMem’in çeşitli endüstri standardı görüş ve doğal dil işleme kriterleri karşısında orijinal tahmin modelinin test seti genellemesini sürekli olarak arttırdığını göstermektedir. Teorik bir uygulama olarak, basitleştirilmiş bir doğrusal regresyon problemini resmileştirirler ve ResMem’in test riski açısından temel tahminciyi nasıl iyileştirdiğini kapsamlı bir şekilde gösterirler.
