Gönderiyi okuyorsunuz: Araştırmacılar, merkezi olmayan veri kümelerinin damıtılması yoluyla kaynak kısıtlı uç ortamlarda birleşik öğrenme için ‘FedD3’ adı verilen yeni bir çerçeve oluşturdular
Akıllı telefonlar, bağlantılı arabalar veya uç cihazlar gibi önemli sayıda ağ bağlantılı istemciye sahip büyük ölçekli dağıtılmış sistemlerde işbirlikçi öğrenme için, birleşik öğrenme bir paradigma haline geldi. Önceki araştırmalar, yakınsamayı hızlandırmaya, gereken işlem sayısını azaltmaya ve istemciler arasındaki sınırlı bant genişliği nedeniyle iletişim verimliliğini artırmaya çalışıyordu. Bununla birlikte, bu tür işbirliğine dayalı optimizasyon, mevcut sinir ağları için bir milyarın üzerinde parametreye sahip yüksek iletişim hacimleriyle sonuçlanmakta ve tutarlı ve etkili bir şekilde çalışmak için önemli bir ağ kapasitesi (Gbps seviyesine kadar) gerektirmektedir. Bu sınırlama nedeniyle, birleşik öğrenme modelleri, araç iletişim ağları veya endüstriyel sensör ağları gibi ticari kablosuz mobil ağlarda yaygın olarak kullanılamamaktadır.
Bu iletişim darboğazı, önceki birleşik öğrenme yöntemlerinin iletişim turlarının sayısını ve dolayısıyla başarılı öğrenme yakınsamasını sağlamak için iletişim hacmini azaltmasına neden oldu. Tek bir turda bilgi alışverişi yaparak bir destek vektör makinesinin eğitimiyle ilgili iletişim maliyetlerini azaltmak için Guha ve diğerleri. tek seferlik birleşik öğrenmeyi önerin. Gerçek bir veri setinin dağılımını karakterize etmek zor olsa da Kasturi ve ark. Hem modeli hem de veri dağıtımını sunucuya yükleyen birleşik bir öğrenme birleşimi sunarlar.
Bilgi aktarımına dayalı tek seferlik birleşik öğrenme yöntemi evrenseldir ancak çok sayıda öğrenci modelinin sunucuya gönderilmesi iletişim maliyetini artırır. Araştırmacılar, tek seferlik şemadan ilham alan veri setlerinin damıtılması yoluyla tek seferlik iletişim içeren yeni bir birleşik öğrenme eğitim planı sunuyor. Yoğun özelliklere sahip, önemli ölçüde daha küçük ancak daha değerli veri kümelerini sentezlemek ve sunmak sezgisel olarak mantıklıdır. Kısıtlı bant genişliği üzerinden kimsenin mahremiyetini ihlal etmeden daha fazla eğitici eğitim verisi aktarılır. Özellikle araştırmacılar, veri seti damıtma işlemini içeren benzersiz bir birleşik öğrenme sistemi olan FedD3’ü sağlıyor.
Yerel olarak damıtılmış veri kümesini sunucuya aynı anda göndererek etkili birleştirilmiş öğrenmeyi mümkün kılar. Bu, önceden eğitilmiş bir modeli uygulayabilir ve bireyselleştirilmiş ve adil öğrenme için kullanılabilir. Bu teknik, birleşik öğrenmenin en önemli faydalarından biri olan gizliliği korur. Önceki birleşik öğrenme yaklaşımlarındaki paylaşılan model parametrelerine benzer, ancak çok daha etkili ve verimli olan bu özellik, orijinal müşteri verilerinden damıtılan veri kümelerini herhangi bir açığa çıkmadan anonim olarak eşler.
Birleşik öğrenmede iletişimin verimliliği, doğruluk kazanımının öneminin iletişim maliyetine göre ayarlanmasıyla uygun şekilde değerlendirilir. Testler özellikle doğruluk ve iletişim yükü arasındaki dengeyi göstermektedir. Araştırmacılar bu ödünleşimi ele almak için yeni bir değerlendirme ölçütü olan kesinlik kazancını öneriyor. Araştırmacılar ayrıca IID dışı veri setleri, müşteri sayıları ve yerel katkılar gibi belirli dış değişkenlerin etkilerini de inceliyor. Araştırmacılar, sınırlı iletişim maliyetlerine sahip birleşik öğrenme ağlarında bu yaklaşım için mükemmel bir potansiyel olduğunu gösteriyor.
FedD3’ün aşağıdaki faydalara sahip olduğunu deneylerle kanıtlıyorlar. İlk olarak FedD3, 500 istemcili dağıtılmış bir sistemdeki doğruluğun IID Olmayan MNIST’te 2,3’ten fazla arttığı (%42,08’den %94,74’e) daha düşük iletişim hacminde bile çok daha iyi performans elde eder. İkincisi, diğer tek seferlik birleştirilmiş öğrenimle karşılaştırıldığında FedD3, daha düşük iletişim hacminde bile çok daha iyi performans elde ediyor. 500 istemcili dağıtılmış bir sistemdeki doğruluk 2,3’ten fazla arttı (%42,08’den 94’e).
Bu belgede yapılan katkıların dört kısmı aşağıdadır:
- Araştırmacılar, tek seferlik etkili birleştirilmiş öğrenme için yeni bir çerçeve olan FedD3’ü öneriyor
- Araştırmacılar, FedD3’ü istemciler üzerinde iki farklı veri seti damıtma örneğiyle gösteriyor.
- Araştırmacılar ayrıca, federe öğrenme sistemlerinde, modeller yerine damıtılmış verilerin sunucuya yüklendiği, merkezi olmayan bir veri kümesi damıtma şemasını da tanıtıyorlar.
- Araştırma çalışmaları, özellikle doğruluk ve iletişim maliyetinin dengelendiği durumlarda, sınırlı iletişim kaynaklarına sahip birleşik öğrenme ağlarında tasarım yapmanın muazzam potansiyelini göstermektedir. Herkes GitHub’daki kaynak koduna erişebilir.
Bu makale Marktechpost personeli tarafından ‘araştırma çalışmasına dayalı olarak bir araştırma özeti makalesi olarak yazılmıştır’Kaynakların kısıtlı uç ortamlarda merkezi olmayan veri kümelerinin damıtılması yoluyla birleştirilmiş öğrenme‘. Bu araştırmanın tüm kredisi bu projenin araştırmacılarına aittir. Görüntüle kağıt Ve github bağlantısı.
Lütfen katılmayı unutmayın ML alt dizimiz
Yüzlerce Harika Yapay Zeka Aracını bulmak için https://aitoolsclub.com adresini ziyaret edin
