Yazıyı okuyorsunuz: Araştırmacılar, diferansiyel olarak özel derin öğrenme için evrişimli sinir ağı (CNN) mimari tasarımını optimize etmek amacıyla SmoothNets’i geliştirdi
Diferansiyel gizlilik (DP), makine öğreniminde veri kümesini oluşturan bilgilerin gizliliğini korumak için kullanılır. Diferansiyel mahremiyete sahip derin sinir ağlarını eğitmek için en yaygın kullanılan algoritma, örnek başına gradyan düzeltmesi ve gürültü gerektiren, diferansiyel olarak özel stokastik gradyan inişidir (DP-SGD). Sonuç olarak modelin kullanışlılığı özel olmayan eğitime göre azalmaktadır.
DP-SGD’nin neden olduğu bu performans düşüşünü ele almak için temel olarak iki yaklaşım vardır. Bu iki yaklaşım mimari modifikasyonlar ve eğitim yöntemleridir. İlk teknik, model mimarisini değiştirerek ağ yapısını DP-SGD zorluklarına karşı daha sağlam hale getirmeyi amaçlamaktadır. İkinci teknik, DP-SGD’nin doğruluk üzerindeki olumsuz etkisini en aza indirecek uygun bir eğitim stratejisi bulmaya odaklanır. DP-SGD eğitimi için fayda azaltımlarına karşı sağlamlık sunan belirli somut model tasarım seçeneklerini yalnızca birkaç çalışma incelemiştir. Bu bağlamda geçtiğimiz günlerde bir Alman araştırma ekibi, bu performans kaybını azaltmak için oluşturulmuş yeni bir derin mimari olan SmoothNet’i önerdi.
Yazarlar, yaygın olarak kullanılan derin öğrenme mimarilerinin bireysel model bileşenlerini, DP-SGD eğitim performansı üzerindeki etkilerine göre değerlendirdiler. Daha sonra, bu çalışmaya dayanarak, en uygun bileşenleri çıkardılar ve CIFAR-10 ve ImageNette kıyaslama veri kümeleri üzerinde diferansiyel olarak özel olarak eğitilmiş modellerde SOTA sonuçları üreten SmoothNet adı verilen yeni bir model mimarisini bir araya getirdiler. Modelin ayrı ayrı bileşenlerinin değerlendirilmesi çalışması, genişlik-derinlik oranının modelin performansıyla yüksek düzeyde ilişkili olduğunu gösterdi. Aslında, özel eğitim için optimal genişlik-derinlik oranı, özel olmayan eğitime kıyasla daha yüksektir. Ayrıca, artık ve yoğun bağlantıların kullanılması, DP-SGD’nin kullanıldığı sağlam modeller için faydalıdır. Yazarlar ayrıca SELU aktivasyon fonksiyonunun RELU’dan daha iyi performans gösterdiği sonucuna vardı. Son olarak Max Pooling, diğer havuzlama fonksiyonlarına kıyasla üstün sonuçlar gösterdi.
Yukarıda belirtilen sonuçlara dayanarak yazarlar, SmoothNet adı verilen yeni bir mimari önerdiler. Ana bileşenler Düzgün Bloklar adı verilen yapı taşlarıdır. DenseBlocks bu bloklara ilham veriyor, ancak bazı değişikliklerle: İlk değişiklik, 3×3 evrişimli katmanların genişliğinin hızla artmasıdır. İkinci değişiklik, toplu normalleştirme yerine sekiz gruplu grup normalleştirme katmanlarının kullanılmasıdır. Son olarak, son değişiklik SELU katmanlarının aktivasyon fonksiyonları olarak kullanılmasıdır. Ağ derinliği 10 SmoothBlock ile sınırlıdır. Ayrıca DenseNet’lere benzer şekilde SmoothBlock’lar arasında ortalama havuzlama uygulanır. Çıkarılan özellikler 2048 özelliğe sıkıştırılır ve SELU aktivasyon fonksiyonlarıyla ayrılan üç doğrusal katmandan oluşan sınıflandırıcı bloğuna beslenir.
Yeni mimariyi doğrulamak için yazarlar CIFAR-10 ve ImageNet’in bir alt kümesi olan geNette üzerinde deneysel bir çalışma gerçekleştirdiler. SmoothNet’in performansı ResNet-18, ResNet-34, EfficientNet-B0 ve DenseNet-121 gibi çeşitli standart mimarilerle karşılaştırılmıştır. Sonuçlar, SmoothNets’in DP-SGD kullanıldığında doğrulama doğruluğu açısından en yüksek performansı elde ettiğini göstermektedir.
Bu makalede, DP garantili sinir ağlarının yüksek fayda eğitimi için en uygun mimari seçenekleri bulmak amacıyla yürütülen araştırmayı gösteriyoruz. Eğitim sırasında DP-SGD kullanımına bağlı performans düşüşünü gidermek için yeni bir ağ olan SmoothNet önerildi. Sonuçlar, önerilen yeni ağın, mimari değişiklik stratejisini izleyen önceki çalışmalardan daha iyi performans gösterdiğini gösterdi.
Bu makale, Marktechpost personeli tarafından ‘SmoothNets: CNN Mimari Tasarımını Diferansiyel Olarak Özel Derin Öğrenme için Optimize Etme’ araştırma çalışmasına dayanan bir araştırma özeti makalesi olarak yazılmıştır. Bu araştırmanın tüm kredisi bu projenin araştırmacılarına aittir. Görüntüle kağıt.
Lütfen katılmayı unutmayın ML alt dizimiz
Yüzlerce Harika Yapay Zeka Aracını bulmak için https://aitoolsclub.com adresini ziyaret edin
