Şu yazıyı okuyorsunuz: Vay küçük NeRF; Artık Özgürsünüz: Bu Yapay Zeka Yaklaşımı, Birkaç Atışta Sinirsel İşleme Yeteneğini Geliştiriyor
Gerçek dünya sahnelerinin yüksek kaliteli 3 boyutlu temsillerini oluşturmak, sinirsel radyasyon alanı (NeRF) uygulamalarındaki son gelişmeler sayesinde giderek daha uygulanabilir hale geliyor. NeRF ile gerçek dünyadaki sahneleri sanal dünyaya aktarabilir ve farklı perspektiflerden izlenebilecek 3 boyutlu gösterimlere sahip olabilirsiniz.
NeRF, sahneyi sürekli bir 5D özelliği olarak temsil eden derin öğrenmeye dayalı bir yaklaşımdır. 3B koordinatları ve görüntüleme yönlerini, belirli bir noktada belirli bir yön boyunca ilerleyen ışık miktarını temsil eden radyasyon değerlerine eşler. Bu radyasyon fonksiyonu, bir dizi giriş görüntüsü ve karşılık gelen kamera parametreleri üzerinde eğitilen çok katmanlı bir algılayıcı (MLP) kullanılarak yaklaşık olarak hesaplanır.
NeRF, sahnenin altında yatan 3 boyutlu geometriyi ve aydınlatmayı yakalayarak, rastgele bakış açılarından sahnenin yeni görüntülerini oluşturabilir. Bu şekilde sahnenin etkileşimli bir sanal keşfine sahip olabilirsiniz. İlk filmdeki kurşundan kaçma sahnesi gibi düşünün Matris film.
Gelişen tüm teknolojilerde olduğu gibi NeRF’nin de kusurları yok değil. Yaygın sorun, eğitim görünümlerine gereğinden fazla sığabilmesi ve yalnızca birkaç girdi mevcut olduğunda yeni görünümlerin sentezinde sorun yaşamasına neden olmasıdır. Bu, iyi bilinen bir sorundur. birkaç çekim sinirsel işleme sorunu.
Birkaç çekimde sinirsel işleme sorununu çözmeye yönelik girişimlerde bulunuldu. Transfer öğrenme yöntemleri ve derinlemesine denetlenen yöntemler denendi ve bir dereceye kadar başarılı oldu. Ancak bu yaklaşımlar, büyük ölçekli veri kümeleri ve karmaşık eğitim hatları üzerinde ön eğitim gerektirir ve bu da hesaplama yüküne neden olur.
Peki ya bu sorunu daha verimli bir şekilde çözmenin bir yolu olsaydı? Peki ya kıt girdilerle bile yeni içgörüleri sentezleyebilseydik? Buluşma zamanı ÜcretsizNeRF.
Düzenlileştirilmiş Frekans NeRF (FreeNeRF), birkaç çekimde sinirsel işleme sorununu çözmek için önerilen yeni bir yaklaşımdır. Basit bir NeRF modeline eklemek oldukça basittir çünkü yalnızca birkaç satır kod eklenmesini gerektirir. FreeNeRF iki düzenleme terimi sunar: frekans düzenlemesi ve tıkanma düzenlemesi.
Frekans düzenlemesi, öğrenme sürecini dengelemek ve eğitimin başlangıcında felaketle sonuçlanabilecek aşırı uyumu önlemek için kullanılır. Bu, NeRF girişlerinin görünür frekans bantlarının doğrudan düzenlenmesi sayesinde mümkündür. Buradaki gözlem, modele daha yüksek frekanslı girdiler sunuldukça NeRF performansında önemli bir düşüş olduğudur. FreeNeRF, aşırı yumuşatmayı önlemek ve NeRF’ye kademeli olarak yüksek frekanslı bilgi sağlamak için eğitim süresi adımında görünür frekans spektrumunu temel alan düzenlemeyi kullanır.
Oklüzyon düzenlemesi ise kameraya yakın yoğunluk alanlarını cezalandırmak için kullanılır. Bu alanlar, nesneler temeldeki 3D modelle düzgün şekilde hizalanmadığında, oluşturulan görüntüde meydana gelen yapılar veya hatalar olan, kayan noktalar adı verilen bir şeye neden olur. NeRF’deki uçuşan cisimleri ortadan kaldırmak için tıkanma düzenleme hedefleri. Bu yapay yapılar, eğitim görünümlerindeki daha az örtüşen bölgelerden kaynaklanmaktadır ve bu bölgelerin, mevcut sınırlı bilgi nedeniyle tahmin edilmesi zordur. Bunu düzeltmek için kamera yakınındaki yoğun alanlar cezalandırılır.
FreeNeRF, birden fazla veri kümesinde önceki en gelişmiş yöntemlerden daha iyi performans gösteren basit bir temel önermek için bu iki düzenleme yöntemini birleştirir. Neredeyse hiçbir ek hesaplama maliyeti eklemez. Üstelik hiçbir bağımlılığı veya ek yükü yoktur, bu da onu birkaç çekimlik sinirsel işleme sorununa pratik ve etkili bir çözüm haline getirir.
