Şu yazıyı okuyorsunuz: RecolorNeRF: Nöral Parlaklık alanı için yeni, kullanımı kolay bir renk düzenleme yaklaşımı
Nöral Parlaklık Alanları (NeRF), 3 boyutlu sahnelerin güçlü bir temsilidir ve bunların bir gün yeni bir medya türü olarak fotoğraf ve filmlerin yerini almasını mümkün kılar. Bu yeni temsilin basımının desteklenmesi, bu hedefe ulaşmak için çok önemlidir. Konuyla ilgili son yayınlar NeRF düzenlemeyi diğer şeylerin yanı sıra geometrik deformasyon, görünüm düzenleme ve stil aktarımı açısından araştırdı. Yeniden renklendirme, genellikle bir sahnedeki belirli renk tonlarının iyileştirilmesi veya düzeltilmesi için ayarlanmasını içeren görünüm düzenlemedir. Bu süreç film yapım süreci için çok önemlidir. Şekil 1’deki örnekte, kırmızı araba, bir renk değiştirme düzenlemesi kullanılarak fotogerçekçi olarak maviye dönüştürülebilir.
Halihazırda kullanımda olan bir görüntünün rengini değiştirme yöntemlerinden biri olan palet tabanlı renk düzenleme (PCE), en akıcı etkileşim araçlarını sunar. PCE şu üç temel adımı içerir: 1) Bir paletin çıkarılması. İlk adım, bir grup temsili renk seçmek ve manzaraya dayalı bir palet oluşturmaktır. 2) Katmanların ayrışması. Her palet öğesi için tek tip renk değerine sahip eşleşen bir görüntü katmanını belirtirler. Bu aşamanın temel amacı, orijinal görüntüyü yeniden oluşturmak için bu katmanları harmanlamak için en iyi yöntemi seçmektir. Renkli baskı. Her katmanın rengi değiştirilerek sahne, yukarıdaki iki işleme göre doğal olarak yeniden renklendirilebilir.
Tan ve meslektaşları, görüntüleme için PCE’nin SOTA yaklaşımlarından biri olarak kanat çıkarma için dışbükey gövde basitleştirme tekniğini sundular. Katman ayrıştırması daha sonra elde edilen palet kullanılarak bir optimizasyon problemi olarak ifade edilir. Birleşik ağırlıkların az olduğu varsayımı sorunu çözülebilir kılmaktadır. Bu çalışmada, RecolorNeRF adı verilen tamamen yeni bir teknik sundular; bu teknik, kendi bilgileri dahilinde, NeRF oluşturma için fotogerçekçi PCE’de katman ayrıştırması için tamamen öğrenilebilir bir palet kullanmaya yönelik ilk girişimdir. PosterNeRF, palet tabanlı NeRF renk değişimini denemiş olsa da, renk ayarı yalnızca posterleştirme sonrasında etkinleştirilebildiğinden sonuçlar daha gerçekçi olabilir. İyi bilindiği gibi, bir sahnenin NeRF’sini yeniden oluşturmak için çoklu görüntü görüntüleri sıklıkla kullanılır.
Bu nedenle, NeRF PCE’yi gerçekleştirmenin başka bir olası yolu, aşağıdaki yöntemi izleyerek tüm giriş görüntülerindeki piksellerden paletler çıkarmak ve ardından önceden eğitilmiş NeRF’nin işlenmiş her görünümü için katman ayrıştırma ve renk düzenlemesi gerçekleştirmektir. Uygulanması kolay olmasına rağmen, bu stratejinin üç ana sorunu vardır: Birincisi, rengin bu şekilde değiştirilmesi, NeRF gösteriminin sonradan işlenmesine neden olur ve bu da yüksek hesaplama maliyetlerine neden olur. İkincisi, her görünüm bağımsız olarak işlendiğinden, sonuçların daha fazla görünüm tutarlılığına ihtiyacı vardır. Üçüncüsü, palet çıkarma, buluşsal bir yöntemle gerçekleştirilir; bu, palet renginin daha az temsili olmasına ve katman ayrışmasının yeterince temiz olmamasına neden olabilir, bu da renk manipülasyonuna müdahale eder. Ana önerileri, yukarıda belirtilen sorunları çözmek için palet, katman kombinasyon ağırlıkları ve hacimsel radyasyon alanlarının tek bir çerçevede iyileştirilmesidir. Daha sonra nihai görüntünün formüle edilmesi gibi karmaşık senaryoların üstesinden gelmek için “zarf” kompozisyonunu kullanırlar. Spesifik olarak, her biri bir alfa ağırlığına karşılık gelen sıralı katmanlardan oluşan bir koleksiyonun alfa karışımı, her pikseli temsil etmek için kullanılır. Daha sonra her katman için, radyasyon alanı gibi MLP ile de temsil edilebilen hacimsel bir alfa alanı oluştururlar. Farklı katmanların çeşitli MLP’ler kullandığını lütfen unutmayın. Bu nedenle yoğunluk alanı için MLP’leri ve karışım ağırlıkları için MLP’leri ortaklaşa optimize etmeleri gerekmektedir.
İyi bilindiği gibi, ilk PCE sistemlerinin her biri palet çıkarma işlemlerini ayrı ayrı gerçekleştiriyordu. Paleti optimize etmeye yönelik ilk girişim sundukları şeydir. Bağlantı optimizasyonu sorununa yardımcı olmak için iki yeni tasarım sunulmuştur: 1) Sınırlı bir renk paletinin tüm sahneyi aslına sadık bir şekilde temsil etmesine olanak sağlamak için yenilikçi bir dışbükey gövde düzenlemesi önerilmiştir. 2) Palet renginin daha gerçekçi olması için karışım ağırlıklarında genellikle spreadler kullanılır. Seyreklik kısıtlaması, karmaşık durumları simüle etme yeteneğini geliştirmek için benzersiz bir sıralamaya duyarlı ağırlıklandırma mekanizması alır. RecolorNeRF, deneylere göre ayarlanabilir renk şemalarıyla fotogerçekçi görüntüler oluşturabilir ve örtülü temsili sağlam bir şekilde yeniden yapılandırabilir. Bildikleri kadarıyla, yeni bir dışbükey gövde düzenlemesinin çözülebilir olması için tasarlanan kanadın ve alfa karıştırma ağırlıklarının ortak optimizasyonunu dikkate alan ilk kişiler onlar. RecolorNeRF çerçevesinin tamamı, NeRF temsilinin renk düzenlemesinin, katman ayrıştırması için tamamen öğrenilebilir bir palet kullanılarak fotogerçekçi bir şekilde gerçekleştirilmesine olanak sağlayacak şekilde dikkatlice tasarlanmıştır. Kod henüz yayınlanmadı ancak projenin web sitesinde bir video demosu bulunabilir.
