Gönderiyi okuyorsunuz: Bu Güney Kore yapay zeka (AI) makalesi FFNeRV’yi öneriyor: kare bazında akış haritaları ve çok çözünürlüklü zamansal ızgaralar kullanan yeni bir kare bazında video temsili
Sinir ağları ile sinyallerin niceliklerine (örneğin, skaler veya vektörler) koordinatlar atanarak temsil edilen sinir alanları üzerine yapılan araştırmalarda son zamanlarda patlama yaşandı. Bu durum, ses, görüntü, 3 boyutlu form ve video da dahil olmak üzere çeşitli sinyalleri işlemek için bu teknolojinin kullanılmasına olan ilginin artmasına yol açtı. Evrensel yaklaşım teoremi ve koordinat kodlama teknikleri, beyin alanı sinyallerinin doğru temsili için teorik temelleri sağlar. Son araştırmalar veri sıkıştırma, üretken modeller, sinyal manipülasyonu ve temel sinyal gösterimi konularında uyarlanabilirliğini göstermiştir.
Sinir ağları ile sinyallerin niceliklerine (örneğin, skaler veya vektörler) koordinatlar atanarak temsil edilen sinir alanları üzerine yapılan araştırmalarda son zamanlarda patlama yaşandı. Bu durum, ses, görüntü, 3 boyutlu form ve video da dahil olmak üzere çeşitli sinyalleri işlemek için bu teknolojinin kullanılmasına olan ilginin artmasına yol açtı. Evrensel yaklaşım teoremi ve koordinat kodlama teknikleri, beyin alanı sinyallerinin doğru temsili için teorik temelleri sağlar. Son araştırmalar veri sıkıştırma, üretken modeller, sinyal manipülasyonu ve temel sinyal gösterimi konularında uyarlanabilirliğini göstermiştir.
Her zaman koordinatı, bir MLP yığını ve evrişimli katmanlar tarafından oluşturulan bir video karesi ile temsil edilir. Temel sinir alanı tasarımıyla karşılaştırıldığında yöntemimiz, kodlama süresini önemli ölçüde azalttı ve yaygın video sıkıştırma tekniklerinden daha iyi performans gösterdi. Bu paradigmayı, video kalitesini artırırken yakın zamanda önerilen E-NeRV takip ediyor. Şekil 1’de gösterildiği gibi, filmler için akış kılavuzlu çerçeve sinir temsilleri (FFNeRV) sunarlar. Yaygın video codec bileşenlerinden ilham alarak zamansal artıklığı kullanmak için çerçevelerin temsilinde optik akışları birleştirirler. FFNeRV, yakındaki akış yönlendirmeli kareleri birleştirerek önceki karelerdeki piksellerin yeniden kullanılmasını zorunlu kılan bir video karesi oluşturur. Ağı, kareler arasında aynı piksel değerlerini tekrar hatırlamaktan kaçınmaya teşvik etmek, parametre verimliliğini önemli ölçüde artırır.
FFNeRV, UVG veri kümesindeki deneysel sonuçlara göre video sıkıştırma ve kare enterpolasyonunda alternatif kare hızı algoritmalarından daha iyi performans gösteriyor. Sıkıştırma performansını daha da artırmak amacıyla sürekli zamansal koordinatları ilgili gizli özelliklere eşlemek için MLP yerine sabit uzamsal çözünürlüğe sahip çok çözünürlüklü zamansal ızgaraların kullanılmasını önerirler. Bu, ızgara tabanlı sinirsel temsillerle motive edilir. Ayrıca, daha yoğunlaştırılmış bir evrişimsel mimarinin kullanılmasını öneriyorlar. Yüksek kaliteli görüntüler ve hafif sinir ağları üreten üretken modellerle desteklenen, önerilen çerçeve bazında akış temsillerinde grup ve nokta evrişimlerini kullanırlar. FFNeRV, popüler video codec bileşenlerinden (H.264 ve HEVC) daha iyi performans gösterir ve nicemlemeye duyarlı eğitim ve entropi kodlamasını kullanan son teknoloji video sıkıştırma algoritmalarıyla aynı performansı gösterir. Kod uygulaması NeRV’yi temel alır ve GitHub’da mevcuttur.
