Yazıyı okuyorsunuz: CMU ve MIT’deki araştırmacılar, sinirsel akustik alanlar (NAF) adı verilen ve dinleyicinin sesi nasıl duyacağını simüle edebilen bir makine öğrenme sistemi geliştirdiler…
Çevremiz akustik bilgilerle doludur. Bir odaya girdiğimizde akustik ve görsel bilgiler odanın haritasını çıkarmamıza ve salonun ne kadar büyük olduğunu anlamamıza yardımcı olabilir. Bir bardağı düşürürsek, ses bize onun kırılıp kırılmadığını söyleyebilir.
Doğrudan ham görüntü gözlemlerinden görsel dünyanın sürekli, farklılaştırılabilir temsillerinin oluşturulması, örtülü sinirsel temsillerdeki son gelişmelerle mümkün olmuştur. Ancak dünyanın akustik modelleri alanında daha az araştırma yapılmıştır. Ancak dünyayı hem görsel hem de işitsel olarak algılıyoruz.
Önceki çalışmalarda bir sahnenin akustiğinin yakalanması araştırılmıştı ancak bu çalışmalar akustik özelliklerin manuel olarak tasarlanmasını gerektiriyordu. MIT araştırmacılarından oluşan bir ekip, bir sesin uzayda nasıl yayılacağını yakalayan ve bir dinleyicinin farklı konumlarda ne duyacağını simüle etmesine olanak tanıyan bir makine öğrenme modeli geliştirdi. Bu modelleme aynı zamanda sistemin, sesin yayıldığı odanın 3 boyutlu bir modelini oluşturmasına da yardımcı oluyor; araştırmacılar bunu odanın 3 boyutlu görsel temsilini oluşturmak için kullanabilirler.
Takımın karşılaştığı çeşitli zorluklar vardı. Birincisi akustik yankılanmanın (dürtü tepkisi) temsiliydi. Aynı zamanda 3 boyutlu bir vektör kullanarak görsel görünümü temsil etmek kolaydır, akustik yankıların 20000’den fazla değeri vardır, bu da onları ifade etmeyi zorlaştırır. İkincisi, yeni gönderici-dinleyici konumları için yoğun şekilde genelleştirilebilir bir akustik sinir temsili geliştirmekti.
Ekip, bunların üstesinden gelmek için Nöral Akustik Alanları (NAF) geliştirdi. NAF’ler, karmaşık sinyal temsillerini yakalamak için Fourier frekans alanındaki dürtü yanıtlarını kodlar ve temsil eder. NAF’ler, bir ortamın yoğun akustik alanlarını modelleyerek görüntü hakkında yapısal bilgi elde etmelerine olanak tanıyan kullanışlı bir temsili öğrenirler.
Ekip, yöntemlerinin, NAF’yi alttaki sahne geometrisi üzerinde yerel olarak koşullandırarak, sahnedeki gözlemlenmeyen noktalarda bile ortam yankılarının tahmin edilmesini sağladığını gösterdi. Ayrıca, NAF tarafından elde edilen işitsel temsillerin, modlar arası görsel-işitsel öğrenmeyi ve sahne organizasyonunu çıkarımını kolaylaştırmak için ne kadar pratik ve değerli olduğunu gösterdiler.
Sonuç olarak, nöral akustik alanlar (NAF’ler), bir sahnenin altında yatan akustiği kompakt ve sürekli olarak kaydeden örtülü nöral alanlardır. Sahne akustiğini simüle etme açısından NAF’ler temel çizgilerden daha iyi performans gösterir ve tasarım kararlarınızın kapsamlı bir analizini sağlar.
Bu teknoloji, artırılmış gerçeklik ve sanal gerçeklik gibi alanlarda temel olabilir. Ayrıca Yapay Zekanın dünyayı daha iyi temsil ederek etrafındaki dünyayı daha iyi anlamasına yardımcı olabilir.
Bu makale Marktechpost personeli tarafından ‘araştırma çalışmasına dayalı olarak bir araştırma özeti makalesi olarak yazılmıştır’Nöral akustik alan öğrenimi‘. Bu araştırmanın tüm kredisi bu projenin araştırmacılarına aittir. Görüntüle kağıt Ve referans makalesi.
Lütfen katılmayı unutmayın ML alt dizimiz
Yüzlerce Harika Yapay Zeka Aracını bulmak için https://aitoolsclub.com adresini ziyaret edin
