Şu yazıyı okuyorsunuz: Müzikten Dansa: EDGE AI, ses girişine dayalı olarak TikTok için sonsuz sayıda dans fikri üretiyor
Stanford Üniversitesi var Duyuruldu EDGE adı verilen bir ses girişinden dans üreten güçlü bir dans müziği yapay zekası. EDGE, sağlanan herhangi bir müziğe bağlı kalarak gerçekçi, fiziksel olarak inandırıcı danslar üretebilen, özelleştirilebilir dans yaratmaya yönelik güçlü bir yöntemdir. Güçlü bir müzikal özellik çıkarıcı olan Jukebox’ın ve transformatör tabanlı bir yayılma modelinin yardımıyla EDGE, eklem koşullandırma, ara hareket ve dansın devamı gibi dans için ideal olan güçlü düzenleme yetenekleri sunar. İnsan değerlendiricilerin, EDGE tarafından oluşturulan dansları, aşağıdaki gibi yeni yaklaşımlara kıyasla büyük ölçüde tercih ettiğini buldu. Dans ve bitti.
Müzikten koreografiye: EDGE danslarını nasıl yaratıyor?
Vahşi doğada bulunan müzik örnekleri için bile EDGE, sağlam Jukebox modelinin müzik kaplamalarını kullanarak yüksek kaliteli danslar üretebilir. EDGE, giriş müziğini birleştirmek için dondurulmuş bir Jukebox modeli kullanır. Koşullu bir yayılma modelini, kliplere gömülü müziğin nasıl haritalanacağını öğretmek için bir dizi beş saniyelik dans klibi kullanıldı. İsteğe bağlı uzunlukta tam bir video oluşturmak için birden fazla klipten oluşan grupları birleştirmeden önce, zamansal tutarlılığı sağlamak için zamansal kısıtlamalar uygulanır.
EDGE, 5 saniyelik dans klipleri üzerinde eğitilmiştir, ancak dizilere zamansal kısıtlamalar yerleştirerek herhangi bir uzunlukta dans yaratabilmektedir. Çizimde EDGE, her dizinin ilk yarısını bir öncekinin ikinci yarısıyla eşleşmeye zorluyor.Yeni oluşturulan dans müziği çıktıları
EDGE keyfi zamansal ve mekansal kısıtlamaları destekler. Aşağıdakiler dahil, bunu destekleyebilecek çok sayıda son kullanıcı uygulaması vardır:
- Çok sayıda diziden oluşan gruplar arasında zamansal süreklilik gerektirerek, keyfi uzunlukta danslar üretilebilir.
- Üst vücut oluşumunu sağlayan alt vücut hareketi veya tam tersi gibi eklem kısıtlamaları içeren danslar.
- Önceden belirlenmiş başlangıç ve son hareketlerle dans eder.
- Önceden belirlenmiş bir hareketle başlayan danslara dansın devamı denir.
Dansta ayaklarla yer arasındaki karmaşık, kasıtlı ve kaygan temas hakimdir. Kaymayı sürdürürken fiziksel gerçekçiliği önemli ölçüde artıran yeni temas tutarlılığı kaybı, EDGE’in ayakların ne zaman kayması gerektiğini öğrenmesine olanak tanır.Araştırmacılar, insan gözlemcilerin, EDGE algoritması tarafından oluşturulan dansları, diğer algoritmalar tarafından oluşturulan danslara karşı ezici bir çoğunlukla tercih ettiğini buldu. Araştırmanın yazarları, EDGE algoritmasının bilgisayarla üretilen dans alanında bir atılımı temsil ettiğini söylüyor. Algoritmanın sosyal trendler ve TikTok, düğünler, partiler veya kurumsal etkinlikler gibi sanal ve gerçek dünyadaki etkinlikler için danslar oluşturmak için kullanılabileceğine inanıyorlar.
Yapay zeka hakkında daha fazlasını okuyun:
