Yazıyı okuyorsunuz: ETH Zürih ve Microsoft’tan araştırmacılar X-Avatar’ı öneriyor: insan vücudunun duruşunu ve yüz ifadelerini yakalayabilen, canlandırılabilir, örtülü bir insan avatar modeli
Toplu olarak “beden dili” olarak adlandırılan duruş, görünüm, yüz ifadesi, el hareketleri vb. pek çok akademik araştırmanın konusu olmuştur. Sözlü olmayan ipuçlarını doğru bir şekilde kaydetmek, yorumlamak ve oluşturmak, telepresence, artırılmış gerçeklik (AR) ve sanal gerçeklik (VR) ortamlarındaki avatarların gerçekçiliğini büyük ölçüde artırabilir.
SMPL ailesindekiler gibi mevcut son teknoloji ürünü avatar modelleri, farklı insan vücudu şekillerini gerçekçi konumlarda doğru şekilde temsil edebilir. Yine de kullandıkları ağ tabanlı temsiller ve 3B ağ kalitesi ile sınırlıdırlar. Dahası, bu modeller genellikle yalnızca çıplak vücutları simüle eder ve kıyafetleri veya saçları göstermez, bu da sonuçların gerçekçiliğini azaltır.
Gerçekçi telepresence, artırılmış gerçeklik ve sanal gerçeklik ortamları yaratmak için dijital avatarlardaki insan ifadesinin tamamını yakalayabilen yenilikçi bir model olan X-Avatar’ı sunuyorlar. X-Avatar, ETH Zürih ve Microsoft’taki araştırmacılar tarafından geliştirilen, etkileyici, örtülü bir insan avatar modelidir. İnsan eli ve vücut hareketlerini, yüz duygularını ve diğer görünüm özelliklerini yüksek doğrulukla yakalayabiliyor. Teknik, tam 3D taramalardan veya RGB-D verilerinden öğrenerek kapsamlı vücut, el, yüz ifadesi ve görünüm modelleri üretebiliyor.
Araştırmacılar, SMPL-X parametre alanının kontrol edebileceği ve X-Avatarların etkileyici animasyonunu mümkün kılan kısmi bir öğrenme dış görünüm modülü önermektedir. Araştırmacılar, sinirsel şekil ve deformasyon alanlarını etkili bir şekilde eğitmek için benzersiz parça bilinçli örnekleme ve başlatma algoritmaları sunuyor. Araştırmacılar, avatarın görünümünü yüksek frekanslı ayrıntılarla yakalamak için geometri ve deformasyon alanlarını konum, yüz ifadesi, geometri ve deforme olmuş yüzey normallerine göre koşullandırılmış bir doku ağıyla zenginleştiriyor. Bu, eklemli kemiklerin artan sayısına rağmen antrenman etkinliğini korurken, özellikle vücudun daha küçük bölümleri için daha iyi sonuçlar üretir. Araştırmacılar deneysel olarak yaklaşımın, her iki veri alanındaki güçlü temellere kıyasla animasyon görevinde üstün niceliksel ve niteliksel sonuçlar elde ettiğini gösteriyor.
Araştırmacılar, ifade edici avatarlar üzerine gelecekteki araştırmalara yardımcı olmak amacıyla, 35.500 veri çerçevesi için 20 deneğin 233 yüksek kaliteli dokulu taramasından oluşan X-Humans adı verilen yeni bir veri seti sunuyor. X-Avatar, giyimli bireylerin farklı topolojilerine uyum sağlayan ve gelişmiş geometrik çözünürlük ve daha fazla genel görünüm doğruluğu elde eden, eklemli sinirsel örtülü yüzeylerle karakterize edilen bir insan modeli önermektedir. Çalışmanın yazarları üç farklı sinir alanı tanımlıyor: biri örtülü bir doluluk ağı kullanarak geometriyi modellemek için, diğeri sürekli kaplama ağırlıklarıyla öğrenilen doğrusal karışım kaplamasını (LBS) kullanarak deformasyonu modellemek için ve üçüncüsü RGB renk değerini kullanarak görünümü modellemek için.
X-Avatar modeli, işlenmek üzere pozlanmış bir 3D taramayı veya bir RGB-D görüntüsünü alabilir. Tasarımının bir kısmı, kanonik uzayda geometriyi modellemek için bir modelleme ağını ve kanonik ve deforme alanlar arasında yazışmalar oluşturmak için öğrenilmiş doğrusal karışım kaplamasını (LBS) kullanan bir deformasyon ağını içerir.
Araştırmacılar, etkileyici ve kontrol edilebilir insan avatarları oluşturmak için el pozisyonlarına ve yüz duygularına özel önem vererek, tam vücutlu insanların şeklini, görünümünü ve deformasyonlarını yakalayan SMPL’nin bir uzantısı olan SMPL-X parametre alanıyla başlıyor. Eklemli sinirsel örtülü yüzeylerle tanımlanan bir insan modeli, giyinmiş bireylerin çeşitli topolojilerini temsil eder. Aynı zamanda benzersiz bir parça bilinçli başlatma yöntemi, daha küçük gövde parçaları için örnekleme oranını artırarak sonucun gerçekçiliğini önemli ölçüde artırır.
Sonuçlar, X-Avatar’ın insan vücudu ve el pozlarının yanı sıra yüz duygularını ve görünümünü de doğru şekilde kaydedebildiğini ve daha etkileyici ve gerçekçi avatarların oluşturulmasına olanak sağladığını gösteriyor. Bu girişimin arkasındaki grup, yönteminin yapay zekalara daha fazla kişilik kazandırmak için daha fazla çalışmaya ilham verebileceğinden şüpheleniyor.
Kullanılan veri seti
Yüksek kaliteli dokulu taramalar ve SMPL[-X] kayıtlar; 20 konu; 233 dizi; 35.427 kare; vücut pozisyonu + el hareketi + yüz ifadesi; çok çeşitli giyim ve saç modeli seçenekleri; geniş bir yaş aralığı
Özellikler
- X-Avatarları öğretmenin çeşitli yöntemleri vardır.
- Eğitimde kullanılan 3 boyutlu taramaların görüntüsü, sağ üstte. Altta: test pozlarına dayalı avatarlar.
- Yukarıdaki eğitim amaçlı RGB-D bilgileri. Poz testi avatarları daha düşük bir seviyede performans gösterir.
- Bu yaklaşım, animasyon testinde diğer temel çizgilerden daha fazla el eklemlenmesini ve yüz ifadesini kurtarır. Bu, monoküler RGB filmlerden PyMAF-X tarafından kurtarılan hareketleri kullanan animasyonlu X-Avatarlar ile sonuçlanır.
Sınırlamalar
X-Avatar, omuzları açık üstleri veya pantolonları (örneğin etekleri) modellemede zorluk çekiyor. Ancak araştırmacılar genellikle konu başına yalnızca tek bir model eğitiyor, dolayısıyla tek bir bireyin ötesinde genelleme yapma yeteneği henüz genişletilmedi.
Katkılar
- X-Avatar, vücut duruşunu, el duruşunu, yüz duygularını ve görünümünü kapsamlı bir şekilde yakalayan ilk etkileyici örtülü insan avatar modelidir.
- Temel yapıyı dikkate alan başlatma ve örnekleme prosedürleri, sonuçların kalitesini artırır ve eğitim verimliliğini korur.
- X-Humans, çok çeşitli vücut ve el hareketleri ile yüz duygularını gösteren, 20 kişinin yüksek kaliteli dokulu taramasından oluşan toplam 35.500 kareden oluşan 233 diziden oluşan yeni bir veri kümesidir.
X-Avatar vücut duruşunu, el duruşunu, yüz duygularını ve genel görünümü yakalamada rakipsizdir. Yakın zamanda yayınlanan X-Humans veri setini kullanan araştırmacılar, yöntemin
