Estás leyendo la publicación: Investigadores de Microsoft y TUDelft proponen un enfoque basado en inteligencia artificial (IA) que crea arrugas faciales basadas en expresiones sintéticas
Los datos sintéticos se han utilizado con frecuencia para una variedad de tareas de visión por computadora, como la identificación de objetos, la comprensión de escenas, el seguimiento de ojos, el seguimiento de manos y el análisis corporal completo. Sin embargo, el desarrollo de materiales sintéticos de cara completa para el aprendizaje automático relacionado con la cara se ha visto obstaculizado sustancialmente por la dificultad de modelar el cráneo humano. Aunque se han producido humanos digitales realistas para películas y videojuegos, cada personaje generalmente requiere mucho tiempo artístico. Debido a esto, la síntesis de datos de entrenamiento facial en la literatura ha ido acompañada de simplificaciones o un enfoque en rasgos faciales específicos, como el área alrededor de los ojos o la máscara de hockey.
Debido a la disparidad en las distribuciones entre los datos faciales reales y artificiales, la generalización es difícil debido a la brecha de dominio. Debido a esto, se cree que los datos sintéticos no pueden reemplazar por completo los datos reales para los trabajos que deben realizarse en el campo. La adaptación de dominio y el entrenamiento de dominio adversario, donde se insta a los modelos a ignorar las diferencias de dominio, han sido los métodos esenciales para cerrar esta brecha de dominio.
El muestreo procedimental puede generar y renderizar caras 3D innovadoras al azar sin ayuda humana. La tecnología hace esto al superar una limitación de escala significativa en los métodos utilizados por la industria de efectos visuales (VFX) para sintetizar individuos reales. Al crear looks sintéticos con un realismo sin igual, Wood et al. tenía como objetivo abordar directamente el problema minimizando la brecha de dominio en la fuente. Su enfoque combina de manera procesal un modelo facial 3D paramétrico con una vasta colección de elementos excelentemente elaborados por artistas, como texturas, cabello y ropa.
Los algoritmos de aprendizaje automático entrenados en los datos sintéticos para la localización de puntos de referencia y el análisis de rostros lograron un rendimiento a la par con el estado del arte sin emplear una sola imagen genuina. Sin embargo, un inconveniente de esta técnica es la ausencia de arrugas dinámicas y dependientes de la expresión. En este documento, brindan un plan fácil de usar pero eficiente para implementar las arrugas basadas en la expresión. El método crea texturas solo a partir de escaneos de expresión neutra, que permanecen estáticos durante todas las deformaciones relacionadas con la expresión de la geometría de la cara subyacente.
Su objetivo principal es utilizar escaneos de alta resolución de rostros posados para extraer efectos de arrugas intrincados para su identificación. Para almacenar estas arrugas potenciales, crean mapas de arrugas para texturas de albedo y desplazamiento. Mezclan el pliegue y las superficies neutras durante la síntesis para cualquier expresión que no sea la representada en los escaneos de origen, utilizando la tensión en la malla de la cara para crear efectos dinámicos de arrugas.
Las animaciones también forman parte del material complementario. Las primeras técnicas de VFX inicialmente utilizaron mapas de arrugas para describir protuberancias definidas por el artista o mapas normales para imitar arrugas dinámicas. Estas estrategias, sin embargo, tienen tres fallas. En primer lugar, las sombras y las siluetas, esenciales para las tareas relacionadas con el rostro, como la localización de puntos de referencia, no se modifican e imitan los cambios en la geometría subyacente. En segundo lugar, ni los enfoques impactan las texturas difusas ni el albedo. La escala es el último y más significativo defecto.
Las técnicas involucran la creación manual de mapas de arrugas y máscaras para la forma de mezcla de cada personaje. Por el contrario, su enfoque automatizado impulsado por la tensión de la malla incorpora arrugas genuinas para el albedo y las texturas de desplazamiento de los escaneos y crece orgánicamente con la cantidad de identidades y expresiones. Además, gestionan identidades sin escaneos de expresión copiando arrugas creíbles de las texturas neutras más comparables.
Realizan las siguientes contribuciones específicas para promover el desarrollo de materiales sintéticos para tareas relacionadas con el rostro:
- Un sistema fácilmente escalable con identidades y expresiones crecientes para arrugas dinámicas basadas en la expresión.
- Una comparación empírica de la estimación normal de superficie y el rendimiento de localización de puntos clave frente al sistema sintético SOTA.
- Nuevas medidas de evaluación y datos para localizar puntos críticos en el área del ojo donde las arrugas son significativas para las actividades de aprendizaje
Este artículo está escrito como un artículo de resumen de investigación por el personal de Marktechpost basado en el trabajo de investigación ‘Arrugas basadas en la expresión impulsadas por la tensión de malla para rostros sintéticos‘. Todo el crédito de esta investigación es para los investigadores de este proyecto. Revisar la papel y proyecto.
Por favor no olvides unirte Nuestro subreddit de ML
Echa un vistazo a https://aitoolsclub.com para encontrar 100 de Cool AI Tools
