Estás leyendo la publicación: Investigadores de Apple desarrollan Texturify: un enfoque basado en GAN para generar texturas en superficies de formas 3D
El desarrollo de contenido 3D para consumo visual en películas, videojuegos y entornos de realidad mixta es una de las muchas áreas de aplicación donde es esencial. En los últimos años se ha logrado una mejora significativa en la fidelidad geométrica gracias a las nuevas técnicas de aprendizaje generativo aplicadas a conjuntos de datos de formas 3D a gran escala. Si bien el modelado de geometría ha mostrado un potencial significativo, la creación de objetos 3D completamente texturizados ha recibido menos atención.
La creación de contenido 3D texturizado requiere mucho trabajo manual. La escasez de datos 3D texturizados de alta calidad presenta un obstáculo importante para aprender a generar automáticamente material 3D texturizado. Los conjuntos de datos de formas a gran escala como ShapeNet han contribuido al éxito del modelado de formas geométricas en 3D, aunque con frecuencia presentan texturas uniformes y básicas para los objetos. Además, dado que las texturas solo están bien definidas en superficies geométricas, los enfoques de generación de texturas existentes imitan principalmente las representaciones geométricas generativas populares que definen implícitamente superficies sobre un volumen en el espacio. Esto conduce a un aprendizaje ineficiente y con frecuencia produce resultados borrosos.
En un estudio reciente, los investigadores de Apple propusieron Texturify para abordar estos problemas en el proceso de síntesis de textura autónoma para colecciones de formas 3D. En otras palabras, Texturify aprende a crear automáticamente una gama de varias texturas en una forma cuando toma muestras de un espacio de textura latente para una geometría de forma dada. Los investigadores utilizaron simplemente un conjunto de fotos y una colección de geometría de forma 3D de la misma categoría de clase en lugar de depender de la supervisión de objetos con textura 3D. No requerían ninguna relación entre la imagen y la geometría ni ninguna información de la parte semántica de las formas.
Para asegurarse de que las texturas generadas en las formas 3D presentaran imágenes realistas desde una variedad de puntos de vista durante el entrenamiento, los investigadores utilizaron una representación diferenciable con una pérdida adversaria. Los investigadores sugirieron vincular la producción de texturas directamente a la superficie de la forma 3D en lugar de generar texturas para formas 3D definidas sobre un volumen en el espacio como se ha hecho con representaciones implícitas o representaciones volumétricas.
El grupo desarrolló una red antagónica generativa para operar en las caras de una malla cuádruple rotacionalmente simétrica de 4 vías mediante la creación de operadores de caras convolucionales para la generación de texturas, condicionadas por la geometría de forma 3D y una codificación de textura latente. El método permite producir texturas de forma potencial con conocimiento de las relaciones de vecindad estructural 3D y poca distorsión, en contraste con la parametrización de textura 2D convencional con mapas UV.
Los investigadores realizaron numerosas pruebas para demostrar la eficacia de Texturify en la texturización de automóviles y sillas ShapeNet que fueron entrenados con imágenes del mundo real. Los experimentos revelaron que el método realizó, en promedio, un 22 % de puntajes FID mejores que los de última generación.
Cookies no necesarias para ver el contenido.” data-cli-src=”https://www.youtube.com/embed/M5OU_fiD3Jk?version=3&rel=1&showsearch=0&showinfo=1&iv_load_policy=1&fs=1&hl=en-US&autohide=2&wmode= transparente” allowfullscreen=”true” style=”border:0;” sandbox=”allow-scripts allow-mismo-origen allow-popups allow-presentation”>
Conclusión
En una publicación reciente, los investigadores de Apple desarrollaron Texturify, un nuevo método para crear texturas en superficies de malla utilizando diferentes colecciones de imágenes 2D y geometría de formas 3D, es decir, sin necesidad de supervisión de color 3D explícita o correspondencias 2D a 3D. El método de creación de texturas crea texturas cohesivas de alta calidad al trabajar directamente en una superficie de malla determinada. Los experimentos demuestran que las técnicas de vanguardia se superan tanto estadística como cualitativamente cuando la parametrización 4-RoSy se combina con convoluciones de cara que utilizan características geométricas como entrada. El equipo de Texturify cree que Texturify es un paso crucial en la creación de contenido 3D al generar automáticamente texturas para objetos 3D que se pueden usar en canalizaciones de gráficos por computadora convencionales.
Este artículo está escrito como un artículo de resumen de investigación por el personal de Marktechpost basado en el trabajo de investigación ‘Texturify: generación de texturas en superficies de formas 3D‘. Todo el crédito de esta investigación es para los investigadores de este proyecto. Revisar la papel y enlace del proyecto.
Por favor no olvides unirte Nuestro subreddit de ML
Echa un vistazo a https://aitoolsclub.com para encontrar 100 de Cool AI Tools
