Estás leyendo la publicación: Conozca TextDeformer: un marco de IA para la deformación de mallas 3D guiada por texto
Las mallas tridimensionales (3D) son un componente principal de los gráficos por computadora y el modelado 3D y tienen varios campos de aplicación, que incluyen arquitectura, diseño automotriz, desarrollo de videojuegos y producción de películas. Una malla es una representación digital de un objeto tridimensional que comprende una colección de vértices, bordes y caras que definen su forma y estructura. Los vértices representan los puntos en el espacio donde se encuentran los bordes, mientras que las caras definen la superficie del objeto.
Dado que la creación de mallas 3D es un desafío, generalmente se reserva para expertos con habilidades artísticas especiales. Esto implica que a una persona le resultaría difícil crear mallas 3D desde cero sin este conocimiento. Internet hace posible encontrar diversos conjuntos de datos con objetos 3D creados por artistas digitales. Sin embargo, cuando se requiere personalización (incluso mínima), el proceso de edición es tan arduo como la simple creación.
Por esta razón, el problema de la deformación de mallas es un tema que ha recibido mucha atención en gráficos por computadora y procesamiento de geometría. En muchas técnicas de IA existentes, un usuario puede manipular deformaciones a través de manijas de control, lo que permite deformaciones gruesas de baja frecuencia que preservan los detalles. Estas se conocen comúnmente como deformaciones que conservan los detalles. Sin embargo, en el modelado 3D, a menudo es necesario incorporar información geométrica fina, lo que puede llevar mucho tiempo y ser complicado, incluso para artistas expertos.
En este sentido, se ha propuesto un enfoque novedoso de IA, denominado TextDeformer, para automatizar el proceso de deformación de mallas 3D. TextDeformer tiene como objetivo transformar una forma de origen determinada en una forma de destino deseada, manteniendo la coherencia semántica entre las dos. A continuación se presenta una descripción general del flujo de trabajo y la arquitectura del sistema.
Este enfoque se basa en el éxito de las recientes técnicas generativas guiadas por texto y NeRF (Neural Radiance Fields), pero no requiere datos de entrenamiento 3D. En su lugar, los autores usan renderizado diferenciable con codificadores de imagen pre-entrenados como CLIP para ajustar y optimizar la geometría de los objetos renderizados.
Después de la deformación, la estructura y las propiedades de la malla de origen se conservan y la geometría resultante se adhiere a las especificaciones del texto. Este trabajo se diferencia de los anteriores en el tipo de tarea que realiza el modelo. A diferencia de los trabajos guiados por texto anteriores que generan geometría desde cero o agregan detalles mientras conservan la geometría de la malla de entrada, TextDeformer se enfoca en la tarea de deformación.
En detalle, este marco está diseñado para modificar una forma de entrada existente para crear una geometría de alta calidad que refleje con precisión la malla de origen. Además, puede producir cambios de forma de baja frecuencia y detalles de alta frecuencia, como alargar el cuello de una vaca cuando se deforma en una jirafa o agregar escamas cuando se deforma en un caimán. Los autores insisten en que las correspondencias resultantes desde la forma de origen hasta el destino son continuas y semánticamente significativas (p. ej., “la pierna se deforma en pierna”) al colorear la malla de origen, que es visible en todas las visualizaciones.
Algunos ejemplos de los resultados producidos informados por los autores de este trabajo se ilustran en la siguiente figura. Además, esta figura incluye una comparación entre TextDeformer y el DreamFusion de última generación.
Este fue el resumen de TextDeformer, un nuevo marco de IA que permite una deformación de malla 3D guiada por texto precisa. Si está interesado, puede obtener más información sobre esta técnica en los enlaces a continuación.
