Estás leyendo la publicación: Investigadores de Adobe presentan un marco de trabajo de IA que permite entrenar una red neuronal para aprender una información previa basada en datos para la segmentación de malla con detección de distorsiones
La extracción de un parche de superficie considerable que rodea un punto que se puede mapear con precisión en el plano 2D es necesaria para muchos flujos de trabajo interactivos como calcomanías, texturas o pintura en un modelo 3D. Debido a que son intrínsecamente interactivos con el usuario, pueden lograr una menor distorsión que sus equivalentes globales y son computacionalmente más efectivos, las parametrizaciones locales son deseables en algunos contextos de modelado. Pero hasta ahora, los métodos para encontrar parches de superficie que se pueden parametrizar localmente han dependido principalmente de algoritmos que logran un equilibrio entre la compacidad, el tamaño del parche y los antecedentes de capacidad de desarrollo. Este estudio se enfoca en segmentar una pequeña subregión alrededor de un punto de interés en una malla para la parametrización en lugar de técnicas de parametrización global que asignan toda la malla a 2D mientras se introducen la menor cantidad de cortes posible.
En cambio, en este estudio se aprenden las segmentaciones locales conscientes de la distorsión que son mejores para la parametrización local utilizando una metodología basada en datos. Su sistema sugerido predice un parche que rodea un punto y el mapa UV que lo acompaña utilizando una capa de parametrización diferenciable única. Esto permite el entrenamiento autosupervisado, lo que nos permite evitar la escasez de conjuntos de datos etiquetados con parametrización al alentar a su red a pronosticar parches que maximizan el área y minimizan la distorsión a través de una secuencia de datos previos adecuadamente diseñados. Su enfoque, al que llaman Distortion-Aware Wand (DA Wand), produce probabilidades de segmentación suaves a partir de una malla de entrada y una selección triangular inicial. Al crear una variante ponderada de la técnica de parametrización tradicional LSCM, a la que se refieren como wLSCM, incluyen estas probabilidades en su capa de parametrización.
De esta adaptación resulta una parametrización guiada por probabilidad, sobre la cual se puede calcular la energía de distorsión para permitir un entrenamiento autosupervisado. Muestran la relación directa entre las probabilidades y la segmentación binaria en el contexto de parametrización al demostrar la teoría de que el mapa UV de wLSCM converge en el mapa UV de LSCM cuando las probabilidades blandas convergen en una máscara de segmentación binaria. Como la distorsión UV aumenta de forma monótona con el tamaño del parche, reducir la distorsión del mapa UV y aumentar el área de segmentación son objetivos competitivos. Logran estos objetivos en armonía mediante la creación de una pérdida de distorsión con umbral única que penaliza los triángulos con distorsión por encima de un umbral especificado por el usuario. La simple adición de estos objetivos da como resultado una optimización deficiente con mínimos locales no deseados.
Crean un conjunto de datos de segmentación completamente nuevo que es casi desarrollable, junto con una técnica de creación automatizada que se puede usar de inmediato y entrenar previamente para establecer los pesos de su red de segmentación. Luego, la red se entrena de extremo a extremo utilizando su capa de parametrización con antecedentes de distorsión y compacidad en un conjunto de datos de formas naturales sin etiquetar. Utilizan una red troncal de MeshCNN para aprender directamente de la triangulación de los datos de entrada, lo que permite la sensibilidad a las características nítidas y un gran campo receptivo que permite la expansión de parches. Además, su enfoque mantiene la invariancia de transformación rígida mediante el uso de propiedades de malla intrínsecas como entrada. Además, promueven la compacidad mediante el uso de una pérdida de suavidad modelada según la técnica de cortes gráficos.
Un usuario puede elegir de forma interactiva un triángulo en la malla utilizando DA Wand para obtener una región considerable y significativa alrededor de la selección que se puede parametrizar con UV con poca distorsión. A diferencia de los enfoques heurísticos actuales, que se detienen en los límites de las zonas de alta curvatura, demuestran que la red neuronal puede prolongar la segmentación con la menor cantidad de ganancia de distorsión. Su enfoque supera a los enfoques de la competencia al producir una segmentación condicionada por el usuario a velocidades interactivas. En la Figura 1 anterior, se muestra una aplicación atractiva e interactiva del DA Wand en la que varias áreas de la malla del sombrero clasificador se seleccionan y etiquetan sucesivamente. El código del marco está disponible gratuitamente en GitHub.
