Estás leyendo la publicación: Representación neuronal basada en puntos con catacáusticos de puntos neuronales para un flujo de reflexión de punto de vista libre interactivo
La calidad visual de las técnicas de renderizado neuronal recientes es excepcional cuando se utilizan para el renderizado de escenas grabadas con puntos de vista libres. Tales escenas frecuentemente tienen efectos significativos de alta frecuencia dependientes de la vista, como reflejos de objetos brillantes, que se pueden modelar en una de dos formas fundamentalmente diferentes: usando un enfoque Euleriano, donde toman en cuenta una representación fija de reflejos y modelan direccionalmente. variación en apariencia, o usando una solución Lagrangiana, donde siguen el flujo de reflejos a medida que el observador se mueve. Al emplear renderizado volumétrico costoso o renderizado basado en malla, la mayoría de las técnicas anteriores adoptan el primero al codificar el color en puntos fijos en función de la ubicación y la dirección de la vista.
En su lugar, su sistema utiliza un campo warp neuronal para aprender directamente el flujo de reflexión en función de la perspectiva, utilizando efectivamente un enfoque lagrangiano. Su técnica de representación neuronal basada en puntos hace posible su representación interactiva, lo que naturalmente permite que el campo neuronal doble los puntos de reflexión. Debido a que con frecuencia combinan marchas de rayos volumétricas lentas con consultas dependientes de la vista para representar reflejos (relativamente) de alta frecuencia, los métodos anteriores a veces incluyen un compromiso inherente entre la calidad y el rendimiento. Las opciones de aproximación rápida comprometen la claridad y la nitidez del reflejo al tiempo que sacrifican la resolución angular. En general, estas técnicas crean una geometría reflejada detrás del reflector modelando la densidad y el color dependiente de la vista parametrizado por la dirección de la vista usando un perceptrón multicapa (MLP). Cuando se combina con la marcha de rayos volumétricos, esto produce con frecuencia un aspecto “brumoso”, que pierde claridad precisa en los reflejos.
Incluso si una solución reciente mejora la efectividad de tales técnicas, la representación volumétrica aún debe mejorarse. Además, el uso de tales técnicas dificulta la alteración de escenas con reflejos. El sesgo hacia las bajas frecuencias en los campos de radiación neuronal implícitos basados en MLP que evitan al utilizar un método Lagrangiano basado en puntos perdura incluso cuando se utilizan otras codificaciones y parametrizaciones. Su estrategia brinda dos beneficios adicionales: dado que hay menos costos durante la inferencia, es posible la representación interactiva y la modificación de la escena es simple gracias a la representación directa. Primero extraen una nube de puntos de un conjunto de datos de vistas múltiples utilizando técnicas típicas de reconstrucción en 3D. Luego de un rápido paso manual para construir una máscara reflectora en tres o cuatro imágenes, optimizan dos nubes de puntos distintas con características adicionales de alta dimensión.
La nube de puntos principal, estática durante todo el renderizado, representa el componente de escena mayormente difuso. En contraste, la segunda nube de puntos de reflexión, cuyos puntos son movidos por el campo warp neuronal aprendido, representa los efectos de reflexión altamente dependientes de la vista. Durante el entrenamiento, las características de huella y opacidad que llevan los puntos también se ajustan para su posición. La imagen final se crea rasterizando e interpretando las características aprendidas de las nubes de dos puntos utilizando un renderizador neuronal. Están inspirados en los fundamentos teóricos de la óptica geométrica de los reflectores curvos, que demuestran cómo los reflejos de un objeto curvo se mueven sobre superficies catacáusticas, produciendo con frecuencia flujos de reflexión erráticos y de movimiento rápido.
Desarrollan un campo de flujo que llaman Neural Point Catacaustics al entrenarlo para aprender estas trayectorias, lo que permite la representación neuronal interactiva de punto de vista libre. Es importante destacar que la claridad de su representación basada en puntos facilita la manipulación de escenas que contienen reflejos, como modificar reflejos o clonar objetos reflectantes. Antes de presentar su método, establecen la base geométrica del flujo de reflexión complicado para reflectores curvos. Luego proporcionan las siguientes contribuciones:
• Una representación de escena directa novedosa para renderizado neuronal que incluye una nube de puntos principal con parámetros optimizados para representar el contenido restante de la escena y una nube de puntos de reflexión separada que es desplazada por un campo warp neuronal de reflexión que aprende a calcular catacáusticos de puntos neuronales.
• Un campo warp neuronal que aprende cómo la perspectiva afecta el desplazamiento de los puntos reflejados. El entrenamiento regular de su método de extremo a extremo, incluido este campo, requiere una parametrización e inicialización cuidadosas, un movimiento progresivo y una densificación de puntos.
• También presentan un algoritmo de renderizado neural interactivo general que logra una alta calidad para el resplandor difuso y dependiente de la vista de una escena, lo que permite la navegación de punto de vista libre en escenas capturadas y el renderizado interactivo.
Utilizan varias escenas capturadas para ilustrar su método y demostrar su superioridad con respecto a técnicas anteriores de representación neuronal para reflejos de objetos curvos en términos cuantitativos y cualitativos. Este método permite una rápida representación y manipulación de dichas escenas, como la edición de reflejos, la clonación de objetos reflectantes o la localización de correspondencias de reflejos en imágenes de entrada.
