Estás leyendo la publicación: Este documento de IA presenta PaletteNeRF, un método novedoso para la edición de apariencia fotorrealista de campos de radiación neuronal (Neural Radiance Fields, NeRF) basado en la descomposición de color 3D
La capacidad de Neural Radiance Fields (NeRF) y sus derivados para recrear con precisión escenas 3D del mundo real a partir de fotos 2D y permitir la síntesis de nuevas vistas fotorrealistas de alta calidad ha ganado cada vez más interés en los últimos años. Sin embargo, como la apariencia de la escena se registra implícitamente en las características neuronales y los pesos de la red que no permiten la manipulación local o la alteración intuitiva, tales representaciones volumétricas son difíciles de modificar. Varios métodos han apoyado la edición de NeRF. Un grupo de técnicas recupera las cualidades materiales de la escena para que puedan ser alteradas, como la rugosidad de la superficie, o renderizadas nuevamente en nuevas circunstancias de iluminación.
Dichas técnicas dependen de una evaluación precisa de la reflectancia de la escena, lo que suele ser difícil para imágenes complicadas del mundo real tomadas en un entorno abierto. Otra clase de métodos consiste en descubrir un código latente que se puede entrenar a NeRF para lograr el aspecto deseado. Sin embargo, estas técnicas no ofrecen una edición detallada y, con frecuencia, tienen una capacidad y flexibilidad limitadas. Además, mientras que otros métodos pueden adaptar el aspecto de NeRF para adaptarse a un cierto tipo de imagen, en ocasiones no logran preservar la misma cantidad de fotorrealismo en la escena original. Sugieren PaletteNeRF en este trabajo como una forma innovadora de facilitar la edición flexible y sencilla de NeRF.
Su enfoque está influenciado por técnicas anteriores para la edición de imágenes que empleaban paletas de colores, que utilizan una selección condensada de matices para representar el espectro completo de sombras en una imagen. Combinan componentes especulares y difusos para describir el brillo de cada punto, y además dividen el componente difuso en una combinación lineal de bases de color comunes independientes de la vista. Para reducir la disparidad entre las imágenes producidas y las imágenes reales del terreno, optimizan conjuntamente el componente especular por punto, las bases de color globales y los pesos lineales por punto durante el entrenamiento.
Para promover la dispersión y la coherencia espacial de la descomposición y crear una agrupación más significativa, también aplican regularizadores únicos en los pesos. Al alterar libremente las bases de color enseñadas, los estudiantes pueden ajustar intuitivamente el aspecto de NeRF con el marco sugerido (Fig. 1). Además, demuestran cómo se puede usar su sistema junto con funciones semánticas para proporcionar edición semántica. Su técnica ofrece resultados de cambio de color de la escena más globalmente coherentes y consistentes en 3D a través de puntos de vista arbitrarios que las técnicas anteriores de edición de imágenes o videos basadas en paletas. Muestran que su enfoque supera numérica y subjetivamente los enfoques de referencia, lo que permite una modificación de color local más precisa mientras mantiene fielmente el fotorrealismo de la escena 3D.
En resumen,
• Ofrecen un marco único para facilitar la alteración de NeRF al descomponer el campo de radiación en una mezcla ponderada de bases de color aprendidas.
• Para producir descomposiciones intuitivas, idearon una técnica de optimización confiable usando regularizadores únicos.
• Su método permite una personalización realista de la apariencia basada en paletas, lo que permite que incluso los usuarios sin experiencia interactúen con NeRF de una manera sencilla y manejable en hardware común.
