Estás leyendo la publicación: RecolorNeRF: un novedoso enfoque de edición de color fácil de usar para el campo Neural Radiance
Los campos de radiación neuronal (Neural Radiance Fields, NeRF) son una potente representación de escenas en 3D, lo que hace posible que algún día reemplacen a las fotos y películas como un nuevo tipo de medio. Apoyar la edición de esta nueva representación es esencial para lograr este objetivo. Publicaciones recientes sobre el tema han explorado la edición de NeRF en términos de deformación geométrica, edición de apariencia y transferencia de estilo, entre otras cosas. Recoloring es la edición de apariencia que a menudo implica ajustar ciertos tonos de color en una escena para mejorar o corregir. Este proceso es crucial para el proceso de hacer películas. En el ejemplo de la Fig. 1, el automóvil rojo se puede cambiar a uno azul de manera fotorrealista utilizando una edición de cambio de color.
La edición de color basada en paletas (PCE), uno de los métodos para cambiar el color de una imagen actualmente en uso, ofrece los medios de interacción más fluidos. PCE implica estos tres pasos esenciales: 1) Extracción de una paleta. El primer paso es elegir un grupo de colores representativos y crear una paleta basada en el paisaje. 2) Descomposición de capas. Especifican una capa de imagen coincidente con un valor de color uniforme para cada elemento de la paleta. El objetivo principal de esta etapa es elegir el mejor método para mezclar estas capas para recrear la imagen original. Edición en color. Al cambiar el color de cada capa, la escena se puede volver a colorear de forma natural en función de los dos procesos anteriores.
Tan y sus colegas presentaron una técnica de simplificación de casco convexo para la extracción de paletas como uno de los enfoques SOTA de PCE para imágenes. La descomposición de capas se expresa luego como un problema de optimización usando la paleta adquirida. La suposición de la escasez de los pesos combinados hace que el problema sea manejable. En este estudio, presentaron una técnica completamente nueva llamada RecolorNeRF que, según su conocimiento, es el primer intento de utilizar una paleta completamente aprendible para la descomposición de capas en PCE fotorrealista para la representación NeRF. Aunque PosterNeRF ha experimentado con el cambio de color de NeRF basado en una paleta, los resultados podrían ser más realistas ya que el ajuste de color solo se puede habilitar después de la posterización. Como es bien sabido, las imágenes multivista se utilizan con frecuencia para reconstruir el NeRF de una escena.
Por lo tanto, otra forma posible de realizar PCE de NeRF es extraer paletas de los píxeles en todas las imágenes de entrada, siguiendo el método de, y luego realizando la descomposición de capas y la edición de color para cada vista renderizada del NeRF previamente entrenado. Aunque es fácil de implementar, esta estrategia adolece de tres problemas principales: primero, el cambio de color de esta manera se convierte en un procesamiento posterior de la representación NeRF, lo que genera costos computacionales elevados. En segundo lugar, como cada vista se procesa de forma independiente, los resultados necesitan más consistencia de vista. En tercer lugar, la extracción de la paleta se logra mediante un método heurístico, lo que puede hacer que el color de la paleta sea menos representativo y que la descomposición de la capa no sea lo suficientemente limpia, lo que interfiere con la manipulación del color. Su sugerencia principal es mejorar la paleta, los pesos de combinación de capas y los campos de radiación volumétrica en un solo marco para abordar los problemas mencionados anteriormente. Luego emplean una composición “sobre” para lidiar con escenarios complejos como la formulación de la imagen final. Específicamente, se utiliza la combinación alfa de una colección de capas ordenadas, cada una correspondiente a un peso alfa, para representar cada píxel. Luego, para cada capa, construyen un campo alfa volumétrico que, al igual que el campo de radiación, también puede representarse mediante un MLP. Tenga en cuenta que los diferentes niveles emplean varios MLP. Por lo tanto, necesitan optimizar conjuntamente los MLP para el campo de densidad y los MLP para los pesos de mezcla.
Como es bien sabido, cada uno de los primeros sistemas PCE realizaba la extracción de paletas de forma individual. El primer intento de optimizar la paleta es lo que han ofrecido. Se presentan dos diseños novedosos para ayudar con el problema de optimización conjunta: 1) Se propone una regularización innovadora de casco convexo para permitir que una paleta de colores limitada represente fielmente toda la escena. 2) Por lo general, se emplean esparcimientos en los pesos de mezcla para hacer que el color de la paleta sea más realista. La restricción de escasez recibe un mecanismo único de ponderación consciente del orden para mejorar la capacidad de simular situaciones complicadas. RecolorNeRF puede crear imágenes fotorrealistas con esquemas de color ajustables y deconstruir sólidamente la representación implícita, según los experimentos. Hasta donde saben, son los primeros en considerar la optimización conjunta de la paleta y los pesos de mezcla alfa, para lo cual se diseñó una novedosa regulación de casco convexo para que sea solucionable. Todo el marco RecolorNeRF está cuidadosamente diseñado, lo que permite que la edición de color de la representación NeRF se realice de manera fotorrealista utilizando una paleta totalmente aprendible para la descomposición de capas. El código aún no se ha publicado, pero se puede encontrar una demostración en video en el sitio web del proyecto.
