Estás leyendo la publicación: Campos de radiación neuronal transformados: este enfoque de IA puede extraer mallas 3D precisas de NeRF
Durante décadas, hemos imaginado un mundo digital donde podemos experimentar el mundo físico en todo su esplendor tridimensional, pero hasta hace poco, lograrlo ha sido un desafío importante. Si bien hemos podido comunicarnos con otros a través de llamadas, videos y fotos, estas experiencias se han limitado a una representación 2D de la realidad. Siempre hemos querido más: la capacidad de ver personas, objetos y lugares en 3D, para sumergirnos en el mundo que nos rodea. Sin embargo, la reconstrucción precisa de escenas y objetos en 3D ha sido una tarea compleja y desafiante, que requiere avances significativos en tecnología y métodos computacionales.
La reconstrucción precisa de escenas y objetos en 3D es un problema crucial en varios campos, como la robótica, la fotogrametría, AR/VR, etc. Recientemente, los campos de radiación neuronal (NeRF) han sido la solución de facto para la reconstrucción de escenas en 3D. Pueden sintetizar vistas novedosas con bastante precisión utilizando una representación 3D donde cada ubicación en el espacio puede emitir resplandor. Los impresionantes resultados de NeRF han llamado la atención en la literatura y ha habido numerosos intentos de mejorar su rendimiento.
La mayoría de los trabajos se han centrado en mejorar NeRF en términos de calidad de imagen, robustez, velocidad de entrenamiento y velocidad de renderizado. Sin embargo, hay un problema con estos trabajos; casi todos se centran en optimizar NeRF para la tarea de síntesis de vista novedosa (NVS). Por lo tanto, no podemos usarlos para obtener mallas 3D precisas a partir de campos de radiación, y es por eso que no podemos integrar directamente NeRF con la mayoría de las canalizaciones de gráficos por computadora.
¿Qué pasa si queremos extraer mallas geométricamente precisas de NeRF para que podamos integrarlas en canalizaciones de gráficos por computadora? ¿Cómo podemos extraer mallas 3D precisas de NeRF? hora de conocer Malla NeRF.
Malla NeRF está diseñado para extraer mallas geométricamente precisas de redes entrenadas basadas en NeRF de manera eficiente. Puede producir mallas 3D con geometría precisa que se pueden representar en tiempo real en hardware básico.
Malla NeRF se construye sobre redes NeRF entrenadas mediante la introducción de una nueva estructura llamada red de aproximación de superficie firmada (SSAN). SSAN actúa como una canalización de posprocesamiento que determina la superficie y la apariencia de un render NeRF. Genera una malla triangular 3D precisa de la escena y emplea una pequeña red de apariencia para generar colores dependientes de la vista. Malla NeRF es compatible con cualquier NeRF y permite una fácil integración de nuevos desarrollos, como un mejor manejo de escenas ilimitadas u objetos reflectantes.
SSAN calcula un campo de distancia con signo truncado (TSDF) y un campo de apariencia de entidad. Al utilizar la geometría estimada de NeRF y las vistas de entrenamiento, el NeRF entrenado se destila en el modelo SSAN. Luego, la malla 3D se extrae del SSAN y se puede renderizar en dispositivos integrados mediante la rasterización y la red de apariencia a una alta velocidad de fotogramas. Este método es muy flexible, lo que permite una generación rápida de mallas 3D que no se limita a escenas centradas en objetos e incluso puede modelar superficies complejas.
Malla NeRF es un método novedoso para capturar mallas 3D precisas de NeRF. Se puede integrar en cualquier red NeRF existente, lo que permite utilizar los avances en NeRF. Con este avance, ahora podemos extraer mallas 3D precisas de NeRF, que se pueden usar en varios campos, como AR/VR, robótica y fotogrametría.
