Estás leyendo la publicación: Este documento de inteligencia artificial (IA) propone un NERF climático que permite a las personas visualizar qué efectos les provocarán los cambios climáticos
Los investigadores ofrecen un método único que combina simulaciones físicas con modelos NeRF de los escenarios para crear películas realistas de los sucesos físicos en esas situaciones. Utilizan su metodología para desarrollar modelos interesantes de los efectos del cambio climático, como el aspecto que tendrá el patio de recreo después de una pequeña inundación. ¿Una inundación severa? ¿Una tormenta de nieve? al aplicar, una cuestión esencial es a qué se dirige ClimateNeRF. La mayoría de las personas se esfuerzan por imaginar los efectos del cambio climático sobre ellas y les resulta difícil razonar sobre pequeños cambios acumulativos. Hay costos inmediatos y ventajas a largo plazo asociados con la reducción de las emisiones de CO2, como reducir el consumo de combustibles fósiles, o que moderan las consecuencias, como la construcción de sistemas de control de inundaciones. Si uno no puede visualizar los resultados de tales acciones, no es fácil apoyarlas.
Demuestran cómo combinar simulaciones físicas, que producen excelentes pronósticos de impactos meteorológicos pero solo fotos promedio, con campos de radiación neuronal, que producen modelos de escenas SOTA pero, hasta donde saben, nunca se han combinado con simulaciones físicas. Los modelos físicos tradicionales pueden proporcionar efectos meteorológicos realistas para configuraciones 3D en una tubería de gráficos típica. Sin embargo, estas técnicas funcionan con modelos de polígonos estándar. La construcción de modelos de polígonos que generan representaciones interesantes a partir de una pequeña cantidad de imágenes de escenas sigue siendo difícil. Los campos de radiación neuronal (NeRF) usan una pequeña cantidad de fotos para crear representaciones de escenas en 3D realistas. Su enfoque se basa en un cuerpo considerable de investigación sobre la alteración de estos modelos, resumido aquí.
Podemos crear efectos meteorológicos realistas, como smog, nieve e inundaciones, gracias a ClimateNeRF. Como resultado de la consistencia de estos efectos en todos los fotogramas, se producen películas fascinantes. En un alto nivel, nosotros:
- Modifique las imágenes de la escena para reflejar los efectos físicos generales.
- Cree un modelo NeRF de la escena a partir de esas fotos modificadas.
- Encuentre una representación geométrica aproximada.
- Aplicar la simulación física en esa geometría.
- Finalmente, renderice utilizando un trazador de rayos único.
Las fotos deben ser ajustadas. Por ejemplo, en invierno, los árboles a menudo tienen imágenes menos vívidas. Logran estos impactos globales sin alterar la geometría de la escena utilizando una técnica de transferencia de estilo única dentro de un marco NGP.
Su trazador de rayos tiene en cuenta cuidadosamente los efectos de los rayos mientras se renderiza para combinar los modelos físicos y NeRF. Una alta densidad de NeRF puede ser lo primero que encuentre un rayo ocular (devolviendo el resultado esperado), o podría impactar en una superficie de agua implantada (y así reflejarse para consultar el modelo nuevamente). Utilizan una variedad de escenarios 3D de los conjuntos de datos Tanks and Temple, MipNeRF360 y KITTI-360 para mostrar la utilidad de ClimateNeRF. Compararon técnicas de alteración de imágenes 2D de vanguardia, incluida la pintura de difusión estable, ClimateGAN y la estilización avanzada 3D NeRF.
Los resultados de sus simulaciones son mucho más realistas que los de otras metodologías de la competencia, según evaluaciones tanto cualitativas como cuantitativas. También muestran que sus técnicas inspiradas físicamente son controlables al alterar el nivel del agua, la velocidad del viento, la dirección y la cantidad de nieve y contaminación allí. Su método produce un atractivo fotorrealismo (ya que la escena es una representación NeRF), consistencia visual (para que puedan construir películas, lo cual es difícil de lograr con la síntesis cuadro por cuadro) y es programable (porque pueden ajustar parámetros físicamente significativos en la simulación). Los resultados son fotorrealistas, físicamente creíbles y temporalmente consistentes, como se ve en la figura a continuación. El código se publicará pronto en GitHub. Aparte de esto, el sitio web muestra demostraciones en video de ClimateNERF.
Revisar la Papel y Proyecto. Todo el crédito de esta investigación es para los investigadores de este proyecto. Además, no olvides unirte nuestra página de Reddit y canal de discordiadonde compartimos las últimas noticias de investigación de IA, interesantes proyectos de IA y más.
Echa un vistazo a https://aitoolsclub.com para encontrar 100 de Cool AI Tools
