Estás leyendo la publicación: Volar un dron en un mundo virtual: este modelo de IA puede generar mundos 3D persistentes e ilimitados
¿Has oído hablar de MidJourney, Stable Diffusion o DALL-E? Probablemente lo hizo si estuvo prestando atención al dominio de IA recientemente. Estos modelos de IA son capaces de generar imágenes extremadamente realistas que pueden ser difíciles de identificar de las generadas por humanos la mayor parte del tiempo. Ahora es posible lograr niveles notables de realismo con imágenes y videos generados por IA.
Es posible generar una imagen fotorrealista; lo sabemos. Pero, ¿y si quisiéramos hacer más? ¿Qué pasaría si realmente quisiéramos estar en la imagen? Este es un mundo virtual, y explorarlo libremente habría sido una experiencia increíble. Imagínese volando un dron a través de un impresionante mundo virtual donde los ríos brotan libremente, las majestuosas montañas se elevan y los árboles se balancean con gracia con el viento. La experiencia es poco menos que extraordinaria, ¿no? hora de conocer Naturaleza persistente.
Naturaleza persistente es un modelo generativo incondicional capaz de generar escenas 3D ilimitadas con una representación persistente del mundo subyacente.
Naturaleza persistente se basa en los avances en dos campos que se centran en mundos inmersivos; Modelos 3D e infinitos modelos de video. Los modelos 3D representan un mundo 3D consistente por construcción y sobresalen en la representación de objetos aislados, aunque están limitados a escenas interiores. Naturaleza persistente elimina esa limitación y aborda el problema de generar escenas naturales ilimitadas a gran escala. Por otro lado, los modelos de video infinitivos existentes pueden simular mundos visuales de extensión infinita, pero no aseguran una representación persistente del mundo, lo cual se resuelve mediante Naturaleza persistente.
La tarea consiste básicamente en mover una cámara virtual en un mundo virtual, aunque no es fácil de lograr. El contenido debe generarse a medida que movemos la cámara, y debemos asegurar la coherencia espacial y temporal. Si no se cumple, la salida generada puede parecer un sueño en el que las cosas se mueven de manera extraña y no es algo que queremos. Además, el contenido generado debe permanecer igual a medida que nos alejamos arbitrariamente y volvemos a la misma ubicación, independientemente de la trayectoria de la cámara.
Para lograr una generación persistente de la naturaleza, el enfoque propuesto modela el mundo 3D como un terreno más un domo celeste. El terreno está representado por una cuadrícula de diseño de escena que actúa como un mapa del paisaje. Luego, estas características se elevan a 3D y se decodifican con un MLP en un campo de radiación para la representación de volumen. Las imágenes renderizadas del terreno se amplían a través de superresolución y se componen con renderizaciones del modelo skydome para sintetizar las imágenes finales.
Otro aspecto crucial de la generación persistente es ampliar la escena. No es factible entrenar el modelo utilizando todo el paisaje. Por lo tanto, entrenan al modelo utilizando una cuadrícula de diseño de tamaño limitado y amplían la escena en cualquier cantidad durante la inferencia. Esto permite trayectorias de cámara ilimitadas. Además, dado que la representación subyacente es persistente en el espacio y el tiempo, es posible volar alrededor de paisajes 3D sin necesidad de datos de vista múltiple. Naturaleza persistente se puede entrenar completamente a partir de fotos de paisajes de una sola vista con poses de cámara desconocidas.
Persistent Nature tiene como objetivo combinar lo mejor de ambos mundos, generando escenas sin límites y al mismo tiempo representando un mundo 3D persistente. Es un modelo generativo 3D incondicional para escenas de naturaleza ilimitadas con una representación persistente del mundo.
