Estás leyendo la publicación: Investigadores de Disney han desarrollado una herramienta de inteligencia artificial (IA) que instantáneamente hace que un actor parezca más joven o más viejo en una escena
Existe una tendencia creciente en las industrias del entretenimiento y la publicidad a utilizar el envejecimiento digital fotorrealista de rostros en video. Sin embargo, incluso para pintores experimentados, el enfoque de pintura 2D estándar puede implicar horas o incluso días de tedioso trabajo manual cuadro por cuadro. Aunque los estudios sobre el envejecimiento de imágenes faciales han intentado automatizar la respuesta a este problema, las metodologías actuales podrían ser más efectivas debido a problemas que incluyen la pérdida de identidad facial, baja resolución y resultados inconsistentes en muchos cuadros de video.
Para demostrar el potencial de la inteligencia artificial en metraje que cambia de forma fotorrealista, los investigadores de Disney han presentado un dispositivo revolucionario que cambia la edad y que puede hacer que un actor parezca convincentemente mayor o más joven sin semanas de costosa mano de obra CGI especializada.
Métodos propuestos
El departamento de I+D de Disney ha desarrollado un sistema de inteligencia artificial para alterar la edad de un actor en una escena determinada. Para garantizar que el resultado sea lo más realista posible, los artistas aún pueden hacer ajustes a mano, pero la herramienta de IA podría hacer gran parte del trabajo por ellos. Se cree que la IA no tarda más de cinco segundos en completar los efectos de envejecimiento de un cuadro individual. Los investigadores de Disney desarrollaron FRAN (que significa face re-aging network) como una red neuronal entrenada usando una gran base de datos que contiene pares de rostros sintéticos generados al azar en diferentes edades para evitar la necesidad de encontrar miles de imágenes de personas reales en diferentes (documentadas) edades que representan la misma expresión facial, pose, iluminación y fondo.
La síntesis de datos de envejecimiento longitudinal de alta calidad es otra técnica utilizada para efectos visuales de envejecimiento facial con FRAN. La idea básica aquí es idear un método para evitar el desafío aparentemente imposible de recopilar anotaciones. Estas colecciones de imágenes longitudinales muestran a personas de diversas edades, razas y géneros desde varios ángulos. El objetivo es producir varios pares de imágenes de entrada y salida que muestren la misma identidad (arbitraria) en dos edades distintas con expresión facial, postura, iluminación y fondo consistentes.
¿Como funciona?
Los investigadores se tomaron el tiempo para adaptar el diseño arquitectónico probado y verdadero de U-Net para FRAN a fin de mejorar la calidad de la traducción y el control del envejecimiento, dado el problema de la traducción de imagen a imagen. Utilizando pérdidas L1, perceptivas y adversarias durante el entrenamiento, FRAN se construye a partir de datos sintéticos emparejados. A cada píxel de la imagen que se va a volver a envejecer se le asigna una edad de entrada y salida en forma de un mapa de edad de un solo canal, que FRAN recibe como parte del tensor de 5 canales que constituye la entrada a FRAN. Para construir la imagen final re-envejecida, U-Net predice deltas (compensaciones) RGB por píxel que se superponen a la imagen original. La red puede anticipar la salida de envejecimiento como compensaciones RGB en la parte superior de la imagen de entrada, lo que evita una pérdida grave de la identidad de entrada en lugar de aprender a producir rostros de múltiples identidades bajo diversas expresiones, vistas e iluminación. La buena consistencia temporal en la salida de FRAN es un subproducto natural de la suavidad de los cuadros de video de entrada a lo largo del tiempo. Estas características trabajan juntas para crear FRAN, un método ideal y listo para la producción para ajustar las edades de los rostros de las personas en los videos.
Resultados de rendimiento
- La aplicación de FRAN en cuadros de video produce resultados confiables de envejecimiento y puede adaptarse con fluidez a los cambios en la actitud de la cabeza, la iluminación y la profundidad de campo.
- FRAN vuelve a envejecer de manera confiable y convincente las imágenes suministradas mientras preserva la identidad del objetivo. Al mirar la línea de tiempo, el proceso de envejecimiento es continuo y lineal.
- Comparado con HRFAE, cuyos resultados revelan una atenuación considerable del detalle de la piel, FRAN es superior en la preservación de la identificación de entrada y el detalle específico de la piel de la persona dada.
- Las fotografías del mundo real funcionan casi tan bien como las simuladas para el procesamiento de FRAN.
No se prevé que FRAN desplace muchos trabajos de la industria durante bastante tiempo dado que el trabajo manual de VFX e incluso la aplicación real de maquillaje protésico no tienen estas limitaciones. Sin embargo, existen algunas limitaciones, y estudios como este rara vez son novedosos. Disney descubrió que FRAN no era ideal para cambios drásticos como volver a envejecer desde y hacia edades extremadamente tempranas y que el encanecimiento del cabello del cuero cabelludo no se reflejaba cuando un actor envejecía, ya que no estaba incluido en el conjunto de datos utilizado para entrenar al actor. herramienta.
Cookies no necesarias para ver el contenido.” data-cli-src=”https://www.youtube.com/embed/ZP1ApcdyAjk?version=3&rel=1&showsearch=0&showinfo=1&iv_load_policy=1&fs=1&hl=en-US&autohide=2&start= 1&wmode=transparent” allowfullscreen=”true” style=”border:0;” sandbox=”allow-scripts allow-mismo-origin allow-popups allow-presentation”>
En resumen
Hay varios beneficios al simplificar los efectos visuales, incluida la reducción de la carga de trabajo de los artistas que ya están sobrecargados de trabajo y mal pagados, y poner las herramientas a disposición de los cineastas que no tienen presupuestos del tamaño de Hollywood. Incluso para grandes estudios, la capacidad de automatizar este trabajo tiene una motivación comercial. Como resultado, empresas como Disney financian estudios destinados a mejorar el estado del arte de los efectos visuales; En los últimos años, algunos de estos estudios se han centrado en cómo la IA puede agilizar el proceso.
Disney tiene muchas justificaciones para querer crear un dispositivo de este tipo. Podría ayudar a los artistas de efectos visuales a ahorrar tiempo al reducir el trabajo que deben realizar en sus proyectos. Podría ayudar a mantener bajo control los crecientes costos de producción y ayudar a las películas de bajo presupuesto a envejecer artificialmente a sus actores. Los resultados del uso de redes neuronales y ML para envejecer o reducir el envejecimiento de una persona son lo suficientemente convincentes cuando se aplican a imágenes fijas. Aún así, están lejos de ser fotorrealistas cuando se aplican a videos en movimiento, con artefactos temporales que ocurren y desaparecen de un cuadro a otro y la apariencia de una persona a veces se vuelve irreconocible mientras se reproduce el video alterado. Estos cientos de personas ficticias envejecieron y volvieron a envejecer utilizando métodos de envejecimiento de aprendizaje automático preexistentes. Los datos resultantes se utilizaron para entrenar una nueva red neuronal denominada FRAN (red de envejecimiento facial).
