Estás leyendo la publicación: Conozca Inpaint Anything (IA): una herramienta de IA versátil que combina las capacidades de eliminar cualquier cosa, rellenar cualquier cosa y reemplazar cualquier cosa
¿Alguna vez ha tomado una fotografía solo para descubrir que algo en el fondo arruinó la toma? O sin darse cuenta destruyó una sección de una imagen que ahora necesita restaurar con urgencia. Repintar es una técnica común en la edición y restauración de imágenes digitales, y se han creado varias herramientas de software para hacer que el proceso sea más rápido y eficiente. Estos programas analizan las áreas circundantes de una sección de imagen dañada o faltante y luego llenan el espacio de manera inteligente para producir una imagen coherente. Repintar rellena las áreas de la imagen que faltan o están dañadas, lo que da como resultado resultados uniformes y de apariencia natural.
En general, volver a pintar es una técnica poderosa que potencialmente puede restaurar y mejorar nuestras imágenes de formas previamente imaginadas. Ahora es más accesible que nunca debido a la disponibilidad de capacidades informáticas avanzadas y sus aplicaciones se están expandiendo. Investigadores de la Universidad de Ciencia y Tecnología de China y el Instituto Oriental de Estudios Avanzados hacen el primer esfuerzo para pintar imágenes sin máscaras y sugieren un nuevo paradigma de “hacer clic y rellenar”, al que llaman Inpaint Anything (IA).
¿Por qué se necesitaba una nueva herramienta como Inpaint Anything?
• Los esfuerzos de pintura de imágenes de última generación (SOTA), como LaMa, Repaint, MAT, ZITS y otros, han logrado un desarrollo significativo. Pueden pintar áreas enormes, operar bien con estructuras repetitivas complicadas y generalizar bien a imágenes de alta resolución. Sin embargo, a menudo necesitan anotaciones detalladas para cada máscara, que son necesarias para el entrenamiento y la inferencia.
• El modelo Segment Anything (SAM) proporciona una sólida base de segmentación mediante la generación de máscaras de objetos de alta calidad a partir de indicaciones de entrada como puntos o cuadros. Se puede utilizar para crear máscaras detalladas y precisas para todos los elementos de una imagen. Sin embargo, sus predicciones de segmentación de máscaras no se han explorado adecuadamente.
• Además, los algoritmos de pintura actuales solo pueden reemplazar la región extirpada con contexto. Los modelos AIGC brindan nuevas opciones para la creatividad, con la capacidad de satisfacer una gran demanda y ayudar a las personas a crear material nuevo.
• Como resultado, al combinar los beneficios de SAM, los pintores de imágenes SOTA y los modelos de contenido generado por IA (AIGC), crean una canalización robusta y fácil de usar para manejar desafíos más generales relacionados con la pintura, como la eliminación de objetos, contenido nuevo relleno y reemplazo de telón de fondo.
¿Qué puede hacer Inpaint Anything?
• Inpainters SAM + SOTA para eliminar cualquier cosa: Los usuarios de IA pueden eliminar rápidamente ciertos elementos de la interfaz haciendo clic en ellos. Además, IA permite a los usuarios llenar el “agujero” resultante con datos contextuales. Usan las habilidades de SAM y algunos Inpainters de SOTA, como LaMa, para lograr este objetivo. Después de mejorar manualmente a través de la corrosión y la dilatación, las predicciones de máscara proporcionadas por SAM sirven como entrada para los modelos de pintura interna, ofreciendo señales inequívocas para que las partes del objeto se borren y rellenen.
• Llenar o reemplazar cualquier cosa utilizando modelos SAM + AIGC:
(1) Después de la eliminación de elementos, IA brinda a los usuarios la opción de llenar el “agujero” resultante con datos contextuales o “contenido nuevo”. Se utiliza un modelo robusto de contenido generado por IA (AIGC), como Stable Diffusion, para producir nuevos elementos a través de mensajes de texto. Por ejemplo, los usuarios pueden usar la palabra “perro” o una declaración como “un lindo perro, sentado en el banco” para producir un nuevo perro con el que llenar el hueco.
(2) los usuarios también pueden utilizar IA para mantener el elemento en el que se hizo clic y reemplazar el fondo restante con la escena recién producida. Este procedimiento de reemplazo de escena IA le permite solicitar modelos AIGC en una variedad de formas, por ejemplo, mostrando una imagen diferente como una señal visual o una leyenda breve como un mensaje de texto. Los usuarios pueden, por ejemplo, conservar al perro en una fotografía mientras reemplazan el entorno interior original por uno exterior.
El código fuente completo se puede encontrar en GitHub, junto con las instrucciones para usar la herramienta.
