Probé las nuevas herramientas de inteligencia artificial de Adobe: Firefly y Relleno generativo. Aquí hay algunos hallazgos interesantes

Estás leyendo la publicación: Probé las nuevas herramientas de inteligencia artificial de Adobe: Firefly y Relleno generativo. Aquí hay algunos hallazgos interesantes

Estamos casi llegando a la mitad de 2023, y uno de los temas más presentes en las discusiones de marketing y tecnología es, sin duda, el auge de las herramientas de IA que estuvieron disponibles hace menos de un año.

Las cosas han estado sucediendo tan rápido que es difícil incluso elegir algunos adjetivos para definir este momento, pero estoy bastante seguro de que “emocionante” y “aterrador” estarían entre ellos.

Como diseñador e ilustrador, estar al día con las mejoras recientes en el área es parte del trabajo, así que probé Midjourney hace un par de meses.

Nunca lo he usado (o cualquier otro software de imagen generativa como DALL-E 2, etc.) en mi proceso hasta ahora, especialmente después de que la comunidad artística abordara los problemas de derechos de autor con la base de datos de estas herramientas y el uso poco ético que permite, trayendo para iluminar imágenes que no solo son copias de algún estilo de artista humano, sino que en realidad utilizaron piezas de imágenes de esos artistas humanos para basar la generación de la imagen de IA.

A fines de marzo, Adobe dio un gran paso e ingresó al juego al lanzar su propio modelo de IA: luciérnaga de adobe. Básicamente, Firefly es un modelo generativo de IA centrado en imágenes y textos que funcionará como complemento de los softwares existentes (y potencialmente de los nuevos) dentro de Creative Cloud.

Hay un versión independiente con una interfaz sencilla para que la gente pueda explorar algunas de las posibilidades. Y aquí puede encontrar un programa en vivo donde Eric Snowden, vicepresidente de diseño de Adobe, presenta algunos de los conceptos detrás de Firefly y muestra algunas demostraciones de las herramientas que ya están entre nosotros y las que vendrán después.

Según Snowden, uno de los principales objetivos de Firefly es que funciona mejorando directamente la creación y manipulación de imágenes dentro de los programas de Adobe como Photoshop e Illustrator.

En otras palabras, Firefly representará los medios para un fin y optimizará el flujo de trabajo de producción al realizar tareas que hoy en día toman mucho tiempo para que un diseñador creativo realice. Dando otro paso en esta dirección, la semana pasada, el 23 de mayo, Adobe puso a disposición el “Relleno generativo” dentro de una actualización beta de Photoshop.

🔥 Recomendado:  Google AI presenta Muse: un modelo de generación/edición de texto a imagen a través de transformadores generativos enmascarados

A continuación compartiré algunos hallazgos interesantes, los altibajos y las conclusiones principales de esta “primera cita” con Firefly.

Este fue, quizás, el tema principal que me llamó la atención sobre el enfoque de Adobe para las herramientas de IA. La empresa parece estar muy preocupada por la generación ética de imágenes de IA y una prueba de ello es el uso de imágenes con licencia de Adobe Stock e imágenes caducadas con derechos de autor para entrenar el modelo. Snowden señala que:

““

Este posicionamiento trae un contrapeso a la polémica sobre las IA que son entrenadas en bases de datos con imágenes propietarias sin el conocimiento o consentimiento expreso de sus autores, como es el caso de herramientas como Midjourney y DALLE-2. Snowden continúa hablando sobre la transparencia:

““

Otro tema importante con el que la autenticidad del contenido puede ayudar es la identificación de imágenes falsas, siempre que las imágenes creadas con Firefly se etiqueten como un activo generado por inteligencia artificial.

Este es un enfoque importante porque las herramientas de IA están evolucionando a un ritmo acelerado y, en algunos casos, ya es difícil saber si una foto es real o si hubo alguna manipulación. Por lo tanto, se vuelve esencial aclarar si la IA estuvo involucrada o no, y evitar noticias falsas u otros usos poco éticos de estas herramientas.

La propia herramienta Relleno generativo

En primer lugar, solo quería señalar que la IA en Photoshop no es algo nuevo. Lo hemos visto en herramientas como “Content Aware” y “Puppet Warp”. Por supuesto, con el relleno Generativo, los agudos alcanzan otro nivel. Entonces, veamos un poco sobre la herramienta en sí.

Después de ver algunas demostraciones de la herramienta, llegó el momento de probarla. Entonces, descargué Photoshop Beta en la aplicación Creative Cloud y allí comencé a hacer algunos experimentos con algunas fotos que tomé durante algunos viajes. Para usarlo, debe abrir una imagen y hacer una selección (puede usar el lazo, la varita mágica, la herramienta Pluma, lo que sea que funcione para usted). Luego aparecerá un menú contextual con la opción “Relleno generativo” en él.

🔥 Recomendado:  La importancia de la investigación de palabras clave (+ cómo hacerlo)

Traje una foto en la que estaba trabajando en 4 cuadros. La primera es la imagen original tal como se tomó con la cámara. En el segundo, le pedí al Relleno generativo que eliminara a las personas y el automóvil (y mejoré algunas funciones con Lightroom).

En la tercera imagen, le pedí a la herramienta que creara un charco de agua con reflejo en el suelo. Y en la cuarta imagen, empujé los límites y le pedí a la IA que pusiera un caballo volador en la imagen. Como puede ver a continuación, en algunos casos las cosas funcionaron bien, pero en otros simplemente salió raro, como el caballo con un tipo alado en la espalda y la figura femenina flotante que salió de la nada.

Otra posibilidad que trae Generative Fill es extender una imagen con partes que antes no existían. Esta es realmente interesante, especialmente cuando tienes una foto realmente buena, pero te gustaría tener un mejor encuadre o necesitabas que fuera más ancha, por ejemplo.

A continuación podemos ver este recurso en acción: 01 es la imagen original tomada con la cámara del celular y 02 es la imagen del paisaje generada con la ayuda de Generative Fill. 03 muestra exactamente dónde están los puntos de expansión.

Hagamos una prueba más para no alargar demasiado este artículo. Tomé una ilustración con el estilo único que usamos aquí en Rock Content. Entonces, puse la ilustración en un lienzo en blanco y le pedí a la IA que creara un archivo . Y me dio las siguientes variaciones:

La herramienta todavía lo pasa mal replicando un estilo de ilustración con buenos resultados. Algunas de las variaciones pueden servir como punto de partida de referencia, pero aún no es el momento de generar los mejores resultados con un solo clic. Pero, el futuro de Firefly promete cosas interesantes, como combinar imágenes, tomar un activo de modelado 3D y crear cualquier textura que desee en él, y generar imágenes vectoriales a partir de indicaciones.

🔥 Recomendado:  5 formas sencillas de mejorar las habilidades de su equipo de marketing en un mundo remoto

Lo que me di cuenta con estas pruebas es que, en el punto actual, Generative Fill hizo que la edición y manipulación de fotos fuera mucho más fácil y rápida. Quitar un fondo, insertar, quitar o reemplazar elementos en una imagen con buenos resultados eran tareas que solían llevar mucho tiempo, a veces horas.

Ahora se pueden completar en unos segundos si sabe cómo preguntar y no exige demasiado de la herramienta. Un recordatorio digno es que esta herramienta y todas las demás soluciones de IA están en constante mejora. Entonces, los malos resultados de hoy habrán sido solo “dolores de crecimiento” mañana (tal vez literalmente mañana).

Una hipótesis de los malos resultados es que una base de datos de aprendizaje basada únicamente en Adobe Stock y una imagen con derechos de autor vencidos es mucho más pequeña que una general. Pero si ese es el caso. Todavía preferiría hacer las cosas de la manera correcta y respetar las imágenes con derechos de autor.

De todos modos, en este momento la evaluación de la comunidad creativa ayudará a mejorar el Generative Fill. Es posible dar retroalimentación positiva o negativa a cada imagen generada dentro de Photoshop Beta.

Mientras tanto, comenzaré a utilizar algunos de los recursos que realmente pueden ahorrar mucho tiempo y dar mi toque humano para mantener los estándares de calidad. Fue una “primera cita” promedio. Con algunos desajustes, pero también con buenas sorpresas.

Por supuesto, tendré que “salir” con esas herramientas de IA más veces para ver a dónde puede llegar esta “relación”. Por ahora, es seguro decir que Adobe trajo algunas posibilidades innovadoras a la mesa. Experimentemos y observemos de cerca para ver qué sigue.