Estás leyendo la publicación: 10 impresionantes portátiles de Google Colab en difusión estable
El modelo de generación de imágenes lanzado recientemente por Stability.AI, StableDiffusion, está mostrando resultados revolucionarios y nuevas innovaciones prometedoras después de su lanzamiento público de código abierto.
Los investigadores y desarrolladores han estado experimentando para descubrir todos los campos posibles en los que se puede aplicar la difusión estable. Hemos compilado una lista de algunas de estas contribuciones disponibles en Google Colab como cuadernos.
Difusión estable Deforum
Para generar animaciones con indicaciones simples, Deforum creó un cuaderno que permite a los usuarios ingresar indicaciones junto con la cantidad de cuadros, cuadros por segundo, zoom, ángulo y otras métricas similares.
Deforum Estable Difusión v0.5
– Indicaciones ponderadas
– Cambio de perspectiva 2D
– Enmascaramiento dinámico de video
– Expresiones MATEMÁTICAS personalizadas
– Modelos de difusión de Waifu y Robohttps://t.co/mWNkzWtPsK
– deforum (@deforum_art) 1 de octubre de 2022
Recientemente, el equipo lanzó una versión más reciente, la v05, que incluye nuevas opciones como cambio de perspectiva 2D, importación de archivos de configuración personalizados, expresiones matemáticas personalizadas, enmascaramiento de video dinámico, descarga automática de modelos y avisos ponderados.
Echa un vistazo a Deforum aquí.
El video mató a la estrella de la radio… Difusión
Debido a su interesante nombre, este portátil puede hacer un video musical animado para ti, utilizando un video de YouTube. El modelo utiliza la conversión de voz a texto Whisper de OpenAI para crear una animación de difusión estable mediante indicaciones de la letra del video.
Deforum Estable Difusión v0.5
– Indicaciones ponderadas
– Cambio de perspectiva 2D
– Enmascaramiento dinámico de video
– Expresiones MATEMÁTICAS personalizadas
– Modelos de difusión de Waifu y Robohttps://t.co/mWNkzWtPsK
– deforum (@deforum_art) 1 de octubre de 2022
Primero, se genera una imagen usando un mensaje de texto de la letra. Luego, las imágenes posteriores se generan haciendo variaciones en la primera imagen. A partir de entonces, las imágenes se establecen en una secuencia, se reordenan y organizan para crear una animación fluida.
Haga clic aquí para ver el cuaderno.
Difusión de Doohickey
Con guía CLIP, guía perceptiva y ruido inicial de Perlin, este cuaderno de Colab contiene todas las herramientas necesarias para la difusión estable.
El modelo utiliza la inversión textual del concentrador HuggingFace y también permite cargar imágenes de estilo Midjourney.
Haz clic aquí para visitar el cuaderno de Colab.
Loro rápido
Esto está diseñado para entrenar modelos de lenguaje en indicaciones, indicaciones personalizadas y renderizar imágenes. Es un modelo GPT-2 afinado.
Announcing Prompt Parrot 2.0! 🦜🎨
New Features✨
– Integrated Stable Diffusion!
– Pre-loaded with 148 signature Kyrick prompts! Run the notebook straight out of the box!
– Streamlined training UX#stablediffusion #promptparrot #MachineLearning https://t.co/p9OYSMfY7w pic.twitter.com/qr0iRhsesI
— Stephen Young (@KyrickYoung) August 28, 2022
El modelo se actualizó recientemente a V2.5 para integrarse con Stable Diffusion para la generación de imágenes. También viene con 185 indicaciones Kyrick incorporadas para ejecutarlo de inmediato y una experiencia de usuario de entrenamiento simplificada.
Para visitar el cuaderno de Prompt Parrot, haga clic aquí.
Interpolación de difusión estable
Ahora se pueden interpolar sin problemas dos avisos diferentes en Stable Diffusion con este portátil. Las imágenes combinadas también se pueden generar en un video después de la nueva actualización V2.2. La nueva actualización también admite múltiples semillas y corrige el problema de desenfoque presente en versiones anteriores.
Stable Diffusion Interpolation V2 is out! Now supports multiple prompts and multiple seeds.
Same link as the original notebook: https://t.co/uGyb6BnGfW
Have fun! 😚
And don't forget to check out @deforum_art ‘s master SD notebook!#aiart #generativeart #stablediffusion pic.twitter.com/CQxUpBNnnD
— Yuguang (YG) Zhang (@ygantigravity) August 25, 2022
Para comenzar a interpolar imágenes con Stable Diffusion, haga clic aquí.
Estable-DreamFusion
Este portátil ha combinado Stable Diffusion y DreamFusion de Google para crear objetos 3D a partir de indicaciones de texto simples.
DreamFusion de Google utiliza NeRF para crear modelos 3D a partir de imágenes 2D generadas por indicaciones de texto en Stable Diffusion.
Haga clic aquí para ver el proceso de capacitación y prueba.
Inferencia DreamBooth de difusión estable
Este cuaderno profundiza en la enseñanza de nuevos conceptos de Stable Diffusion a través de Dreambooth de Google. Usando un conjunto de 3-5 imágenes, los desarrolladores pueden ingresar y personalizar modelos.
A diferencia de Textual Inversion que se usa en Dreambooth en Stable Diffusion, este enfoque entrena todo el modelo y produce mejores resultados.
Echa un vistazo al cuaderno de Colab aquí.
Craiyon estable
Al combinar Stable Diffusion y CraiyonAI, este portátil puede interpretar y mejorar las imágenes generadas con Craiyon para mejorar aún más la calidad de la salida.
El creador del cuaderno también lanzó un tutorial sobre cómo usar el cuaderno.
Haga clic aquí para el cuaderno de Colab y aquí para el repositorio de GitHub.
Pintura de textura perfecta
Usando Stable Diffusion, MetaSemantic lanzó una herramienta de pintura para generar texturas uniformes que no parecen haberse repetido en absoluto.
Aunque esto usa mosaicos para generar imágenes, los usuarios han estado tratando de generar imágenes simétricas y también abstractas con este método.
Haga clic aquí para obtener el cuaderno Colab de esta interesante aplicación de gráficos por computadora.
Mundos estables
Aparte de la generación de mundos 3D e imágenes 2D, Stable Diffusion también se puede utilizar para crear mundos inmersivos panorámicos. Stable Worlds genera imágenes usando Stable Diffusion y luego las une para crear panoramas perfectos.
Haga clic aquí para ver el código.
