Gönderiyi okuyorsunuz: Bu AI makalesi, hem görüntü doğruluğu hem de örnekleme oranı açısından üstün performans sergileyen yeni bir dalgacık tabanlı yayılma çerçevesi sunmaktadır.
Difüzyon modelleri önemli ölçüde ilerlemiş ve yakın zamanda tanıtılmasına rağmen çok fazla bilimsel ilgi çekmiştir. Bu tür modeller, rastgele gürültü girdilerinden net, yüksek kaliteli çıktılar üretmek için yayılma sürecini tersine çevirir. Çeşitli veri setlerinde difüzyon modelleri, üretim kalitesi açısından son teknoloji ürünü üretken rakip ağlardan (GAN’ler) daha iyi performans gösterebilir. En önemlisi, yayılma modelleri, gelişmiş mod kapsamının yanı sıra anlamsal haritalar, metin, temsiller ve görüntüler de dahil olmak üzere birçok koşullu girdi türünü işlemek için çok yönlü bir teknik sunar. Bu yöntemler diğer birçok veri alanında ve uygulamada kullanılmasına rağmen görüntüleme çalışmaları en muhteşem sonuçları göstermektedir.
Yeni difüzyon tabanlı metinden görüntüye üretken modeller, yapay zeka tabanlı dijital sanatta yeni bir çağ açıyor ve kullanıcıların yalnızca kelimeleri girerek inanılmaz derecede gerçekçi görüntüler oluşturmasına olanak tanıyarak diğer birçok alana ilgi çekici uygulamalar sağlıyor. Bu yetenek nedeniyle, metinden görüntüye üretim, görüntüden görüntüye çeviri, görüntü boyama, görüntü restorasyonu ve daha fazlası dahil olmak üzere çeşitli görevleri gerçekleştirebilirler. Difüzyon modelleri büyük umut vaat ediyor ancak çok yavaş çalışıyorlar, bu da onların GAN’lar kadar popüler olmalarını engelliyor. Uygun çıktı kalitesini elde etmek için binlerce örnekleme adımı gerektiren Difüzyon Gürültü Giderici Olasılık Modelleri (DDPM) temel çalışmasını kullanarak tek bir görüntü oluşturmak birkaç dakika alır.
Çıkarım süresini kısaltmak için, esas olarak örnekleme adımlarının sayısını azaltarak çeşitli yöntemler önerilmiştir. Difüzyon ve GAN’ı tek bir sistemde birleştiren DiffusionGAN, çıkarım hızını artırma konusunda bir atılım gerçekleştirdi. Sonuç olarak, örnekleme adımlarının sayısı 4’e düşürülür ve 32 x 32’lik bir görüntünün elde edilmesi saniyenin yalnızca kesri kadar sürer. Bununla birlikte, GAN’dan yaklaşık 100 kat daha yavaş olan yukarıdaki en hızlı yol, bir görüntü oluşturmak için hala saniyelere ihtiyaç duyar. 32×32 resim.
DifüzyonGAN artık piyasadaki en hızlı difüzyon modelidir. Yine de StyleGAN eşdeğerinden en az dört kat daha yavaştır ve çıkış çözünürlüğü artırıldığında hız farkı genişlemeye devam eder. DiffusionGAN’ın hala yavaş yakınsamaya sahip olması ve uzun bir eğitim süresi gerektirmesi gerçeğinin de gösterdiği gibi, difüzyon modellerinin hala büyük ölçekli veya gerçek zamanlı uygulamalar için hazırlanması gerekmektedir.
VinAI araştırmacıları hız farkını kapatmak için dalgacık tabanlı benzersiz bir yayılma stratejisi öneriyor. Her girişi düşük (LL) ve yüksek frekans (LH, HL, HH) bileşenler için dört alt banda bölen ayrık dalgacık dönüşümü, çözümlerinin temelini oluşturur. Bu dönüşümü özellik ve görüntü düzeyinde kullanırlar. Uzamsal çözünürlüğü dört kat azaltarak görüntü seviyesinde önemli bir hızlanma elde ederler. Özellik düzeyinde, çeşitli üreteç bloklarındaki dalgacık verilerinin değerini vurgularlar. Böyle bir tasarımla, yalnızca küçük bir işlem yükü getirirken önemli bir performans artışı elde edebilirler. Bu, sabit bir çıktı kalitesi seviyesini korurken eğitim ve çıkarım süresini önemli ölçüde azaltmamıza olanak tanır.
Katkıları şunlardır:
• Difüzyon modellerini hızlandırmak için Wavelet alt bantlarının boyutsal indirgenmesini kullanırken, oluşturulan sonuçların görsel kalitesini korumak için yüksek frekanslı bileşenleri kullanan benzersiz bir Wavelet difüzyon çerçevesi sağlarlar.
• Üretken modellerin sağlamlığını ve yürütme hızını artırmak için görüntülerin ve özelliklerin uzamsal dalgacık ayrıştırmasını kullanırlar.
• Önerilen Dalgacık Difüzyonunun sunduğu son teknoloji eğitim ve çıkarım hızı, gerçek zamanlı, yüksek doğruluklu difüzyon modellerinin etkinleştirilmesinde ilk adımdır.
