Şu yazıyı okuyorsunuz: Bir Stanford araştırma grubu, gizli yayılma modellerini tıbbi görüntüleme alanlarına genelleştirmek için olası ince ayar tekniklerini inceledi.
Gizli difüzyon modellerinin popülaritesi son yıllarda önemli ölçüde artmıştır. Olağanüstü oluşturma yetenekleri nedeniyle bu modeller, tıbbi görüntüler gibi eğitim verilerinin seyrek olduğu durumlarda denetimli makine öğrenimi ardışık düzenlerine eklenebilecek yüksek kaliteli sentetik veri kümeleri üretebilir. Ayrıca, bu tür tıbbi görüntü veri kümelerinin, küçük ama anlamsal açıdan önemli görüntü yönlerini çözebilen eğitimli tıp uzmanları tarafından sıklıkla açıklanması gerekir. Gizli yayılma modelleri, ilgili tıbbi anahtar kelimeleri veya ilgi duyulan kavramları elde ederek sentetik tıbbi görüntü verileri üretmek için kolay bir yöntem sağlayabilir.
Bir Stanford araştırma ekibi, büyük temel görme ve dil modellerinin temsil sınırlarını araştırdı ve tıbbi görüntüleme çalışmalarını ve kavramlarını temsil etmek için önceden eğitilmiş temel modellerin nasıl kullanılacağını değerlendirdi. Daha spesifik olarak, dil ve görüntü kodlayıcılarının etkinliğini değerlendirmek için kararlı yayılma modelinin temsil kapasitesini araştırdılar.
Yazarlar dünya çapında en popüler görüntüleme tekniği olan göğüs radyografilerini (CXR) kullandılar. Bu CXR’ler halka açık iki veritabanından gelir: CheXpert ve MIMIC-CXR. Her veri setinden, karşılık gelen raporlarıyla birlikte 1000 ön radyografi rastgele seçildi.
Kararlı yayın hattına bir CLIP metin kodlayıcı dahil edilmiştir (yukarıdaki şekil) ve 768 boyutlu gizli bir temsil üretmek için metin istemlerini ayrıştırır. Bu gösterim daha sonra, başlatma olarak rastgele gürültü kullanarak gizli görüntü alanında görüntüler üretmek için gürültü giderici bir U-Net’i koşullandırmak için kullanılır. Sonunda, bu gizli temsil, değişken bir otomatik kodlayıcının kod çözücü bileşeni aracılığıyla piksel alanına eşlenir.
İlk olarak yazarlar, salt metin kodlayıcının klinik olarak anlamlı bilgileri korurken (1) klinik göstergeleri metnin gizli alanına yansıtıp yansıtmadığını ve yalnızca VAE’nin klinik olarak önemli özellikleri kaybetmeden radyolojik görüntüleri yeniden oluşturup oluşturamayacağını araştırdılar (1). 2). Son olarak radyoloji alanında stabil difüzyon modeline ince ayar yapmak için üç teknik önerdiler (3).
1.VAE
Gizli bir yayılma modeli olan Kararlı Difüzyon, üretken gürültü giderme sürecini tamamlamadan önce görüntü girişlerini gizli bir alana dönüştürmek için algısal olarak önemsiz özellikleri yansıtan yüksek frekanslı ayrıntıları hariç tutmak üzere eğitilmiş bir kodlayıcı kullanır. CheXpert veya MIMIC’ten (“orijinaller”) örneklenen CXR görüntüleri, VAE’den geçerken tıbbi görüntüleme bilgilerinin ne kadar iyi korunduğunu incelemek için gizli temsiller halinde kodlandı ve görüntüler (“yeniden yapılandırmalar”) halinde yeniden oluşturuldu. Kök ortalama kare hatası (RMSE) ve Fréchet başlangıç mesafesi (FID) gibi diğer ölçümler, yeniden yapılanmanın kalitesini objektif olarak ölçmek için hesaplanırken, yedi yıllık deneyime sahip kıdemli bir radyolog tarafından niteliksel olarak değerlendirildi. Yeniden yapılandırma prosedürünün sınıflandırma performansını nasıl etkilediğini araştırmak için daha önce 18 farklı hastalığı tanıyacak şekilde eğitilmiş bir model kullanıldı. Aşağıdaki görüntü bir yeniden yapılanma örneğidir.
2. Metin kodlayıcı
Bu projenin amacı, radyoloji raporları ve görüntülerinin belirli bağlamında (örneğin rapor biçiminde) bir metin istemi yoluyla iletilebilecek bağlantılı tıbbi sorunlara ilişkin görüntülerin oluşturulmasını koşullandırabilmektir. Kararlı yayılma sürecinin geri kalanı, metin kodlayıcının gizli alandaki tıbbi özellikleri doğru şekilde temsil etme yeteneğine bağlı olduğundan, yazarlar bu sorunu, bölgede yayınlanan önceden eğitilmiş dil modellerine dayanan bir teknik kullanarak araştırdılar.
3. İnce ayar
Etki alanına özgü görseller oluşturmak için çeşitli stratejiler test edildi. İlk deneyde yazarlar, ilk kararlı difüzyon eğitimi sırasında dondurulan CLIP metin kodlayıcıyı, biyomedikal veya radyolojik alanlardan gelen verilerle önceden eğitilmiş bir metin kodlayıcıyla değiştirdiler. İkincisinde, metin kodlayıcı yerleştirmeleri, kararlı yayılma modeline uyum sağlarken ana vurguydu. Bu durumda hasta, prosedür veya anormallik düzeyindeki özellikleri tanımlamak için kullanılabilecek yeni bir belirteç tanıtılır. Üçüncüsü, U-net dışındaki tüm bileşenleri ayarlamak için alana özgü görüntüleri kullanır. Senaryolardan biri tarafından yapılan olası ince ayardan sonra, farklı üretken modeller iki basit istemle test edildi: “Akciğer röntgeninin fotoğrafı” ve “Belirgin plevral efüzyonlu akciğer röntgeninin anlık görüntüsü.” . .” Modeller yalnızca bu metin koşullamasına dayalı olarak sentetik görüntüler üretti. U-Net ince ayar yöntemi diğerleri arasında en umut verici olanı olarak öne çıkıyor çünkü en düşük FID puanlarına ulaşıyor ve beklendiği gibi en gerçekçi sonuçları üretiyor, bu da bu tür üretken modellerin radyoloji kavramlarını öğrenme yeteneğine sahip olduğunu ve radyolojide kullanılabileceğini gösteriyor. gerçekçi görünen anormallikler eklemek için kullanılır.
Görüntüle Kağıt. Bu araştırmanın tüm kredisi bu projenin araştırmacılarına aittir. Ayrıca katılmayı unutmayın 17k+ ML SubReddit’imiz, Discord kanalıVe Elektronik haber bülteniEn son AI araştırma haberlerini, ilginç AI projelerini ve daha fazlasını paylaştığımız yer.
Yüzlerce Harika Yapay Zeka Aracını bulmak için https://aitoolsclub.com adresini ziyaret edin
