Yazıyı okuyorsunuz: Harvard araştırmacıları, hiyerarşik kendini izleme yoluyla görüş transformatörlerini gigapiksel görüntülere ölçekleyebilen Hiyerarşik Görüntü Piramidi Transformatörü (HIPT) adı verilen yeni bir ViT mimarisi sunuyor…
Doku fenotiplemesi, kanser tanısı, prognozu ve hastalarda tedaviye yanıtın değerlendirilmesi için gigapiksel tam slayt görüntüleri (WSI) içindeki objektif histopatolojik yönleri karakterize etmeye çalışan hesaplamalı patolojide (CPATH) temel bir zorluktur.
Gigapiksel görüntü, çok sayıda ayrıntılı fotoğrafın tek bir öğede birleştirilmesiyle oluşturulan son derece yüksek çözünürlüklü bir dijital yeniden yaratmadır. Tipik bir profesyonel kameranın kapasitesini çok aşan milyarlarca piksel içerir.
Doğal görüntülerin aksine, tam slayt görüntüleri, 150000 x 150000 piksele kadar görüntü çözünürlüğüne sahip, zor bir bilgisayarlı görme alanıdır. Çoğu yöntem, çoklu örnek öğrenmeye (MIL) dayalı üç aşamalı zayıf denetimli çerçeveyi, yani tek bir büyütme (“yakınlaştırma”) hedefinde doku yaması, bir dizi gömme örneği ve genel gruplama oluşturmak için yama düzeyinde özellik çıkarımı kullanır. bir slayt seviyesi oluşturmak için örnek sayısı
Bu üç aşamalı prosedür, birçok kanser alt tiplendirme ve sınıflandırma görevinde klinik düzeyde performans elde etmesine rağmen bazı tasarım kusurlarına sahiptir. Yama ekleme ve özellik çıkarma genellikle içerik bölgeleriyle sınırlıdır. [256 x 256]. Nükleer atipi veya tümörlerin varlığı gibi ince taneli morfolojik özellikleri tespit etme yeteneğine rağmen, [256 x 256] pencereler, kanser türüne bağlı olarak tümör istilası, tümör boyutu, lenfositik infiltrasyon ve bu fenotiplerin doku mikro ortamındaki daha geniş mekansal organizasyonu gibi daha kaba taneli özellikleri yakalamak için sınırlı içeriğe sahiptir.
WSI’ların uzun dizi uzunlukları nedeniyle MIL, Vision Transformers (ViT) gibi diğer görüntü tabanlı dizi modelleme sistemlerinin aksine yalnızca küresel havuzlama operatörlerine ihtiyaç duyar. Sonuç olarak Transformer dikkati, hayatta kalma tahmininde önemli bir prognostik özellik olan tümörün bağışıklık konumu gibi fenotipler arasındaki uzun vadeli korelasyonları öğrenmek için kullanılamaz.
Yakın tarihli bir yayında, Harvard araştırmacıları bu sorunları çözmek için WSI’da slayt düzeyinde temsil öğrenimi için bir görüntü transformatörü oluşturmanın zorluğunu tartıştılar. Araştırmacılar, WSI’leri modellerken, ViT’lerin aktif olarak keşfettiği doğal görüntülerin aksine, görsel belirteçlerin belirli bir büyütme hedefi için her zaman sabit bir ölçekte olacağını vurguladı.
Araştırmacılar, hiyerarşik görsel belirteç toplama ve gigapiksel patoloji görüntüleri (HIPT) üzerinde ön eğitim için Transformer tabanlı bir mimari olan Hiyerarşik Görüntü Piramidi Transformer’ı geliştirdi. Araştırmacılar aşağıdan yukarıya toplamayı gerçekleştiren üç aşamalı hiyerarşik bir mimari kullandılar. [16 x 16] Dil modellemede öğrenilen belge temsillerinin uzunluğuna benzer şekilde, son olarak slayt düzeyinde temsili oluşturmak için karşılık gelen 256 x 256 ve 4096 x 4096 pencerelerindeki görsel belirteçler.
Çalışma iki şekilde hem Vizyon Dönüştürücülerinin hem de kendi kendini denetleyen öğrenmenin sınırlarını zorluyor. HIPT, bir WSI’nin iyi bir temsilini öğrenme sorununu, tümü kendi kendini denetleyen öğrenme yoluyla öğrenilebilen ilgili temsillere ayrıştırdı ve her toplama katmanını öğrenmeyle önceden eğitmek için öğrenci-öğretmen bilgisi damıtma (DINO) kullandı. bölgelerde denetlenmektedir. 4096 x 4096 kadar büyük.
Kaynak: https://arxiv.org/pdf/2206.02647.pdfAraştırmacılara göre strateji standart MIL prosedürlerinden daha iyi performans gösterdi. Bu ayrım, doku mikroçevresindeki daha geniş prognostik yönleri tanımlamak için daha geniş bir bağlamın değerlendiği, hayatta kalma tahmini gibi bağlama duyarlı görevlerde en çok dikkat çekicidir.
Ekip, modelin 4096 x 4096 gösterimlerinde K-En Yakın Komşuları kullanarak, slayt düzeyi sınıflandırmasında zayıf denetlenen birkaç mimariden daha iyi performans gösterdi; bu, kendi kendini denetleyen slayt düzeyi gösterimlerine doğru önemli bir adımdı. Son olarak araştırmacılar, kendi kendini denetleyen ViT’lerdeki çok kafalı öz dikkatin, sahne mimarisinin anlamsal bölümlendirmesini gerçekleştirebilen doğal görüntülerdeki kendi kendini denetleyen ViT’lere benzer şekilde histopatolojik dokudaki görsel fikirleri öğrendiğini buldu.
Çözüm
Bu çalışma, önceden eğitilmiş ve ince ayarlı HIPT özelliklerinin sırasıyla zayıf denetimli ve KNN değerlendirmelerinden daha iyi performans gösterdiğini gösterdiğinden, kendi kendini denetleyen slayt düzeyinde gösterim öğrenimine doğru önemli bir adımdır. DINO, geleneksel ViT bloklarıyla hiyerarşik ön eğitim için kullanılmış olsa da ekip, gelecekte maske yama tahmini ve verimli ViT düzenleri gibi diğer eğitim öncesi yöntemleri araştırmayı planlıyor. Hasta veya popülasyon düzeyinde bir temsil elde etmek için büyük ve heterojen veri yöntemlerindeki hiyerarşik ilişkilere dayalı ön eğitim sinir ağları kavramı, çeşitli alanlara uygulanabilir.
Bu makale Marktechpost personeli tarafından ‘belgesine dayanarak özet makale olarak yazılmıştır’Kendi kendini denetleyen hiyerarşik öğrenme yoluyla görüntü transformatörlerini gigapiksel görüntülere ölçeklendirme‘. Bu araştırmanın tüm kredisi bu projenin araştırmacılarına aittir. Görüntüle kağıt, github.
Lütfen aramıza katılmayı unutmayın Makine Öğrenimi Alt Dizini
Yüzlerce Harika Yapay Zeka Aracını bulmak için https://aitoolsclub.com adresini ziyaret edin
