Yazıyı okuyorsunuz: SeaFormer adlı bu yapay zeka modeli, görüntü transformatörlerini mobil cihazlara getiriyor
Görüntü transformatörünün piyasaya sürülmesi ve nesne algılama görevindeki muazzam başarısı, bilgisayarlı görüntü alanındaki transformatörlere yönelik büyük ilgiyi çekmiştir. Bu yaklaşımlar, hesaplama karmaşıklıkları pratik uygulamalara uyarlanmalarını geciktirmiş olsa da, küresel bağlam modellemesinde gücünü kanıtlamıştır.
Karmaşıklıklarına rağmen, 2021’deki lansmanlarından bu yana görüntü transformatörlerinin çok sayıda uygulamasını gördük. Bunlar videolara uygulandı. sıkıştırma ve sınıflandırma. Öte yandan, çeşitli çalışmalar, evrişimler veya özellik piramitleri gibi mevcut yapıları entegre ederek görüş transformatörlerini geliştirmeye odaklandı.
Ancak bizim için ilginç olan yönü, uygulanmasıdır. Resim parçalama. Görevin küresel bağlamını başarılı bir şekilde modelleyebilirler. Bu yaklaşımlar, güçlü bilgisayarlara sahip olduğumuzda işe yarar ancak donanım sınırlamaları nedeniyle mobil cihazlarda çalıştırılamaz.
Bazı kişiler, mevcut bileşenlere hafif alternatifler sunarak görüntü transformatörlerinin bu kapsamlı bilgi işlem ve bellek ihtiyacını çözmeye çalıştı. Bu değişiklikler görüntü transformatörlerinin verimliliğini artırsa da bunların mobil cihazlarda çalıştırılması için seviye hâlâ yetersizdi.
Dolayısıyla görüntü segmentasyon görevlerinde önceki tüm modellerden daha iyi performans gösterebilecek yeni bir teknolojiye sahibiz ancak sınırlamalar nedeniyle bunu mobil cihazlarda kullanamıyoruz. Bunu çözmenin ve bu gücü mobil cihazlara getirmenin bir yolu var mı? Cevap evet ve işte bu DenizFormer için.
SeaFormer (Sıkıştırmayla Geliştirilmiş Eksenel Transformatör), transformatörler kullanılarak oluşturulan, mobil uyumlu bir görüntü bölümleme modelidir. Mobil cihazlarda üstün verimlilik için eksenel dikkatin hesaplama karmaşıklığını azaltır.
Merkezi yapı bloğu, Sıkıştırmayla Geliştirilmiş Eksenel Dikkat (SEA) adını verdikleri şeydir. Bu blok, giriş boyutunu azaltmak için bir veri sıkıştırıcı görevi görür. SEA dikkat modülü, tüm girdi görüntü yamalarını iletmek yerine, öncelikle girdi özelliği haritalarını kompakt bir formatta gruplandırır ve ardından kişisel dikkati hesaplar. Ayrıca havuzlama bilgilerinin kaybını en aza indirmek için sorgu, anahtarlar ve değerler sonuca geri eklenir. Bunlar tekrar eklendikten sonra, yerel ayrıntıları geliştirmek için derinlikli bir evrişim katmanı kullanılır.
Bu dikkat modülü, geleneksel görüntü transformatörlerine kıyasla hesaplama yükünü önemli ölçüde azaltır. Ancak modelin hâlâ iyileştirilmesi gerekiyor; Böylece değişiklikler devam ediyor.
Verimliliği daha da artırmak için, sıkı dikkat formülasyonu ve ayrıntı iyileştirmeyle karakterize edilen genel bir dikkat bloğu uygulanır. Ayrıca uç kısımda hafif bir segmentasyon başlığı kullanılır. Tüm bu değişikliklerin birleşimi, mobil cihazlarda yüksek çözünürlüklü görüntü segmentasyonu yapabilen bir modelle sonuçlanır.
SeaFormer, çeşitli veri kümelerinde diğer tüm son teknoloji ürünü verimli görüntü segmentasyon transformatörlerinden daha iyi performans gösterir. Diğer görevlere de uygulanabilmesine rağmen, bunu göstermek için yazarlar SeaFormer’ı ImageNet veri kümesindeki görüntü sınıflandırma görevi için değerlendirdiler. SeaFormer diğer mobil uyumlu transformatörlerden daha iyi performans gösterirken onlardan daha hızlı çalışmayı başarabildiği için sonuçlar başarılı oldu.
