Şu yazıyı okuyorsunuz: AWS araştırmacıları derin öğrenmenin gücünü tablolardaki verilere taşımak için ‘TabTransformer’ı geliştirdi
En yüksek performanslı yapay zeka sistemlerinin özünde derin sinir ağları bulunur. Örneğin, BERT gibi dönüştürücü tabanlı dil modelleri genellikle doğal dil işleme (NLP) uygulamalarının temelini oluşturur. Karar ağacı tabanlı yöntemler genellikle daha iyi performans gösterdiğinden, tablolarda yer alan verilere dayanan uygulamalar, derin öğrenme devriminin bir istisnası olmuştur.
AWS araştırmacıları, denetimli ve yarı denetimli öğrenmeye yönelik tamamen yeni ve derin bir tablosal veri modelleme mimarisi olan TabTransformer’ın geliştirilmesine odaklandı. TabTransformer, Transformers’ı doğal dil işlemenin ötesinde tablo verilerine genişletiyor.
TabTransformer, Amazon SageMaker JumpStart ile sınıflandırma ve regresyon görevleri için kullanılabilir. SageMaker Studio’daki SageMaker JumpStart Kullanıcı Arayüzü ve SageMaker Python SDK, Python kodundan TabTransformer’a erişim sağlar. TabTransformer çeşitli alanlarda insanların ilgisini çekmiştir. Ayrıca ICLR 2021’deki Zayıf Denetimli Öğrenme Atölyesi’nde de sunuldu. Ayrıca derin sinir ağlarıyla çalışmaya yönelik tanınmış bir açık kaynaklı yazılım kütüphanesi olan resmi Keras deposuna eklendi.
Yılın ayları gibi sınırlı sayıda ayrık değer alabilen kategorik değişkenler için güvenilir veri temsilleri veya yerleştirmeler oluşturmak amacıyla TabTransformer, Transformers’ı kullanır. Sayısal değerler ve diğer sürekli değişkenler paralel dizilerde ele alınır.
Geniş bir yerleştirme şemasını öğrenmek için etiketlenmemiş veriler üzerinde bir modeli önceden eğitmek ve ardından belirli bir görevi öğrenmek için etiketli veriler üzerinde ince ayar yapmak için NLP’yi kullanır.
TabTransformer, halka açık 15 veri seti üzerinde yapılan denemelerde tablo verileri için en gelişmiş derin öğrenme algoritmalarını ortalama AUC açısından en az yüzde 1,0 oranında geride bırakıyor. Alıcı çalışma eğrisinin altındaki alan, yanlış pozitiflere karşı yanlış negatiflerin oranını gösterir. Ayrıca ağaç tabanlı topluluk modellerinin etkinliğinin eşit olduğunu da göstermektedir. DNN’ler, etiketlenmemiş verileri daha iyi kullanabildikleri için, etiketli verilerin sınırlı olduğu yarı denetimli durumlarda genellikle karar ağacı tabanlı modellerden daha iyi performans gösterir. TabTransformer, yenilikçi denetimsiz ön eğitim yöntemini kullanarak DNN karşılaştırmasına göre yüzde 2,1’lik daha önemli bir ortalama AUC artışı gösterdi.
TabTransformer aracılığıyla öğrenilen bağlamsal yerleştirmeler, eksik ve gürültülü veri özelliklerine karşı dayanıklıdır ve analizimizin son bölümünde de gösterdiğimiz gibi daha fazla yorumlanabilirlik sunar. Aşağıda TabTransformer mimarisinin bir diyagramı bulunmaktadır. Araştırmalarda araştırmacılar, tipik özellik mühendisliği yaklaşımlarını kullanarak metin, posta kodları ve IP adresleri dahil veri türlerini sayısal veya kategorik özelliklere dönüştürdü.
TabTransformer kesinlikle derin öğrenmenin gücünü tablolardaki verilere taşımanın yolunu açıyor.
Bu makale Marktechpost ekibi tarafından ‘araştırma makalesi’ temel alınarak özet makale olarak yazılmıştır. İÇERİKSEL BİRLEŞTİRMELER YOLUYLA TABLO VERİLERİNİN MODELLENMESİ‘. Bu araştırmanın tüm kredisi bu projenin araştırmacılarına aittir. Görüntüle kağıt, github, AWS makalesi.
Lütfen aramıza katılmayı unutmayın Makine Öğrenimi Alt Dizini
Yüzlerce Harika Yapay Zeka Aracını bulmak için https://aitoolsclub.com adresini ziyaret edin
