Şu yayını okuyorsunuz: Zürih Üniversitesi’ndeki araştırmacılar SwissBERT’i geliştiriyor: İsviçre’nin dört ulusal dili için çok dilli bir dil modeli
Ünlü BERT modeli son zamanlarda doğal dil işlemede önde gelen dil modellerinden biri olmuştur. Dil modeli, girdi dizisini çıktı dizisine dönüştüren bir dizi NLP görevi için uygundur. BERT (Transformatörlerin Çift Yönlü Kodlayıcı Gösterimleri), bir transformatör dikkat mekanizması kullanır. Bir dikkat mekanizması, metinsel bir bütünlükteki kelimeler veya alt kelimeler arasındaki bağlamsal ilişkileri öğrenir. BERT dil modeli, NLP ilerlemelerinin en belirgin örneklerinden biridir ve kendi kendini denetleyen öğrenme tekniklerini kullanır.
BERT modelini geliştirmeden önce, bir dil modeli eğitim sırasındaki metin dizisini soldan sağa veya soldan sağa ve sağdan sola birleştirilmiş olarak analiz etti. Bu tek yönlü yaklaşım, bir sonraki kelimeyi tahmin ederek, onu diziye bağlayarak ve ardından tam anlamlı bir cümle elde edilene kadar sonraki kelimeyi tahmin ederek cümleler oluşturmada iyi çalıştı. BERT ile önceki dil modellerine kıyasla daha derin bir bağlam duygusu ve dil akışı sağlayan çift yönlü eğitim tanıtıldı.
Orijinal BERT modeli İngilizce dili için piyasaya sürüldü. Bunu takiben Fransızca için CamemBERT ve İtalyanca için GilBERTo gibi diğer dil modelleri geliştirildi. Son zamanlarda Zürih Üniversitesi’nden bir araştırma ekibi İsviçre için çok dilli bir dil modeli geliştirdi. SwissBERT adı verilen bu model, toplam 12 milyar token ile İsviçre Standart Almanca, Fransızca, İtalyanca ve Romanş Grischun dilindeki 21 milyondan fazla İsviçre haber makalesi üzerinde eğitilmiştir.
SwissBERT, İsviçre’deki araştırmacıların çok dilli görevleri yerine getirememeleri nedeniyle karşılaştıkları zorlukların üstesinden gelmek için tanıtıldı. İsviçre’de esas olarak dört resmi dil vardır: Almanca, Fransızca, İtalyanca ve Romanşça ve çok dilli görevleri gerçekleştirmek için her bir dil için ayrı dil modellerinin birleştirilmesi zordur. Ayrıca dördüncü ulusal dil olan Romanşça için ayrı bir sinir dili modeli bulunmamaktadır. NLP alanında çok dilli görevlerin uygulanması biraz zor olduğundan, SwissBERT’ten önce İsviçre ulusal dili için birleşik bir model yoktu. SwissBERT, bu dillerdeki makaleleri basitçe birleştirerek ve haberlerdeki ortak varlıkları ve olayları dolaylı olarak kullanarak çok dilli temsiller oluşturarak bu zorluğun üstesinden gelir.
SwissBERT modeli, daha önce 81 dilde eğitim almış çok dilli bir modüler transformatörden (X-MOD) yeniden modellenmiştir. Araştırmacılar, özel dil adaptörlerini eğiterek, önceden eğitilmiş bir X-MOD transformatörünü kendi bünyelerine uyarladılar. SwissBERT için İsviçre’ye özgü bir alt kelime dağarcığı oluşturdular ve ortaya çıkan model, 153 milyon gibi çok büyük bir parametreden oluşuyor.
Ekip, SwissBERT’in çağdaş haberlerde adlandırılmış varlık tanıma (SwissNER) ve İsviçre siyasetiyle ilgili kullanıcı tarafından oluşturulan yorumlarda duruş tespiti dahil olmak üzere görevlerdeki performansını değerlendirdi. SwissBERT, genel referanslardan daha iyi performans gösteriyor ve duruş tespitinde XLM-R’ye göre daha iyi performans gösteriyor. Modelin Romanş dilindeki yetenekleri değerlendirilirken, SwissBERT’in sıfır atışlı diller arası aktarım ve Almanca ile Romanşça arasındaki kelime ve cümle hizalaması açısından dil eğitimi almamış modellerden çok daha iyi performans gösterdiği tespit edildi. Ancak model, OCR tarafından işlenen tarihi haberlerde adı geçen varlıkları tanıma konusunda pek iyi performans göstermedi.
Araştırmacılar, sonraki görevlere ince ayar yapmak için SwissBERT’i örneklerle birlikte yayınladılar. Bu model gelecekteki araştırmalar ve hatta ticari olmayan amaçlar için umut verici görünüyor. Daha fazla uyarlamayla sonraki görevler modelin çok dilliliğinden faydalanabilir.
