Yazıyı okuyorsunuz: Yeni yapay zeka araştırması, büyük dil modellerinin Yüksek Lisans yeteneklerini analiz etmek için hız odaklı bir yaklaşım sunuyor
Uzun dil modellerinin (LLM’ler) kullanımındaki son zamanlarda artış, doğal dil işleme (NLP) alanını tamamen dönüştürdü, özellikle de LLM’lerin açık metin üretmesine yol açtı. Açık metin oluşturmanın uygulamaları geniş kapsamlıdır ve soru cevaplama, hikaye oluşturma, kod oluşturma, insan destekli yaratıcılık ve açık diyalog gibi birden fazla alanı kapsar.
Bu modeller artmaya devam ettikçe, bu sistemlerin öngörülemezliğine ve dolayısıyla kapasitelerinin ve sınırlamalarının daha iyi anlaşılmasına duyulan ihtiyaç konusunda artan bir endişe var.
Georgia Teknoloji Enstitüsü, Shanghai Jiao Tong Üniversitesi, Google ve Stanford Üniversitesi’nden araştırmacılar, açık metin üretimini analiz etmek için hızlı bir sınıflandırma oluşturdular. 288 endikasyonla deneyler yaptılar ve 3000’den fazla sonucu değerlendirdiler, azaltma stratejilerini ve gelecekteki araştırma yönlerini analiz ettiler.
Açık metin oluşturmada Dil Modellerinin yeteneklerini ve sınırlamalarını analiz etmek için araştırmacılar, kullanıcıların doğal olarak istemlere kısıtlamalar getirme şekline dayalı olarak bireysel kısıtlamaların bir sınıflandırmasını oluşturdular. Her kısıtlama için temel istemler olarak bir dizi basit, doğal ipucu tasarladılar ve istem varyasyonunu azaltmak için bunları konu ve bilgi istemi şablonu gibi boyutlara göre çeşitlendirdiler.
Bilgi istemleri üzerindeki kısıtlamalar iki kategoriye ayrılabilir: süslü bir tarzda yazmak gibi çıktının stilini sınırlayan stilistik bir kısıtlama ve kelime sayısını sınırlamak gibi çıktının yapısını sınırlayan yapısal bir kısıtlama.
Araştırmacılar GPT-3, OPT, BLOOM ve GLM’yi kullanarak 288 reklam oluşturdu ve çıktılar oluşturdu. Değerlendirmek için gösterge başına on çıktı ürettiler. Örneğin, stilistik kısıtlama “ruh hali” için temel mesaj şu şekildedir: “Okuyucuya aşk hakkında hissettiren bir pasaj yazın. [angry, fearful, happy, sad].”
Biçimsel kısıtlamalar
Araştırmacılar, GPT-3’ün komedi, hiciv, ironi ve edebi kurgu gibi zorlu stil kısıtlamalarıyla mücadele ettiğini ve stil-tema eşleştirmelerine duyarlı olduğunu buldu. GPT-3, mesaj çok zorlayıcı olduğunda ve yaratıcı yazmaya özgü olmayan sözcüklerde zorluk yaşandığında stil ile temayı karıştırır.
Bununla birlikte, model performansı, açıklayıcılar tarafından algılanan anlık zorlukla ilişkili değildir; bu, anlık zorluğa katkıda bulunan faktörlerin insanlar ve LLM’ler arasında farklılık gösterdiğini gösterir. Bu, yüksek lisans öğrencileri için hangi endikasyonların zorlayıcı olduğunu ve zorlayıcı olmadığını ampirik olarak bulmanın önemini vurgulamaktadır.
Yapısal kısıtlamalar
GPT-3 genel olarak yazma konusundaki yapısal kısıtlamaları anlasa da, gerekli kelime veya cümle sayıları gibi sayısal kısıtlamalarla mücadele eder ve çoğu zaman birbirine yakın ancak kesin olmayan sonuçlar üretir. Model aynı zamanda “uzun” gibi tanımlayıcı yapısal kısıtlamalarla istendiğinde değişken uzunlukta metin oluşturmada da büyük farklılıklar gösterir.
Ek olarak GPT-3, muhtemelen eğitim verilerinde bu tür belgeler için açık etiketlerin bulunmaması nedeniyle akademik makaleleri doğru şekilde biçimlendirmemektedir.
Yazarlar, aynı ipuçlarını ve diğer sayısal yapısal kısıtlama ipuçlarını kullanarak diğer üç LLM’yi (OPT-176B9, BLOOM-176B10 ve GLM-130B11) analiz etmek için kendi metodolojilerini kullandılar. Bu modellerin GPT-3’ten daha kötü performans gösterdiğini ve oluşturulan sonuçların yarısından fazlasının dejenere olduğunu buldular.
Yorumlar
Makale, dil modellerinin yapısal ve biçimsel kısıtlamalar altında açık metin üretme yeteneğini analiz etmek için bir metodoloji sunmaktadır. Sonuçlar, ana hatlarıyla belirtilen model zorluklarıyla uyumlu arızaları ve yapısal ve biçimsel kısıtlamalar yoluyla yeni arıza modellerini göstermektedir.
Yazarlar ayrıca her iki alanda da performansı sürekli olarak artıran azaltımlar sağlamaktadır. Makale, sınıflandırmanın stilistik ve yapısal kısıtlamaların tüm yönlerini kapsamaması ve açık metnin tüm nesillerini temsil etmemesi de dahil olmak üzere bazı sınırlamaları kabul etmektedir.
Yazarlar ayrıca stilin olası yanlış kullanımı ve açıklama yapan kişiye zarar verilmesi gibi etik hususlara da dikkat çekiyor ve açıklama yapanları korumak için yönergeler öneriyor. Genel olarak makalede sunulan metodoloji ve bulgular, dil modellerinin yeteneklerinin ve sınırlamalarının anlaşılmasına katkıda bulunmaktadır.
