Yazıyı okuyorsunuz: LETI ile Tanışın: Yeni Bir Dil Modeli (LM) İnce Ayar Paradigması Metinsel Etkileşimlerden Öğrenmek için LM’nin Potansiyelini Keşfetmek
Büyük dil modellerinin (LLM) popülaritesinin artmasıyla birlikte, neredeyse her gün yeni araştırmalar ve gelişmeler tanıtılıyor. Derin öğrenme teknolojilerini ve yapay zekanın gücünü kullanan LLM’ler sürekli olarak gelişmekte ve tüm alanlarda genişlemektedir. LLM’ler büyük miktarda ham metin üzerinde eğitilir ve performanslarını artırmak için bu modellere ince ayar yapılır. Ayarlama süreci sırasında LLM’ler, sınıflandırma doğruluğu, soru yanıtlama, belge özetleme vb. gibi performanslarını ölçen doğrudan eğitim sinyalleri kullanılarak belirli görevler konusunda eğitilir.
Son zamanlarda, kapsamlı dil modellerinin metinsel etkileşimlerden ve yorumlardan öğrenebileceği potansiyeli ortaya çıkaran LETI (Metinsel Etkileşimlerden Öğrenin) adı verilen yeni bir ayarlama paradigması tanıtıldı. LETI, dil modellerinin yalnızca hatalı olup olmadıklarını değil aynı zamanda neden hatalı olduklarını da anlamalarına olanak tanır. Bu yaklaşım, LLM’lerin yalnızca etiketlerden ve skaler ödüllerden öğrenmenin sınırlamalarının üstesinden gelmesine olanak tanır.
LETI’nin geliştirilmesinin arkasındaki araştırma ekibi, bu yaklaşımın dil modeline nasıl metinsel geri bildirim sağladığından bahsetti. İkili etiketler yardımıyla model sonuçlarının doğruluğunun doğrulanmasına yardımcı olur ve oluşturulan kodunuzdaki hataları tanımlayıp açıklar. LETI paradigması, geliştiricinin bir program yazmasını, onu test etmesini ve geri bildirime dayalı olarak geliştirmesini içeren yinelemeli yazılım geliştirme süreci gibidir. Benzer şekilde LETI, hataları ve kusurları belirten metinsel yorumlar sağlayarak LLM’yi geliştirir.
Uydurma işlemi sırasında modelden sorunun doğal dilde tanımlanması istenir ve ardından bir dizi çözüm üretilir. Daha sonra bir çözüm test uzmanı bu çözümleri bir dizi test senaryosu kullanarak değerlendirir. Araştırmacılar, hata mesajlarını kullanmak ve oluşturulan koddan elde edilen izleri metinsel yorumların kaynağı olarak yığınlamak için bir Python yorumlayıcısı kullandılar. Çözüm değerlendiricisi Python yorumlayıcısıdır.
Modeli ayarlamak için kullanılan eğitim verileri üç bileşenden oluşur: doğal dil talimatları, LM tarafından oluşturulan programlar ve metinsel geri bildirim. Oluşturulan programın çözüm sağlayamadığı durumlarda LLM’ye geri bildirim sağlanır. Aksi takdirde modelin doğru bir çözüm üretmesini teşvik etmek için ikili geri bildirim biçiminde bir ödül jetonu sağlanır. Oluşturulan metinsel geribildirim, geribildirim koşullu ince ayar olarak bilinen LM ince ayar işleminde kullanılır.
Değerlendirme süreci için araştırmacılar, MBPP (Çoklu Büyük Programlama Sorunları) veri setleri adı verilen kod oluşturma görevlerinden oluşan bir veri seti kullandılar. Sonuçlar, LETI’nin, eğitim için gerçek sonuçlara ihtiyaç duymadan, MBPP veri kümesi üzerindeki farklı ölçeklerdeki iki temel LM’nin performansını önemli ölçüde artırdığını göstermiştir. LETI, HumanEval veri kümesinde gizli sorunlar konusunda temel LM’lere benzer veya daha iyi performans elde ediyor. Ayrıca araştırmacılar, ikili geri bildirimle karşılaştırıldığında, metinsel geri bildirim kullanmanın modelin aynı performansı ancak daha az kademeli adımla elde etmesine olanak sağladığını buldu.
Sonuç olarak LETI, ayrıntılı metinsel geri bildirim kullanarak dil modellerini geliştiren mükemmel bir ayarlama yaklaşımıdır. Hatalardan ders almalarına ve kod oluşturma gibi görevlerde performansı artırmalarına olanak tanır. LETI umut verici görünüyor.
