Şu yazıyı okuyorsunuz: Dil Modelleri Python’daki Tanımlayıcı Değişimlerini Tanıyamıyor – Bu AI makalesi, Yüksek Lisans’ların doğru yığın devamlarını tahmin etme yeteneğini araştırıyor…
Önceden eğitilmiş büyük dil modelleri (LLM’ler), bilgisayar kodunun oluşturulması ve tamamlanması da dahil olmak üzere çok çeşitli dilsel etkinlikler için hızla ana paradigma haline geliyor. LLM’ler, programlama görevleri de dahil olmak üzere birçok gerçek dünya görevinde model boyutunun artmasıyla birlikte gelişmiş performans göstermiştir. Ancak son zamanlarda araştırmacılar, model boyutunun artmasıyla birlikte çıktı kalitesinin iyileşmek yerine azaldığı, ters ölçeklendirme sergileyen çeşitli görevler keşfettiler. Tersine ölçeklendirme görevleri tipik olarak sosyal önyargıları içerir; burada daha büyük modeller (belki de doğru bir şekilde), önyargılı eğitim setlerinden gelen istenmeyen önyargıları veya son derece nadir ancak yine de tanınabilir konuşma dili örneklerini tespit eder.
Bu aşırı görevler, pratik uygulamalar için mutlaka önemli başarısızlık modlarını göstermez çünkü bunlar oldukça yapay olma eğilimindedirler ve konu dışı konuşma pragmatikleri içerebilir veya karşı olgusal bilgiler hakkında akıl yürütme gerektirebilir. Bu araştırmada, Edinburgh Üniversitesi ve Heriot-Watt Üniversitesi’nden araştırmacılar, varsayılan tanımlayıcıları değiştirirken Python kodu oluşturmayı içeren yeni bir tür ters ölçeklendirme çalışması sunuyor. Bunun hemen pratik sonuçları vardır (varsayılan tanımlayıcıların yeniden tanımlanması, iyi bilinen kütüphanelerde kullanılan bir metaprogramlama tekniğidir) ve daha genel bilimsel sonuçları vardır çünkü LLM’lerin, programlama dillerinin karmaşık ve soyut anlamsal yapısı hakkında akıl yürütme yeteneklerinde kusurlu olduğunu gösterir. modelin boyutunun arttırılması bu sorunları iyileştirmez, hatta daha da kötüleştirebilir.
Programlama dilleri, açık ve iyi tanımlanmış sözdizimleri ve anlambilimleri nedeniyle özellikle otomatik analiz ve prosedür oluşturmaya çok uygundur. Bilimsel açıdan ilgi çekicidirler çünkü otomatik olarak yüksek kaliteli örnekler üretemeyecek kadar fazla belirsizliğe sahip olan diğer NLP görevlerinden farklı olarak, kodlama zorluklarının örneklerini otomatik olarak oluşturmak ve bunları nesnel bir temel gerçeğe göre değerlendirmek için kullanılabilirler. Ayrıca bu çalışma, geliştiricilerin yaygın olarak kullanmaya başladığı GitHub Copilot2 gibi LLM kullanan yazılım mühendisliği platformları için de faydalıdır.
İsteme yerleştirdikleri bir ifade tarafından üretilen tanımlayıcıların yeniden tanımlanması nedeniyle doğru devamların istatistiksel olarak olağandışı olduğu durumlarda, büyük dil modellerinin Python program parçalarının doğru devamlarını tahmin etme yeteneğini araştırdılar. İncelenen modellerin tümü bu görevde kötü performans sergilemekle kalmıyor, aynı zamanda bazı model aileleri ters ölçeklendirme sergiliyor; bu da model boyutu arttıkça daha iyi olmak yerine daha da kötüye gittikleri anlamına geliyor. Bu bulgular, LLM’lerin verilerin (bu durumda Python kodu) anlambilimini derinlemesine anlamak yerine “kısayol öğrenmeye” veya verilerdeki zayıf, kararsız ve büyük ölçüde sözcüksel korelasyonlara dayandığını ima ediyor. Bu bulgular, LLM yeteneklerinin bilimsel olarak anlaşılmasını ve otomatik kod oluşturma araçları için temel bir teknoloji olarak uygulanabilirliğini geliştirmek için çok önemlidir. Gelecekteki araştırmalar, diğer programlama dillerindeki ve daha büyük model boyutlarındaki ölçeklendirme etkilerini inceleyebilir.
