Yazıyı okuyorsunuz: İşte insanların GPT-4’ün zamanla daha da aptallaşabileceğini düşünmelerinin nedeni
GPT-4 piyasaya sürüldüğünde ne kadar etkileyici olsa da, bazı izleyiciler onun hassasiyetinin ve gücünün bir kısmını kaybettiğini belirtti. Bu gözlemler aylardır internette yayınlanıyor. OpenAI Forumları.
Bu duygular bir süredir ortalıkta dolaşıyor ama artık nihayet kanıtımız olabilir. Stanford Üniversitesi ve UC Berkeley işbirliğiyle yürütülen bir araştırma, GPT-4’ün yanıt verme hızını artırmadığını, aksine dil modelinde yapılan yeni güncellemelerle daha da kötüleştiğini öne sürüyor.
GPT-4 zamanla iyileşmek yerine daha da kötüleşiyor.
Birçok kişi model yanıtlarının kalitesinde önemli bir bozulma fark ettiğini bildirdi ancak şimdiye kadar bunların hepsi anekdot niteliğindeydi.
Ama artık biliyoruz.
En az bir çalışma, GPT-4’ün Haziran versiyonunun objektif olarak nasıl daha kötü olduğunu gösteriyor… pic.twitter.com/whhELYY6M4
– Santiago (@svpino) 19 Temmuz 2023
Çalışma, adı verilen ChatGPT davranışı zaman içinde nasıl değişir?, Mart ve Haziran ayları arasında GPT-4 ile önceki dil sürümü GPT-3.5 arasındaki yeteneği test etti. Modelin iki versiyonunu 500 problemden oluşan bir veri seti ile test eden araştırmacılar, GPT-4’ün bazı aşamalardan geçtikten sonra Mart ayında 488 doğru cevapla %97,6, Haziran ayında ise %2,4 doğruluk oranına sahip olduğunu gözlemledi. güncellemeler. Model aylar sonra yalnızca 12 doğru cevap üretti.
Araştırmacıların kullandığı bir diğer test ise GPT-4’e akıl yürütme sorusu sordukları düşünce zinciri tekniğiydi. Araştırmacılara göre GPT-4 yalnızca yanlış cevap vermekle kalmadı, aynı zamanda bu sonuca nasıl varıldığına dair hiçbir açıklama da yapmadı.
Çalışma, bir OpenAI yöneticisinin GPT-4’ün aslında daha da aptallaştığına dair şüpheleri gidermeye çalışmasından yalnızca altı gün sonra gerçekleşti. O aşağıdaki tweet Bu, yanıtların kalitesindeki bozulmanın, yoğun kullanıcı olmaktan kaynaklanan psikolojik bir olgu olduğunu ima etmektedir.
Hayır, GPT-4’ü daha aptal hale getirmedik. Tam tersi: Her yeni sürümü bir öncekinden daha akıllı hale getiriyoruz.
Mevcut hipotez: Daha fazla kullandığınızda daha önce görmediğiniz sorunları fark etmeye başlarsınız.
– Peter Welinder (@npew) 13 Temmuz 2023
GPT-4’ün şu anda ChatGPT Plus aracılığıyla geliştiricilere veya ücretli üyelere açık olması dikkat çekicidir. Benim yaptığım gibi aynı soruyu ChatGPT’nin ücretsiz araştırma önizlemesi aracılığıyla GPT-3.5’e sormak, size yalnızca doğru cevabı vermekle kalmaz, aynı zamanda matematiksel sürecin ayrıntılı bir açıklamasını da verir.
Buna ek olarak, LeetCode geliştiricilerinin Mart ve Haziran ayları arasında 50 basit problemden oluşan veri kümelerindeki GPT-4 performansının %52 doğruluktan %10 doğruluğa düştüğünü görmeleriyle kod oluşturma da darbe aldı.
Ateşe daha fazla yakıt katmak için, Twitter yorumcusu @svpino OpenAI’nin “büyük bir modele benzer şekilde çalışan ancak çalıştırması daha ucuz olan daha küçük, özel GPT-4 modellerini” kullanabileceğine dair söylentilerin olduğunu belirtti.
Bu daha ucuz ve daha hızlı seçenek, ana şirketin işbirliği için teknolojisine güvenen birçok başka büyük kuruluşun olduğu kritik bir zamanda GPT-4’ün yanıtlarının kalitesinin düşmesine neden olabilir.
Ancak herkes bu çalışmanın herhangi bir şeyi kanıtladığına inanmıyor. Bazıları dikkat çekti Davranıştaki bir değişikliğin kapasitede bir azalmaya eşit olmadığı. Bu, çalışmanın kendisinde de kabul edilmektedir ve “yeteneği olan bir modelin, belirli bir mesaja yanıt olarak bu yeteneği sergileyebileceği veya göstermeyebileceği” ifade edilmektedir. Başka bir deyişle, istenen sonucun elde edilmesi, kullanıcıdan farklı türde istemler gerektirebilir.
GPT-4 ilk duyurulduğunda OpenAI, altı ay boyunca dil modelini eğitmek için Microsoft Azure yapay zeka süper bilgisayarlarının kullanımını ayrıntılı olarak açıkladı ve sonucun “kullanıcı talimatlarından istenen bilgiyi” üretme şansının %40 daha yüksek olduğunu belirtti.
GPT-3.5 LLM’yi temel alan ChatGPT, 2021’den sonra dünya olaylarına ilişkin sınırlı bilgiye sahip olmak gibi bilgi zorluklarına sahip olmasıyla zaten biliniyordu; bu da boşlukları yanlış verilerle doldurmanıza yol açabilir. Ancak bilgi regresyonu hizmette tamamen yeni ve daha önce görülmemiş bir sorun gibi görünüyor. Kullanıcılar, kabul edilen sorunlara yönelik güncellemeler bekliyordu.
OpenAI’nin CEO’su Sam Altman yakın zamanda ifade edildi Federal Ticaret Komisyonu’nu takip eden bir tweet’teki hayal kırıklığı soruşturma başlatmak ChatGPT’nin tüketici koruma yasalarını ihlal edip etmediği konusunda.
“Teknolojimizin sınırlamaları konusunda şeffafız, özellikle de yetersiz kaldığımızda. Ve sınırlı kazanç yapımız, sınırsız getiri elde etmeye teşvik edilmediğimiz anlamına geliyor” diye tweet attı.
