Şu yazıyı okuyorsunuz: Tıbbi Belgelerde LLaMA’nın Geliştirilmesi: Biyomedikal QA Karşılaştırmalarında Yüksek Performansa Ulaşan PMC-LLaMA-A Modeli hakkında bilgi edinin
OpenAI’nin ChatGPT ve GPT-4’ü gibi Uzun Dil Modellerinin (LLM) geliştirilmesi, doğal dil işleme, bilgisayarlı görme ve biyomedikal alan da dahil olmak üzere birçok alanda yapay zekayı yeniden şekillendirdi. Ne yazık ki ChatGPT eğitiminin detayları ve varyantlarının model mimarileri hala bilinmiyor. LLaMA temel bir açık kaynak dil modeli olmasına rağmen, kapsamlı alan bilgisi gerektiren uygulamalardaki zayıf performansının, modelin eğitim öncesi aşamasında alana özgü verilerin eksikliğinden kaynaklandığı varsayılmaktadır.
Birçok çalışma, açık kaynak LLM’nin özel amaçlar için değiştirilmesini ve kullanımını tartışıyor. Örneğin Alpaca ve Vicuna, modeli otomatik olarak oluşturulan itaat edilen talimat örnekleriyle eğiterek modelin etkileşim kapasitesini genişletmeye odaklandı.
Shanghai Jiao Tong Üniversitesi ve Shanghai Yapay Zeka Laboratuvarı’nın son çalışmaları, temel dil modelini belirli bir tıbbi külliyata yönlendirmek için alan bilgisini önceden eğitilmiş tek bir LLaMA’ya aktararak farklı bir yaklaşım benimsiyor. LLaMA-7B’nin 4,8 milyon akademik tıbbi makale üzerinde iyileştirilmesiyle geliştirilen, halka açık bir dil modeli olan PMC-LLaMA’yı sunuyorlar. Ekip, tıbbi tartışma ve konsültasyonun, tıbbi odaklı temel bir dil modelinden en fazla fayda sağlayacağına inanıyor.
Ekip, İngilizce 81,1 milyon akademik makale içeren S2ORC veri kümeleriyle işe başladı ve bunları PubMed Central (PMC) kimliklerine göre sınıflandırdı. Dolayısıyla yaklaşık 4,9 milyon makale, yani 75 milyarın üzerinde kayıt, tıp bilgisi ile yakından ilgilidir. İlk olarak GPT2’de tanıtılan otoregresif oluşturma hedefini optimize ederek, ücretsiz olarak sunulan bu PMC belgelerinde LLaMA-7B modeline ince ayar yaptılar. Öğrenme sürecini hızlandırmak için bf16 (Beyin Kayan Noktası) veri formatını ve tamamen parçalanmış veri paralel (FSDP) hızlandırma yaklaşımını kullanırlar.
Ekip, PMC-LLaMA’yı yukarıda belirtilen ilgili tıbbi kalite kontrol veri kümeleri üzerinde üç farklı türde ince ayar gerçekleştirerek test eder: tam ince ayar, verimli parametre ince ayarı ve verimli veri ince ayarı. Deney sonuçları, talimatlar değiştirildiğinde PMC-LLaMA’nın LLaMA’dan ve tıbbi alanda LLaMA ayarlı talimatlarla eğitilen diğer modellerden daha iyi performans gösterdiğini göstermektedir.
PMC-LLaMA’nın bir eksikliği, şu ana kadar yalnızca beş dönemi eğitmiş olmaları nedeniyle 4,8 milyon belgede tüm tokenların bulunamamasıdır. Gelecekte, PMC-LLaMA modellerini kademeli olarak daha fazla parametreyle eğitmeyi, PMC-LLaMA’yı sürekli olarak eğitmeyi ve temel modeli kucaklayan yüz sayfasında güncellemeyi planlıyorlar.
