Yazıyı okuyorsunuz: Deepmind Açık Kaynaklar Tracr: insan tarafından okunabilen kodu bir transformatör modelinin ağırlıklarıyla derlemek için bir araç
Derin öğrenme modellerinin boyutu ve karmaşıklığı arttıkça, belirli bir sonuca neden ve nasıl ulaştıklarını açıklamak daha zor hale gelir. Yapay zeka sistemlerinin yorumlanabilirliğini geliştirmek için araştırmacıların araştırdığı birkaç farklı yön vardır.
Mekanistik yorumlanabilirlik girişimleri, bir modelin kullandığı algoritmalara bu tür açıklamalar sağlamak için tersine mühendislik uygulanmış sinir ağlarını kullanır. Görüntü sınıflandırmada evrişimli sinir ağları bu stratejiyi oldukça etkili bulmuştur. Bu başarılara rağmen, mekanik açıklamalar üretmeye yönelik yöntemlerin repertuvarı sınırlıdır ve yeterince anlaşılmamıştır. En büyük engel, araştırmacıların mekanik hipotezleri değerlendirirken yaratıcı ve gayretli olmaları gerektiğidir.
Çok sayıda özel testten elde edilen kanıtların birleştirilmesi, mekanik teorileri değerlendirmenin tipik yöntemidir. Yüksek maliyet nedeniyle, birçok yaklaşım yalnızca basitleştirilmiş modellerde veya çok az sayıda önemsiz olmayan devre daha gerçekçi modellerde test edilir.
DeepMind’ın yeni bir çalışması, yetersiz temel gerçek açıklamaları sorununu doğrudan ele almak için insan tarafından okunabilen kodu bir sinir ağının ağırlıklarına derleyen bir derleyici olan RASP (Tracr) için TRAnsformer Derleyicisini önermektedir. Bu yöntem kullanılarak bilinen bir uygulamayla önemsiz hesaplamalar yapan modeller geliştirilebilir. Çeşitli yorumlanabilirlik araçlarının ne kadar iyi çalıştığını belirlemek için bunları oluşturulmuş modellere uygulayabilir ve daha sonra ortaya çıkan açıklamayı gerçek verilerle karşılaştırabiliriz.
Tracr, Kısıtlı Erişim Sırası İşleme (RASP) kodunu (transformatör hesaplamalarını tanımlamak için tasarlanmış alana özgü bir programlama dili) transformatör modelleri için ağırlıklara dönüştürür. Ekip ayrıca Tracr’ın doğrusal cebir işlemlerini adlandırılmış temel adresler cinsinden ifade etmeye yönelik ara temsili olan Craft’ı da tanıtıyor.
Araştırmacılar, transformatör modeli uygulamalarına odaklanarak birden fazla depolama konumunda yinelenen veriler gibi uç senaryoları araştırmak için RASP’yi kullanıyor. Tracr ile verilerin bilinen bir konumda kodlandığı modeller oluşturmak ve önerilen yaklaşımı doğrulamak mümkündür. Bir sayı dizisini sınıflandırmak, bir giriş dizisindeki belirteç sayısını saymak ve dengeli parantezleri kontrol etmek için modeller oluşturmak için Tracr’ı kullandılar; bunların tümü, normalde nerede olan metin özetleme veya soru yanıtlama gibi NLP görevlerinden çok daha basit görevlerdir. Dekoderde -Sadece Trafo modelleri kullanılmaktadır.
Araştırmacılar, Tracr’ın yorumlanabilirlik araçlarını değerlendirme aracı olarak mevcut kullanımının ötesinde diğer olası kullanımlarının altını çiziyor. Bir örnek, geleneksel eğitim yöntemleriyle oluşturulan bir modelin parçalarını değiştirmek için model bölümlerinin elle kodlanmış uygulamalarını derlemek ve kullanmaktır. Daha iyi bir genel model performansına yol açabilir.
Araştırmacılar, bu yöntemin araştırma topluluğu tarafından benimsenmesinin, sinir ağları hakkındaki bilgilerinin derinleşmesine yardımcı olacağını umuyor.
Görüntüle Kağıt Ve Github. Bu araştırmanın tüm kredisi bu projenin araştırmacılarına aittir. Ayrıca katılmayı unutmayın 14k+ ML SubReddit’imiz, Discord kanalıVe Elektronik haber bülteniEn son AI araştırma haberlerini, ilginç AI projelerini ve daha fazlasını paylaştığımız yer.
Yüzlerce Harika Yapay Zeka Aracını bulmak için https://aitoolsclub.com adresini ziyaret edin
