Gönderiyi okuyorsunuz: Google AI Açık Kaynaklar Vizier – makine öğrenimi deneylerini geniş ölçekte yönetmek ve optimize etmek için tasarlanmış bağımsız bir Python paketi
Google, Vezir sisteminin Google Açık Kaynak Vizier adlı bir versiyonunu oluşturdu ve açık kaynak yazılım olarak kullanıma sundu. Google Cloud AI Platform ve Google Kubernetes Engine gibi ürünler de dahil olmak üzere Google’ın bulut bilişim altyapısı tarafından desteklenen Vizier’in bu sürümü oluşturulmuş ve kullanım için optimize edilmiştir. Google Açık Kaynak Vizier, müşterilerin deneylerini büyük hacimli verileri ve bilgi işlemi yönetecek şekilde genişletmelerine ve bu güçlü bulut bilişim yeteneklerini kullanarak iş akışlarını tek bir web tabanlı arayüzden rahatlıkla yönetmelerine ve izlemelerine olanak tanır.
Google Vizier, çeşitli kullanım örneklerine ve süreçlere uyum sağlamak için önemli tasarım sorunlarının üstesinden gelirken, binlerce kullanıcının kritik sistemlerini iyileştirme ve milyonlarca makine öğrenimi modelini ayarlama ölçeğinde performans sergilemek için yüksek düzeyde hata toleransını korudu. Araştırma için robot bilimi geliştirdi, bilgisayar mimarileri tasarladı, donanımı hızlandırdı, protein keşfine yardımcı oldu ve dil modelleri için kullanıcı gecikmesini azalttı, ayrıca kullanıcılara sinir mimarilerini aramak ve takviyeli öğrenme algoritmaları geliştirmek için güvenilir bir arka uç arayüzü sağladı.
OSS Vizier, çok çeşitli senaryolar için tasarlanmıştır çünkü bir hizmet olmayı güçlü bir şekilde vurgulayarak istemcilerin sunucuya istedikleri zaman istek göndermelerine olanak tanır. Değerlendirme veya deneme bütçesi onlarca ila milyonlarca dolar arasında değişebilir ve değerlendirme gecikmesi saniyelerden haftalara kadar değişebilir. Bir ML modeli, eş zamanlı olmayan değerlendirmeler veya eşzamanlı gruplar (örneğin, birden fazla eşzamanlı deneyi içeren ıslak laboratuvar ortamları) kullanılarak ayarlanabilir. Değerlendirmeler ayrıca geçici nedenlerden dolayı başarısız olabilir ve yeniden denenmesi gerekir veya kalıcı nedenlerden dolayı (değerlendirmenin imkansız olması gibi) başarısız olabilir ve yeniden denenmemelidir.
Bu, derin öğrenme modellerini ayarlayarak kurabiye tarifleri veya hiper parametreler gibi fiziksel, kimyasal, biyolojik, mekanik ve hatta insanlar tarafından değerlendirilebilen hesaplama dışı hedeflerin en üst düzeye çıkarılması gibi çeşitli uygulamaları geniş ölçüde mümkün kılar.
Vezir’in çalışması için, bir sunucunun birden fazla istemcinin kara kutu hedeflerini veya işlevlerini optimize etme gibi hizmetleri sağlaması gerekir. Hizmet, sonraki önerileri hesaplamak için bir algoritmayı (yani bir Pythia politikasını) çalıştıracak bir çalışan oluşturarak başlar. Ana iş akışında, istemci bir uzak prosedür çağrısı (RPC) gönderir ve bir teklif ister (yani, müşterinin kara kutu işlevine önerilen bir giriş). Müşteriler fikirleri değerlendirdikten sonra kendilerine uygun hedef değerleri ve metrikleri oluşturup tedarikçiye geri gönderirler. Tam bir ayar yolu oluşturmak için bu işlem birkaç kez gerçekleştirilir.
C++ ve Rust dahil çoğu programlama diliyle çalışan popüler gRPC kitaplığının kullanılması, en üst düzeyde özelleştirme ve esneklik sağlar. Kullanıcı, yerleşik Python arayüzünden bağımsız olarak benzersiz istemciler ve hatta algoritmalar oluşturabilir. Kullanım kalıpları, OptFormer ve HyperBO gibi meta-öğrenme ve çok görevli transfer öğrenme tekniklerinin incelenmesi için yararlı veri setleri olarak korunabilir, çünkü tüm süreç bir SQL veri deposuna kaydedilerek bir tıkanma sonrasında sorunsuz kurtarma sağlanır.
Özellikler
Ayrıca Google Açık Kaynak Vizier, karmaşık makine öğrenimi işlemlerini kontrol etmek için aşağıdakiler dahil çeşitli gelişmiş özellikler sunar:
Deney takibi: Vezir bir soruşturmanın her adımını takip eder, parametrelerini, sonuçlarını ve bulgularını kaydeder. Modelleri tespit etmek ve model performansını iyileştirmek için bu verileri elde etmek ve değerlendirmek kolaydır.
Vizier, model hiperparametrelerinin ayarlanmasını otomatikleştirmek için ızgara araması ve Bayesian optimizasyonu dahil olmak üzere birçok teknik sunar. Bu, kullanıcıların modelleri için ideal parametre setini hızlı ve etkili bir şekilde belirlemelerini mümkün kılar.
İş akışı yönetimi: Vizier, veri hazırlama, model eğitimi ve değerlendirme dahil olmak üzere karmaşık, çok adımlı süreçleri mümkün kılar. Vizier arayüzünde kullanıcılar iş akışlarını hızlı bir şekilde oluşturup yönetebilir ve birden fazla bilgi işlem kaynağı üzerinde aynı anda deneyler gerçekleştirebilir.
Vizier, TensorFlow, PyTorch ve scikit-learn gibi diğer birçok makine öğrenimi kütüphanesi ve programıyla uyumludur. Bu, çeşitli model ve metodolojilerle deney yapmayı ve mevcut kodun yeniden kullanımını basitleştirir.
Google Açık Kaynak Vizier, genel olarak makine öğrenimi deneylerini düzenlemek ve optimize etmek için güçlü bir araçtır. Özellikle büyük ölçekli veri yoğun uygulamalarda kullanıma uygundur.
Google Açık Kaynak Vizier, makine öğrenimi deneylerini düzenlemek ve geliştirmek için çeşitli alanlarda ve uygulamalarda çalışan akademisyenler ve profesyoneller için yararlı olan eksiksiz bir sistemdir.
Son olarak, Google Açık Kaynak Vezir’in güvenlik ve gizlilik göz önünde bulundurularak oluşturulduğunu unutmamak önemlidir. Platform, hassas verilerin şifrelenmesine olanak tanır ve güvenli kimlik doğrulama ve yetkilendirme prosedürleri sunar. Ayrıca uyarlanabilir olduğundan işletmelerin güvenlik ve gizlilik kurallarını gerektiği gibi yapılandırmasına olanak tanır.
