Şu yazıyı okuyorsunuz: Hiperparametre optimizasyonu için en iyi araçlar/platformlar
Hiperparametreler, model oluşturulurken algoritmanın davranışını düzenlemek için kullanılan parametrelerdir. Bu faktörler rutin eğitimle keşfedilemez. Modeli eğitmeden önce atanması gerekir.
En yüksek performansı üreten hiperparametrelerin optimal kombinasyonunu seçme süreci, hiperparametre optimizasyonu veya makine öğreniminde ayarlama olarak bilinir.
Her birinin göreve bağlı olarak avantajları ve dezavantajları olan çeşitli otomatik optimizasyon yöntemleri vardır.
Hiperparametreleri optimize etmek için mevcut araçların sayısı, derin öğrenme modellerinin karmaşıklığıyla birlikte artıyor. Hiperparametre optimizasyonu (HPO) için genellikle iki tür araç seti vardır: açık kaynaklı araçlar ve bulut bilişim kaynaklarına dayanan hizmetler.
ML modelleri için ana hiperparametre optimizasyon kitaplıkları ve araçları aşağıda gösterilmiştir.
Bayes optimizasyonu
Bayesian çıkarımına ve Gauss sürecine dayanan BayesianOptimization adlı bir Python programı, mümkün olan en az yinelemede bilinmeyen bir fonksiyonun en büyük değerini bulmak için Bayesian global optimizasyonunu kullanır. Bu yöntem, keşif ve kullanım arasında doğru dengeyi yakalamanın çok önemli olduğu yüksek maliyetli özellik optimizasyonu için en uygun yöntemdir.
GPyOpt
Bayes optimizasyonuna yönelik açık kaynaklı Python paketine GPyOpt adı verilir. Gauss süreçlerini modellemek için bir Python çerçevesi olan GPy kullanılarak oluşturulmuştur. Kütüphane, ıslak laboratuvar deneyleri oluşturur, makine öğrenimi modellerini ve yöntemlerini vb. otomatik olarak yapılandırır.
hiperoptik
Koşullu, ayrık ve gerçek değerli boyutları içerebilen arama alanlarında seri ve paralel optimizasyon için Hyperopt adlı bir Python modülü kullanılır. Hiperparametre optimizasyonu (model seçimi) yapmak isteyen Python kullanıcılarına paralelleştirme için teknik ve altyapı sağlar. Bu kütüphane tarafından desteklenen Bayes optimizasyon teknikleri, regresyon ağaçlarına ve Gauss işlemlerine dayanmaktadır.
Keras Ayarlayıcı
Keras Tuner modülünü kullanarak makine öğrenimi modelleri için ideal hiperparametreleri bulabiliriz. Bilgisayarla görme için özelleştirilebilir önceden oluşturulmuş iki program olan HyperResNet ve HyperXception kitaplığa dahildir.
Metrik Optimizasyon Motoru (MOE)
En iyi deneysel tasarıma yönelik açık kaynaklı, kara kutu Bayesian küresel optimizasyon motoruna Metrik Optimizasyon Motoru (MOE) adı verilir. Parametre değerlendirmesi zaman veya para gerektirdiğinde MOE, sistemler için yararlı bir parametre optimizasyon yöntemidir. A/B testi yoluyla bir sistemin tıklama veya dönüşüm oranını en üst düzeye çıkarmak, pahalı bir toplu işin veya makine öğrenimi tahmin yönteminin parametrelerini ayarlamak, bir mühendislik sistemi tasarlamak veya gerçek bir proje için ideal parametreleri belirlemek gibi çeşitli sorunlara yardımcı olabilir. dünya denemesi.
Optuna
Optuna, makine öğrenimi için mükemmel olan otomatik hiperparametre optimizasyonuna yönelik bir yazılım çerçevesidir. Hiperparametre arama alanlarının dinamik olarak oluşturulmasına olanak tanıyan zorunlu çalıştırma başına tanımlama tasarımına sahip bir kullanıcı API’si sunar. Çerçeve, platformdan bağımsız mimari, basit paralelleştirme ve Pythonic arama alanları için birçok kütüphane sağlar.
yıldırım melodisi
Ray Tune, derin öğrenme ve takviyeli öğrenme gibi zaman alan etkinlikler için kullanılan hiper parametre optimizasyonuna yönelik bir çerçevedir. Çerçeve, yapılandırılabilir test varyasyonlarının oluşturulması, ızgara araması, rastgele arama ve koşullu parametre dağılımlarının yanı sıra Nüfus Tabanlı Eğitim (PBT), Orta Durdurma Kuralı da dahil olmak üzere arama algoritmalarının ölçeklenebilir uygulamaları dahil olmak üzere kullanımı kolay birçok özelliğe sahiptir. ve HyperBand.
SmartML
SmartML, meta öğrenmeye dayalı makine öğrenimi algoritmalarının otomatik seçimi ve hiperparametre ayarı için bir sistemdir. SmartML, meta özelliklerinizi anında çıkarır ve her yeni veri kümesi için optimizasyon sürecinizi başlatmak üzere en yüksek performanslı yöntemi bulmak için bilgi tabanınızda arama yapar. Sunulan REST API’leri kullanılarak herhangi bir programlama diline dahil edilebilir.
SigOpt
Bir kara kutu hiperparametre optimizasyon aracı olan SigOpt’un yardımıyla model ayarlama, yeni modellerin oluşturulmasını hızlandırmak ve büyük ölçekli üretimde kullanıldığında etkilerini artırmak için otomatikleştirilebilir. Herhangi bir parametre alanını araştırmak ve kullanmak için oluşturulmuş Bayesian ve global optimizasyon algoritmalarının bir kombinasyonu ile SigOpt, bilgi işlem verimliliğini artırabilir.
Talos
Keras, TensorFlow ve PyTorch için Talos adında bir hiperparametre optimizasyon çerçevesi vardır. Çerçeve, model değerlendirmesini ve hiperparametre ayarlamasını tamamen otomatikleştirerek standart Keras sürecini değiştirir. Talos’un öne çıkan özellikleri arasında model genelleştirme değerlendirmesi, otomatik hiperparametre optimizasyonu, insan-makine işbirliğine dayalı optimizasyon desteği ve daha fazlası yer alır.
makine makinesi
Mlmachine adı verilen bir Python modülü, deneysel yaşam döngüsünde birkaç önemli adımı gerçekleştirir ve düzenli, düzenli dizüstü bilgisayar tabanlı makine öğrenimi deneylerine olanak tanır. Birçok tahminci, aynı zamanda model performansını ve parametre seçimlerini görüntüleyen araçlara sahip olan mlmachine kullanılarak Bayesian optimizasyonu ile hiperparametre ayarlamasından geçebilir.
ŞERPA
Python paketi SHERPA, makine öğrenimi modellerinin hiper parametrelerini ayarlamak için kullanılır. Çeşitli hiperparametre optimizasyon teknikleri, kullanıcı ihtiyaçlarına göre uyarlanmış paralel hesaplama ve bulguların keşfedici incelemesine yönelik canlı bir kontrol paneli ile makine öğrenimi araştırmacıları için hiperparametre optimizasyonu sunar.
Scikit-Optimize Et
(Çok) Pahalı ve gürültülü kara kutu işlevlerini en aza indiren hızlı ve etkili bir kütüphaneye Skopt adı verilir. Sıralı modellere dayalı çeşitli optimizasyon teknikleri kullanır. Skopt, çeşitli durumlarda kullanımının basit ve kullanışlı olmasını istiyor. Scikit-Optimize, scikit-learn paketi tarafından sunulan makine öğrenimi (ML) algoritmalarının parametrelerinin ayarlanmasıyla “hiperparametre optimizasyonu” konusunda yardım sunar.
NumPy, SciPy ve Scikit-Learn kütüphanenin dayandığı temellerdir.
GPyOpt
GPyOpt adlı bir program, kara kutu işlevlerini optimize etmek (en aza indirmek) için Gauss süreçlerini kullanır. Sheffield Üniversitesi’ndeki (SITraN’deki) Makine Öğrenimi grubu bunu Python kullanarak uygulamaya koydu. GPyOpt’un temeli, Gauss süreçlerini modellemeye yönelik bir Python paketi olan GPy’dir. Seyrek Gauss süreç modellerini kullanarak büyük veri kümelerini yönetebilirsiniz.
Microsoft NNI (Sinir Ağı İstihbaratı)
Microsoft, ücretsiz ve açık kaynaklı bir AutoML araç seti olan NNI’yı yarattı. Hiperparametre ayarlamayı, model sıkıştırmayı ve sinir mimarileri aramayı otomatikleştirmek için kullanılır. Araç, yerel makineler, uzak sunucular ve bulut dahil olmak üzere çeşitli bağlamlarda ideal sinir mimarisini ve/veya hiperparametreleri bulmak için ayarlama algoritmaları tarafından oluşturulan test görevlerini gönderir ve gerçekleştirir.
Şu anda Microsoft’un NNI’si Sckit-learn, XGBoost, CatBoost ve LightGBM gibi kitaplıkların yanı sıra Pytorch, Tensorflow, Keras, Theano, Caffe2 vb. çerçeveleri desteklemektedir.
Google Vezir
AI Platform Vizier adlı bir kara kutu optimizasyon hizmeti, gelişmiş makine öğrenimi modellerindeki hiperparametreleri ayarlamak için kullanılıyor. Hiperparametrelerin ayarlanması yalnızca modelinizin çıktısını iyileştirmekle kalmaz, aynı zamanda bir işlevin parametrelerini ayarlamak için de başarıyla kullanılabilir.
Vezir, araştırma konfigürasyonunu oluşturmak için sonucu ve onu etkileyen hiperparametreleri ayarlar. Çalışma, önceden yapılandırılmış konfigürasyon parametreleri kullanılarak oluşturulur ve sonuçları sağlamak için testler yapılır.
AWS Sage Builder
Tam olarak yönetilen bir makine öğrenimi hizmeti AWS Sage Maker’dır. Makine öğrenimi modelleri SageMaker ile kolay ve hızlı bir şekilde oluşturulabilir. Bunları oluşturduktan sonra hemen üretime hazır, barındırılan bir ortama dağıtabilirsiniz.
Ayrıca olağanüstü büyük veri kümelerine sahip dağıtılmış bir ortamda iyi performans gösterecek şekilde tasarlanmış makine öğrenimi yöntemleri sunar. SageMaker, özel iş akışlarınız için uyarlanabilir dağıtılmış eğitim çözümleri de sağlayan özel çerçeveleri ve algoritmaları yerel olarak destekler.
Azure Makine Öğrenimi
Microsoft, sürekli büyüyen küresel veri merkezleri ağını kullanarak Azure’u oluşturdu. Azure, kullanıcıların herhangi bir yerden hizmet ve uygulama oluşturmasına, başlatmasına ve yönetmesine olanak tanıyan bir bulut platformudur.
Azure Machine Learning, eksiksiz bir veri bilimi platformu, belirli ve güncel bir hizmet sağlar. Veri ön işlemeden model oluşturmaya, model dağıtımı ve bakımına kadar tüm veri bilimi yolculuğunu tek bir platformda kapsaması açısından kapsamlıdır. Code-first ve code-low deneyimleri desteklenir. Çok az kod yazmayı veya hiç kod yazmayı tercih etmiyorsanız Azure Machine Learning Studio’yu kullanmayı düşünün.
Katılmayı unutmayın reddit sayfamız Ve anlaşmazlık kanalıEn son AI araştırma haberlerini, ilginç AI projelerini ve daha fazlasını paylaştığımız yer.
Yüzlerce Harika Yapay Zeka Aracını bulmak için https://aitoolsclub.com adresini ziyaret edin
