Yazıyı okuyorsunuz: Microsoft Yapay Zeka Araştırması, Yaygın Olarak Kullanılan 20.000’den Fazla Derin Öğrenme Modelini Hızlandıran Yeni DeepSpeed Açık Kaynak Python Kütüphanesi DeepSpeed-MII’yi Tanıtıyor
Açık kaynaklı yazılım, yapay zekanın daha fazla insan için erişilebilir olmasını sağlarken, yaygın kullanımının önünde hâlâ iki büyük engel bulunuyor: çıkarım gecikmesi ve maliyet.
Sistem optimizasyonları uzun bir yol kat etti ve DL model çıkarımının gecikmesini ve maliyetini önemli ölçüde azaltabilir, ancak bunlara hemen erişilemez. Çoğu veri bilimci, belirli bir modelle ilgili sistem optimizasyonları kümesini doğru bir şekilde tanımlayıp uygulayacak uzmanlığa sahip değildir; bu da düşük gecikmeli, düşük maliyetli çıkarımları ulaşılamaz hale getirir. Model boyutu, mimari, sistem performansı özellikleri, donanım gereksinimleri vb. konulardaki geniş farklılıklar dahil olmak üzere DL modeli çıkarım ortamının karmaşık doğası, bu kullanılamamanın temel nedenidir.
Yüksek performanslı modellerden düşük maliyetli, düşük gecikmeli çıkarımların yaygın şekilde benimsenmesini kolaylaştırmak için şirket tarafından geliştirilen yeni bir açık kaynak Python kütüphanesi olan Microsoft açık kaynak DeepSpeed-MII’nin son araştırması. MII, yüksek verimli uygulamalarla binlerce popüler DL modeline erişim sağlar.
MII, transformatörler için derin füzyon, çoklu GPU çıkarımı için otomatik tensör dilimleme, ZeroQuant kullanılarak anında nicemleme ve düşük gecikme/maliyet çıkarımı sağlayan diğerleri gibi birçok Derin Hız Çıkarımı optimizasyonunu kullanır. Bu modellerin şirket içinde ve Azure’da AML aracılığıyla yalnızca birkaç satır kodla düşük maliyetli dağıtımına olanak tanır ve aynı zamanda yeni nesil performans sağlar.
DeepSpeed-Inference, MII’ye güç sağlayan motordur. MII, model türüne, boyutuna, toplu iş boyutuna ve mevcut donanım kaynaklarına bağlı olarak gecikmeyi en aza indirmek ve verimi en üst düzeye çıkarmak için DeepSpeed sistem Çıkarımı optimizasyonlarını otomatik olarak uygular. Bunu başarmak için MII ve DeepSpeed-Inference, temeldeki PyTorch modelinin mimarisinin belirlenmesine ve ardından optimize edilmiş bir uygulamayla değiştirilmesine olanak tanıyan önceden belirlenmiş birçok model enjeksiyon kuralından birini kullanır. Sonuç olarak, MII’nin desteklenen binlerce popüler modeli, DeepSpeed kapsamlı Çıkarım optimizasyonları paketine anında erişim sağlıyor.
Hugging Face, FairSeq, EluetherAI vb. dahil olmak üzere çeşitli açık kaynaklı model depolarından binlerce transformatör modeline erişilebilir. MII, metin oluşturma, soru cevaplama, sınıflandırma vb. çeşitli uygulamaları destekler. BERT, RoBERTa, GPT, OPT ve BLOOM mimarilerini temel alan modeller de dahil olmak üzere yüz milyonlarca parametreye sahip son derece karmaşık modellerle çalışır. Ayrıca Stabil Difüzyon gibi modern görüntü oluşturma yöntemleri de desteklenmektedir.
Çıkarım iş yükleri, birincil hedefin gecikmeyi en aza indirmek olduğu durumlarda gecikme açısından kritik olabilir veya birincil hedefin maliyeti en aza indirmek olduğu durumlarda maliyete duyarlı olabilir.
MII’nin kullanabileceği iki DeepSpeed-Inference çeşidi vardır. Bunlardan ilki olan ds-public, DeepSpeed halk kütüphanesine dahil edilmiştir ve yukarıda bahsedilen iyileştirmelerin çoğunu içermektedir. İkincisi olan ds-azure, MII aracılığıyla tüm Microsoft Azure kullanıcılarının erişimine açıktır ve Azure’a daha derin bağlantı sağlar. MII bulut sunucuları, DeepSpeed-Inference MII-Public ve MII-Azure’un iki varyasyonu kullanılarak çağrılabilir.
Açık kaynaklı PyTorch uygulamasıyla (Baseline) karşılaştırıldığında MII-Public ve MII-Azure, önemli ölçüde gecikme ve maliyet tasarrufu sağlar. Ancak belirli üretken iş yükleri için farklı performansa sahip olabilirler. MII, çeşitli iş yüklerinde çeşitli açık kaynak modeller için gecikmeyi 6 kata kadar azaltabilir, bu da onu, toplu iş boyutunun 1 olduğu, gecikme açısından kritik durumlar için ideal kılar. Ekip, MII temel çizgisini ve en düşük performans için verimi en üst düzeye çıkaran büyük bir toplu iş boyutu kullanmıştır. maliyet. Sonuçlar Bloom, OPT vb. gibi pahalı dil modellerinin MII kullanılarak çıkarım maliyetlerini önemli ölçüde azaltabileceğini göstermektedir.
MII-Public yerel olarak veya herhangi bir bulut hizmetinde çalışabilir. MII, minimal bir GRPC sunucusu geliştirir ve bu uygulamaya yardımcı olacak sorular için bir GRPC çıkarım uç noktası sağlar. MII, AML Çıkarımı kullanılarak Azure ile birlikte kullanılabilir.
Araştırmacılar çalışmalarının geniş bir model yelpazesiyle uyumlu olacağını umuyorlar. MII’nin gecikmeyi ve çıkarım maliyetini anında azaltarak güçlü yapay zeka becerilerinin çeşitli uygulamalara ve ürün tekliflerine daha geniş bir şekilde aktarılmasını sağlayacağına inanıyorlar.
Github: https://github.com/microsoft/deepspeed-mii#supported-models-and-tasks
Referans: https://www.microsoft.com/en-us/research/project/deepspeed/deepspeed-mii/
Yüzlerce Harika Yapay Zeka Aracını bulmak için https://aitoolsclub.com adresini ziyaret edin
