Şu yazıyı okuyorsunuz: En Son Makine Öğrenimi Araştırması FP8 İkili Değişim Formatını Öneriyor: Derin Öğrenme Eğitimi Çıkarımını Hızlandırmak için Doğal Bir İlerleme
Sinir ağlarının artan bilgi işlem ihtiyaçlarını karşılamak için yapay zeka işleme, tüm donanım ve yazılım platformlarında tam bir yenilik gerektirir. Hesaplama verimliliğini artırmak, bellek kullanımını azaltmak ve ara bağlantı bant genişliğini optimize etmek için daha düşük hassasiyetli sayısal formatların kullanılması, verimliliği artırmak için çok önemli bir alandır.
Araştırmacılar, standart bir değişim formatına sahip olmanın, bilgisayarlarda yazılım ve donanımın ilerlemesi için hızlı gelişmeyi ve platformun birlikte çalışabilirliğini teşvik edeceğine inanıyor. Bu nedenle endüstri yakın zamanda bu avantajlardan yararlanmak için 32 bitten 16 bit hassasiyete ve hatta artık 8 bit hassasiyet formatlarına geçti. 8 bitlik kayan nokta hassasiyeti, yapay zekadaki en önemli gelişmelerden biri olan transformatör ağları için özellikle avantajlıdır. Bu bağlamda NVIDIA, Intel ve Arm ortaklaşa 8 bitlik kayan nokta (FP8) spesifikasyonunu tanımlayan bir makale yayınladılar. Bellek kullanımını optimize ederek yapay zeka gelişimini artırmayı amaçlayan ve hem yapay zeka eğitimi hem de çıkarım adımlarında çalışan standart bir format sunar. Bu FP8 spesifikasyonu, E5M2 ve E4M3 olmak üzere iki değişken altında tanıtıldı.
İki kodlamanın adı, E4M3 ve E5M2, IEEE 754 standardına uygun olarak üs (E) ve mantis (M) bit sayımlarını belirtir. FP8 kullanıldığında ağırlık ve aktivasyon tensörleri için E4M3 ve gradyan tensörleri için E5M2 kullanılması önerilir. kodlamalar. Her ne kadar bazı ağlar eğitilmek için yalnızca E4M3 veya E5M2 tipini gerektirse de, bazı ağlar her iki tipi de gerektirir (veya FP8’de çok daha az tensör bulundurması gerekir). Çıkarım ve ileri geçiş eğitimi, E4M3’ün bir varyasyonu kullanılarak gerçekleştirilir, buna karşın eğimler, E5M2’nin bir varyasyonu kullanılarak geri geçişte gerçekleştirilir. FP8 formatı, IEEE-754 standartlarına bağlı kalma ve yalnızca DL uygulamalarının doğruluğunu önemli ölçüde artıracağı durumlarda sapma yapma fikrine dayalı olarak oluşturulmuştur. Bu nedenle E5M2 yapısı, daha az mantis bitiyle IEEE yarı duyarlıdır ve üs ve belirli değerler için IEEE 754 kurallarına uyar. Bu, IEEE FP16 ve E5M2 formatları arasındaki dönüşümü kolaylaştırır. E4M3’ün dinamik aralığı, bu durumda belirli değerler için birden fazla kodlamaya izin vermek yerine, belirli değerler için kullanılan bit modellerinin çoğunun kurtarılmasıyla artırılır.
Bu makalede formüle edilen önerinin etkinliğini doğrulamak için yazarlar, elde edilen sonuçları FP16 veya bfloat16 üzerinde eğitilen temel değerlerle karşılaştırmak amacıyla eğitim ve çıkarım aşamalarında deneysel bir çalışma yürüttüler. Vizyon ve dil çeviri modellerine ilişkin olarak, FP8 eğitiminin sonuçları 16 bitlik eğitim oturumlarının sonuçlarıyla eşleşiyor.
Bu belgede yeni bir ikili değişim formatı FP8, E4M3 ve E5M2 tanıtıldı. Yazarlar, yazılım uygulamalarının, tamsayı işlemlerini kullanarak değerleri karşılaştırma ve sıralama yeteneği gibi IEEE FP özelliklerine güvenmeye devam edebilmesini, yalnızca nokta değerlerinin ikili kodlanması için IEEE-754 standartlarından uzaklaşılmasını sağlar. Deneysel çalışma, aynı eğitim modeli, optimize edici ve hiperparametreler kullanılarak, görüntü ve dil görevleri için çok çeşitli sinir ağı modellerinin, 16 bitlik eğitim oturumlarıyla elde edilen model doğruluğunu eşleştirmek üzere FP8 üzerinde eğitilebileceğini göstermektedir. FP8, eğitim ve çıkarım için aynı veri türlerini kullanarak yalnızca eğitim için gereken kaynakları düzenleyip en aza indirmekle kalmaz, aynı zamanda 8 bit çıkarımın uygulanmasını da basitleştirir.
Bu makale Marktechpost personeli tarafından ‘araştırma çalışmasına dayalı olarak bir araştırma özeti makalesi olarak yazılmıştır’DERİN ÖĞRENME İÇİN FP8 FORMATLARI‘. Bu araştırmanın tüm kredisi bu projenin araştırmacılarına aittir. Görüntüle kağıt.
Lütfen katılmayı unutmayın ML alt dizimiz
Yüzlerce Harika Yapay Zeka Aracını bulmak için https://aitoolsclub.com adresini ziyaret edin
