Şu an okuyorsunuz: Hot Chips 31 Canlı Bloglar: Cerebras'ın 1.2 Trilyon Transistörlü Derin Öğrenme İşlemcisi
08:49 EDT – Bugünün en büyük haberlerinden bazıları, derin öğrenme için gofret ölçeğinde 1.2 trilyon transistör çözümünü açıklayan Cerebras. Bugünkü konuşma, teknoloji hakkında detaylı olarak ele alınmaktadır.
08:51 EDT – Gofret ölçekli yonga, 46,225 mm2’den fazla, 1,2 trilyon transistör, 400k AI çekirdeği, 18GB çip üzerinde SRAM beslenir
08:51 EDT – TSMC 16nm
08:51 EDT – 215mm x 215mm – Yan başına 8,5 inç
08:51 EDT – Bugünün en büyük GPU’sundan 56 kat daha büyük
08:52 EDT – Derin Öğrenme İçin Geliştirildi
08:52 EDT – DL eğitimi zor (ed: bu bir understatement)
08:52 EDT – Peta-exa ölçeği hesaplama aralığı
08:53 EDT – Sorunun şeklini ölçeklendirmek zor
08:53 EDT – İnce taneli çok paralellik vardır
08:53 EDT – Kaba tahıl doğal olarak seri haldedir
08:53 EDT – Eğitim, seri olarak küçük değişikliklerin uygulanması sürecidir.
08:53 EDT – Sorunun boyutu ve şekli NN eğitimini gerçekten zorlaştırıyor
08:53 EDT – Bugün yoğun vektör hesaplama işlemimiz var
08:54 EDT – Kaba Taneli için, çoklu örnekleri çalıştırmak için yüksek hızlı bağlantı gerektirir. Hala sınırlı
08:54 EDT – Ölçeklendirme sınırlı ve maliyetlidir
08:54 EDT – Uzmanlaşmış hızlandırıcılar cevaptır
08:55 EDT – NN: doğru mimari nedir
08:55 EDT – NN ilkelleri için optimize edilmiş bir çekirdeğe ihtiyacım var
08:55 EDT – Programlanabilir bir NN çekirdeğine ihtiyacınız var
08:55 EDT – Seyrek hesaplama hızlı yapmak gerekiyor
08:55 EDT – Hızlı yerel hafızaya ihtiyaç var
08:55 EDT – Tüm çekirdekler hızlı bir ara bağlantıya bağlanmalıdır
08:56 EDT – Cerebras esnek çekirdek kullanıyor. Kontrol işleme için esnek genel operasyonlar
08:56 EDT – Çekirdek tensör operasyonlarını çok verimli bir şekilde ele almalı
08:56 EDT – Herhangi bir sinir ağındaki hesaplamanın kütlesini oluşturur
08:56 EDT – Birinci sınıf operand olarak tansörler
08:57 EDT – fmac yerli op
08:57 EDT – NN doğal olarak seyrek ağlar yaratır
08:58 EDT – Çekirdeğin donanımda veri akışı zamanlaması olan doğal seyrek işleme özelliği var
08:58 EDT – Tüm hesaplamalar veri tarafından tetiklenir
08:58 EDT – Tüm seyrek sıfırları filtreler ve işi filtreler
08:58 EDT – güç ve enerjiden tasarruf sağlar ve bir sonraki işe yarar işe devam ederek performans ve ivme kazanır
08:58 EDT – Etkin, kemer iyi ayarlanmış yürütme veriyollarına sahip olduğundan etkin
08:58 EDT – Bağımsız talimatlara sahip birçok küçük çekirdek
08:59 EDT – Çok düzgün çalışma için izin verir
08:59 EDT – Sıradaki hafıza.
08:59 EDT – Geleneksel bellek mimarileri DL için optimize edilmemiş
08:59 EDT – Geleneksel bellek, performans için yüksek veri kullanımı gerektirir
09:00 PM EDT – Normal matris çarpımının düşük uçlu veri yeniden kullanımı var
09:00 PM EDT – Mat * Vec’in Mat * Mat’a çevrilmesi, ancak eğitim dinamiklerini değiştirir
09:00 PM EDT – Cerebras, çekirdeklerinin yanında yüksek performanslı, tamamen dağıtılmış yonga SRAM’a sahip
09:01 EDT – Daha yüksek bant genişliğine sahip siparişler almak
09:01 EDT – ML olmak istediği gibi yapılabilir
09:01 EDT – Yüksek bant genişliği, düşük gecikmeli ara bağlantı
09:01 EDT – hızlı ve tamamen yapılandırılabilir kumaş
09:01 EDT – tüm hw tabanlı iletişim yükü engeller
09:02 EDT – 2D örgü topolojisi
09:02 EDT – küresel topolojilerden daha yüksek yararlanma ve verimlilik
09:02 EDT – Tek bir kalıptan daha fazlasına ihtiyacınız var
09:02 EDT – Solition bir gofret ölçeğidir
09:03 EDT – Büyük cips inşa
09:03 EDT – Tek bir çip üzerinde küme ölçeği perf
09:03 EDT – GB’den hızlı bellek (SRAM) Çekirdekten 1 saat döngüsü
09:03 EDT – Çip dışı bellek ile bu imkansız
09:03 EDT – Tam çipli ara bağlantı kumaşı
09:03 EDT – Model paralel, doğrusal performans ölçeklendirme
09:04 EDT – Tüm sinir ağını bir kerede çip üzerine eşleyin
09:04 EDT – Bir NN örneği, küme ölçeği perf elde etmek için parti boyutunu artırmak zorunda değilsiniz
09:04 EDT – Çok daha düşük güç ve daha az alan
09:04 EDT – TensorFlow ve PyTorch kullanabilir
09:05 EDT – Sinir ağı katmanlarını kumaşa eşlemek için yerleştirme ve yönlendirme yapar
09:05 EDT – Tüm gofret, tek sinir ağında çalışır
09:05 EDT – Gofret ölçeğinin zorlukları
09:05 EDT – Kalıplar arası bağlantı, verim, ısıl genleşme ihtiyacı
09:06 EDT – Yazma çizgisi kalıbı ayırır. Yazma çizgisinin üstünde teller oluşturun
09:07 EDT – 2D örgü kumaşı tüm kalıp boyunca uzatır
09:07 EDT – Çekirdekler arasında ve kalıp arasında aynı bağlantı
09:07 EDT – Çipten daha verimli
09:07 EDT – Kalıp seviyesinde tam BW
09:08 EDT – Yedeklilik verime yardımcı olur
09:08 EDT – Yedekli çekirdekler ve yedekli kumaş bağlantıları
09:08 EDT – Kumaşı bağlantılarla yeniden bağlayın
09:08 EDT – Tahrik yüksek verim
09:09 EDT – Yazılım şeffaf
09:09 EDT – Termal Genleşme
09:09 EDT – Normal teknoloji, termal genleşme yoluyla çok fazla mekanik stres
09:09 EDT – Özel konektör geliştirildi
09:09 EDT – Konektör ısıl genleşmedeki değişimi emer
09:10 EDT – Tüm bileşenlerin hassas şekilde hizalanması gerekir – özel paketleme araçları
09:10 EDT – Güç ve Soğutma
09:11 EDT – Güç uçakları çalışmıyor – PCB’de bu şekilde yapmak için yeterli bakır yok
09:11 EDT – Doğrudan hava soğutması için ısı yoğunluğu çok yüksek
09:12 EDT – Gofrete dik akım getirin. Su da dikey olarak soğutulur
09:14 EDT – Sorular ve Cevaplar
09:14 EDT – S ve A
09:14 EDT – Çoktan kullanımda? Evet
09:15 EDT – Yuvarlak bir çip yapabilir misin? Kare daha uygun
09:15 EDT – Yol ver? Olgun süreçler oldukça iyi ve tekdüze
09:16 EDT – Bir evden daha mı pahalı? Her şey gofret boyunca itfa edilir
09:17 EDT – Temizlik için düzenli işlemci? Hepsi yapabilir
09:17 EDT – Tamamen senkronize mi? Yok hayır
09:20 EDT – Saat oranı? Açıklanmamış
09:20 EDT – Bu bir şal. Sıradaki Habana
