Gönderiyi okuyorsunuz: Salesforce AI, derin tahmin modellerini anında öğrenebilen, derin zaman serisi tahmini için FSNet’i (Hızlı ve Yavaş Öğrenme Ağı) geliştirdi.
Geçmiş verilere dayalı olarak gelecekteki değerlerin tahmin edilmesi olarak da bilinen zaman serisi tahmini, hava tahmini ve anormallik tespitinden enerji kullanımı, takip ve sistem izlemeye kadar birçok gerçek dünya sorununun çözümünde kritik öneme sahiptir. Verilere erişimin ve hesaplama gücünün artmasıyla birlikte son teknolojik gelişmeler nedeniyle, zaman serisi tahmini söz konusu olduğunda derin öğrenme (DL) uygulamaları giderek geleneksel yöntemlerin yerini alıyor. Geleneksel tahmin tekniklerinin aksine, DL modelleri daha karmaşık hiyerarşik gösterimleri ve bağımlılıkları öğrenebilir, böylece özellik mühendisliği ve manuel model oluşturma gereksinimi azalır.
Ancak son zamanlardaki başarılarına rağmen, canlı zaman serilerinin sıralı olarak geldiği birçok gerçek dünya uygulaması, zaman serisi tahmini için DL yaklaşımlarını kullanacak şekilde ölçeklenemez. Bunun nedeni, kavram sapmasını önlemek için tahmin modelinin hızlı bir şekilde güncellenmesi gerektiğidir. Sabit olmayan ortamlara uyum sağlama ve önceden öğrenilen bilgileri koruma konusundaki zayıf yetenekleri nedeniyle, klasik toplu öğrenme paradigmasını takip eden DL modellerinin anında eğitilmesi çok zordur. Yeni eğitim örneklerinin kullanılması, tüm veri kümesinin yeniden eğitilmesini gerektirir. Araştırmacılara göre başarılı çözümler elde etmek için yeni ve tekrarlanan kalıplardaki değişikliklerin iyi yönetilmesi gerekiyor.
Çevrimiçi öğrenme, standart çevrimdışı öğrenme paradigmalarının aksine, sıralı olarak gelen verilerden modelleri aşamalı olarak öğrenmeyi amaçlamaktadır. Yeni eğitim verileri alındığında modeller, geleneksel toplu öğrenmenin sınırlamalarının üstesinden gelmek için hızlı ve etkili bir şekilde güncellenebilir. Ancak çevrimiçi güncellemelere uyum sağlamak için derin tahmin modeli optimize edicilerinde küçük ayarlamalar yapmak kolay değildir. Yavaş yakınsama ve verimsiz örüntü öğrenme ortaya çıkan iki ana sorundur.
Kavram kayması meydana geldikçe, derin sinir ağlarının veri akışlarında başarılı öğrenmeyi mümkün kılacak bir mekanizmaya ihtiyacı vardır ve karmaşık bir model, bu yeni kavramları yakalamak için çok daha fazla eğitim örneğine ihtiyaç duyacaktır. Mini toplu veya çok dönemli eğitim gibi çevrimdışı eğitim avantajlarının bulunmaması nedeniyle, DL sinir ağlarının veri akışları üzerinde eğitimi yavaş bir şekilde birleşir. Zaman serisi verileri sıklıkla, önceki bir modelin kaybolup gelecekte yeniden ortaya çıkabileceği yinelenen modelleri gösterir. Ancak DL ağları, yıkıcı unutma olgusu nedeniyle önceki bilgileri koruyamaz. Bu, etkisiz örüntü tanımaya yol açarak performansı daha da azaltır.
Hızlı ve Yavaş Öğrenme Ağı (FSNet), Salesforce Research’ün çevrimiçi tahminlerle ilgili sorunları çözmek için oluşturduğu son teknoloji ürünü bir çerçevedir. Tamamlayıcı Öğrenme Sistemleri (CLS) teorisini temel alan çerçeve, son değişikliklere hızlı uyum sağlamayı ve ilgili eski bilgileri geri almayı dinamik olarak dengeleyerek, yavaş öğrenme omurgasını geliştirir. FSNet, özellikleri nedeniyle çok sayıda veri setinde ümit verici bir performans sergilemektedir. Akış verilerini yönetebilir, gerçek zamanlı zaman serisi verilerini kullanarak tahminde bulunabilir ve yinelenen ve değişen kalıplara göre ayarlama yapabilirsiniz.
Derin sinir ağlarının temel sorunlarından biri olan yıkıcı unutma, FSNet ile çözülüyor. FSNet, son değişikliklere hızlı adaptasyonu dinamik olarak dengeleyerek ve ilgili geçmiş bilgileri alarak yavaş öğrenme omurgasından daha iyi performans gösterir. İki tamamlayıcı unsurun etkileşimi bu yöntemi başarır: her katmanın kayba ne kadar katkıda bulunduğunu izleyen bir bağdaştırıcı ve tekrarlanan olayların ezberlenmesini, güncellenmesini ve geri getirilmesini destekleyen bir ilişkisel bellek.
Her bir ara katman, özellikle fikir sapması oluştuğunda, ardışık örnekler arasındaki zamansal bilgileri simüle eden katman başına adaptör sayesinde daha az veri örneğiyle daha etkili bir şekilde yerleştirilebilir. Tekrarlanan olaylarla karşılaşıldığında hızlı model öğrenmeye yardımcı olmak için bağdaştırıcı, geçmiş eylemleri almak ve güncellemek üzere belleğiyle etkileşime girer. İlişkisel bellek, eğitimle ilgili modelin önemini ve tekrarını saklayarak FSNet’in önceden öğrenilen bilgileri sürekli olarak çağırmasına olanak tanır. FSNet’in fikir sapmalarını doğrudan tespit etmek yerine mevcut verilerden öğrenmeyi geliştirmeye odaklandığını da belirtmekte fayda var.
FSNet yeni veri noktalarıyla karşılaştığında, hızlı öğrenme sayesinde tüm modül (adaptör + bellek), temel model parametreleri için güncellenmiş kuralı anında üretebilir. Buna karşılık, yavaş öğrenme, tipik sinir ağlarının her seferinde tek bir örnekle güncellenmesini içerir ve bu da ağların yavaş yavaş yakınlaşmasına neden olur. Son araştırmalar sığdan derine prensibinin uygulandığını gösterdi; sığ ağların daha az girdiyle daha etkili bir şekilde öğrenebildiğini veya verilerdeki değişikliklere daha hızlı uyum sağlayabildiğini gösterdi. Bu nedenle, bu durumlarda bilgi edinmek, sığ bir ağla başlayıp giderek derinliğini artırarak en iyisidir.
Ekip, mevcut kaybı daha iyi anlamak için her katmanı ayrı ayrı izledi ve ayarladı. Tek örnekli bir gradyan, zaman serisi verilerinin gürültüsü ve durağan olmaması nedeniyle çevrimiçi eğitim sırasında önemli ölçüde dalgalanabilir ve adaptasyon katsayılarına gürültü katabilir. Sonuç olarak, çevrimiçi eğitimdeki gürültü yumuşatıldı ve omurga gradyan üstel hareketli ortalaması (EMA) kullanılarak zaman serisindeki zamansal bilgiler yakalandı.
Zaman serisi verileri sıklıkla eski kalıpların yinelendiğini gösterdiğinden, öğrenme sonuçlarını iyileştirmek için geçmiş etkinlikleri kullanmak da önemli hale gelir. Bu durumda çağrışımsal bellek kullanılır. Bu etkileşim yalnızca gösterimde önemli bir değişiklik meydana geldiğinde başlatılır çünkü her adımda bellekle etkileşim kurmak maliyetli ve gürültüye maruz kalır. Belirli bir modelin gelecekte tekrarlanıp tekrarlanamayacağını ve bu modele önceden nasıl uyduğunu öğrenmek için FSNet ilgili meta bilgileri alır.
Sentetik ve gerçek dünya veri kümelerinde FSNet, geleneksel temel çizgilerden önemli ölçüde daha iyi performans gösteriyor. Farklı konsept sapmalarını ele alabilir ve daha yüksek kaliteyi korurken daha hızlı yakınsama sağlayabilir. Araştırmacılar, kayıp eğrilerinin keskin zirveleri nedeniyle çoğu veri setinde kavram sapmalarının meydana gelebileceğini buldu. Bu sapmaların çoğu, öğrenmenin ilk aşamalarında verilerin ilk %40’ında meydana geldiğinden, modeli yalnızca son veri bölümünde değerlendirmek (standart toplu eğitim sırasında gerçekleştirilir) aşırı iyimserlik olur. ECL ve Traffic veri setlerinde boyutlar içinde ve boyutlar arasında önemli ölçüde değişiklik gösterebilen eksik değerler nedeniyle, bu veri setlerinin deneysel değerlendirmeleri daha karmaşıktı. Bu bulgu, çevrimiçi zaman serisi tahminindeki zorlukları vurgulamaktadır ve bu zorlukların ele alınması, tekniğin daha da iyi performans göstermesine yardımcı olabilir.
Zaman serisi tahmini için umut verici ancak zorlu bir konu, çevrimiçi öğrenme ile derin öğrenmenin entegrasyonudur. Bağdaştırıcı ve ilişkisel bellek, FSNet’in sinir ağının omurgasına eklediği iki temel bileşendir. Zaman serisi tahmini, FSNet’in veri akışlarındaki yavaş yakınsama ve yıkıcı unutma gibi derin sinir ağı kısıtlamalarının üstesinden gelme yeteneğinden yararlanır. Zaman serisi tahmini yakın gelecekte giderek daha önemli hale gelecektir. Bu nedenle, FSNet araştırmasının hem makine hem de insan öğrenimi üzerinde önemli bir etkisi olabilir.
Gelecekteki makine öğrenimi sistemleri, derin sinir ağlarını bir ilişkisel bellek ve bir bağdaştırıcıyla birleştiren FSNet yöntemi gibi oluşturulabilir. Sürekli insan öğrenimine yönelik bir sinirbilim paradigması olan Tamamlayıcı Öğrenme Sistemleri (CLS) teorisi, FSNet’in tasarımına ilham verdi. FSNet araştırması, insanların nasıl öğrendiğine ilişkin teorileri geliştirerek, tam tersi yönde ilham ve içgörü sağlayabilir. Çerçevenin arkasındaki kod kendi adreslerinde bulunabilir. GitHub deposu.
Bu makale Marktechpost personeli tarafından ‘araştırma çalışmasına dayalı olarak bir araştırma özeti makalesi olarak yazılmıştır’ONLINE ZAMAN SERİSİ TAHMİNİ İÇİN HIZLI VE YAVAŞ ÖĞRENME‘. Bu araştırmanın tüm kredisi bu projenin araştırmacılarına aittir. Görüntüle kağıt, github Ve referans makalesi.
Lütfen katılmayı unutmayın ML alt dizimiz Ve ML Discord Kanalı
Yüzlerce Harika Yapay Zeka Aracını bulmak için https://aitoolsclub.com adresini ziyaret edin
