Şu yazıyı okuyorsunuz: Sebepler ve çözümler: Yapay zekaya doğru
İlk olarak dünyanın önde gelen yapay zeka ve teknoloji haber ve medya şirketi Towards AI’da yayınlandı. Yapay zeka ile ilgili bir ürün veya hizmet yaratıyorsanız sizi yapay zeka destekçisi olmayı düşünmeye davet ediyoruz. Towards AI’da yapay zeka ve teknoloji girişimlerinin ölçeklenmesine yardımcı oluyoruz. Teknolojinizi kitlelere ulaştırmanıza yardımcı olalım.
Bu yazımızda aşağıdaki soruyu cevaplayarak aşırı uyum kavramını makine öğrenimi alanına göre anlayacağız.
- Önyargı ve varyans nedir?
- Aşırı uyum nedir?
- Aşırı uyumun nedenleri nelerdir?
- Aşırı uyum problemini nasıl çözebiliriz?
Önyargı ve varyans nedir?
Eğim:
Önyargı, bir modelin bağımlı ve bağımsız değişkenler arasındaki gerçek ilişkiyi yakalayamamasının ölçüsüdür. Daha basit bir ifadeyle önyargı, gerçek ve tahmin edilen değerlerimiz arasındaki farktır.
Yüksek önyargı: Bu, modelin bağımlı ve bağımsız değişkenler arasındaki ilgili ilişkileri yakalayamadığı anlamına gelir ve bu da eğitim verilerinin kendisinde zayıf tahmin sonuçlarına yol açar.
Düşük bas: Bu, modelin bağımlı değişken hakkında daha az varsayım içerdiği anlamına gelir. Basit bir deyişle, model eğitim verilerini sınırladığında.
Fark:
Varyans, farklı veri noktaları olması durumunda amaç fonksiyonu tahmininin ne kadar değişeceğinin ölçüsüdür. Varyans, önyargının tam tersidir.
Yüksek Varyans: Bu, bağımlı değişkeni gördüğü için modelin eğitim verileri sırasında iyi performans gösterdiği, ancak yeni veri noktaları eklediğimizde modelin düşük performans gösterdiği anlamına gelir.
Düşük Varyans: Bu, model tahmin etmek için daha genelleştirilmiş bir tahmin fonksiyonu kullanabileceğinden, yeni veri noktaları eklediğimizde modelin iyi performans gösterdiği anlamına gelir.
İdeal olarak, iyi bir makine öğrenimi modeli için önyargı ve varyansı anladığımızda, düşük önyargı ve varyansa ulaşmak istiyoruz. Ancak önyargı ve varyans arasında bir denge olduğundan bunu başarmak çok daha zordur.
Önyargı ve varyans arasındaki denge:
Önyargı ve varyans arasındaki ilişki ters orantılıdır; bu, önyargıyı azaltmaya çalıştığımızda varyansın otomatik olarak artacağı veya bunun tersi anlamına gelir. Bu fenomen iki ana soruna neden olur: Birincisi yetersiz uyum, ikincisi ise bu makalenin ana konusu olan aşırı uyumdur.
Aşırı uyum nedir?
Aşırı uyum bir sorundur veya model eğitimi sırasında karşılaştığımız bir zorluk da diyebilirsiniz. Bu, model çok düşük sapma ve çok yüksek varyans sağladığında meydana gelir. Daha basit bir deyişle, aşırı uyum, modelimiz eğitim verilerini o kadar iyi kısıtladığında, aynı zamanda veri setimizdeki gürültü ve yanlış veri girişleri üzerinde de eğitim vererek set üzerinde yüksek doğruluk ve düşük kayıp sağladığında ortaya çıkar (Düşük Önyargı’nın ideal durumu) . Ve aynı modeli yeni test verileriyle tanıttığımızda, bu çok düşük hassasiyet ve çok yüksek kayıpla sonuçlanır (yüksek varyanslı ideal durum).
Makinenin nihai amacı daha önce kimsenin görmediği yeni gelecek senaryolarını tahmin etmek olduğundan, aşırı uyum hiçbir makine öğrenimi modeli için iyi değildir. Ancak aşırı uyum, modelin yeni veri noktalarında çok zayıf tahminlerde bulunmasına neden olur. Bu nedenle, modelin eğitim verilerine fazla uyum sağlamasına neden olan nedenleri anlamamız gerekiyor.
Aşırı uyumun nedenleri nelerdir?
1. Gürültülü veriler veya hatalı veriler
Modelimizi gürültülü veya hatalı verilerle eğitirsek, bu verilerle iyi sonuçlar verebilir ve aynı zamanda düşük önyargıya sahip olabilir. Ancak tahmin etmek için modele yeni görünmeyen verileri yeniden eklersek, bu durum doğruluğu azaltabilir ve varyansı artırabilir.
Yukarıdaki görselde de görebileceğimiz gibi eğitim verilerinde bazı gürültülü veri noktaları mevcut ve model aşırı uyum eğiliminden dolayı bu noktaları bile sığdırmaya çalışıyor. Ancak bunu test verileriyle test ettiğimizde kırmızı çizginin verilere doğru şekilde uyduğunu görüyoruz.
2. Azaltılmış eğitim veri boyutu
Aşırı uyum, verinin boyutundan kaynaklanır. Ne kadar çok veri olursa modelin o kadar çok öğreneceğini biliyoruz, bu nedenle daha iyi tahminler vermeye çalışıyoruz. Eğitim verileri düşükse model tüm senaryoları veya olasılıkları keşfedemeyecektir. Bu, modelin yalnızca verilen verilere uymasını sağlar, ancak onu görünmeyen verilerle tanıttığımızda tahmin doğruluğu azalacak ve varyans da artacaktır.
3. Model karmaşıklığı
Aşırı uyum aynı zamanda modelin sonucu tahmin etmek için oluşturduğu tahmin fonksiyonunun karmaşıklığından da kaynaklanmaktadır. Model ne kadar karmaşık olursa, verilere gereğinden fazla uyma eğilimi de o kadar artacaktır. bu nedenle önyargı düşük olacak ve varyans daha yüksek olacaktır.
Yukarıdaki resim tam gelişmiş bir karar ağacı tarafından oluşturulan karar sınırını göstermektedir. Görebildiğimiz gibi, sınırlar çok daha düzgün değil ve karar ağacı çok karmaşık olduğundan aşırı uyum açıkça görülüyor.
Aşırı uyum problemini nasıl çözebiliriz?
1. Eğitim verilerinin boyutunu artırın
Daha önce tartıştığımız gibi, düşük eğitim verileri, modelin tüm olasılıkları araştıramaması nedeniyle aşırı uyuma yol açmaktadır. Bu nedenle eğitim verilerinin boyutunun arttırılması aşırı uyum sorununun azaltılmasına yardımcı olacaktır.
2. Verileri mümkün olduğunca temizleyin
Eğitimden önce her zaman verileri temizlememiz ve ön işlememiz gerekir. Temizleme, verilerden aykırı değerlerin çıkarılması, bağımsız değişkenler arasındaki çoklu bağlantının ele alınması, eksik değerlerin ele alınması vb. anlamına gelir.
3. Düzenlileştirme yöntemlerinin kullanımı
Düzenleme, maliyet fonksiyonuna bir miktar ceza terimi ekleyerek bir makine öğrenimi modelinin öğrenmesini sınırlamak için kullanılan bir tekniktir. Genel modelin işlevinin genelleştirilmesine yardımcı olur ve böylece aşırı uyum sorununu azaltır.
Üç tür Düzenlileştirme yöntemi vardır:
- L1 Düzenlemesi
- L2 Düzenlemesi
- Elastik ağ ile düzenleme
L1 Düzenlemesi: Buna LASSO Düzenlemesi de denir. En Az Mutlak ve Seçim Operatörü anlamına gelir. Her bir özelliğin ağırlığını lambda ile çarparak bunu hesaplayabiliriz. Bu terim maliyet fonksiyonuna eklenecektir.
Sırt regresyonundaki maliyet fonksiyonunun denklemi şu şekilde olacaktır:
L2 düzenlemesi: Ayrıca sırt düzenlemesi de denir. Bunu lambdayı her bir özelliğin kare ağırlığıyla çarparak hesaplayabiliriz. Bu terim maliyet fonksiyonuna eklenecektir.
Sırt regresyonundaki maliyet fonksiyonunun denklemi şu şekilde olacaktır:
Elastik ağ ile düzenleme: Bu düzenleme, L1 ve L2 terimlerinin her ikisinin de maliyet fonksiyonunda birleştirilmesinden başka bir şey değildir. Sırt regresyonundaki maliyet fonksiyonunun denklemi şu şekilde olacaktır:
4. Hiperparametre ayarı
Aşırı uyum sorununu ilgili modelin hiperparametresini basitçe döndürerek de çözebiliriz. Örneğin, Karar Ağacı çoğunlukla aşırı uyum sorunuyla karşı karşıyadır. Dolayısıyla, ağacın derinliğini sınırlamak veya ağacın alt düğümlerini sınırlamak vb. gibi model tarafından sağlanan farklı hiperparametreleri kullanırsak.
Derin Sinir Ağları durumunda, Overfitting’in üstesinden gelmek için erken durdurma ve bırakma gibi teknikleri kullanabiliriz.
5. Topluluk tekniklerini benimseyin
Topluluk teknikleri hem önyargıyı hem de varyansı azaltmaya yardımcı olarak aşırı uyum sorunlarını azaltır. Topluluk teknikleri hakkında daha fazla bilgi edinmek isterseniz aşağıdaki bağlantıya tıklayın.
Topluluk teknikleri hakkında her şey
Bu makaleyi faydalı bulduysanız lütfen beğenin ve paylaşın. Ayrıca Makine Öğrenimi ve Derin Öğrenme ile ilgili daha fazla içerik için beni ortamdan takip edin.
Aşırı Uyum: Nedenler ve Çözümler ilk olarak Medium’da Towards AI’da yayınlandı; burada insanlar bu hikayeyi vurgulayarak ve yanıtlayarak sohbeti sürdürüyorlar.
Towards AI aracılığıyla yayınlandı
