Şu yazıyı okuyorsunuz: NLP’de Herkesin Okuması Gereken 5 Önemli Makale: Yapay Zekaya Doğru
İlk olarak dünyanın önde gelen yapay zeka ve teknoloji haber ve medya şirketi Towards AI’da yayınlandı. Yapay zeka ile ilgili bir ürün veya hizmet yaratıyorsanız sizi yapay zeka destekçisi olmayı düşünmeye davet ediyoruz. Towards AI’da yapay zeka ve teknoloji girişimlerinin ölçeklenmesine yardımcı oluyoruz. Teknolojinizi kitlelere ulaştırmanıza yardımcı olalım.
NLP alanındaki önemli makaleleri vurgulayan bir blog
Bu blog, her makine öğrenimi meraklısının okuması gereken, doğal dil işlemeyle ilgili 5 makaleyi tartışacak. Gazete okumaya başlayalı epey zaman oldu ama hâlâ ara sıra yapıyorum. Bunun, ML/NLP meraklılarını alandaki önde gelen makalelerden bazılarıyla tanıştırmak için iyi bir fırsat olduğunu düşündüm.
1. Kelime vektörlerinin doğuşu: Peters ve ark.
Word2vec ve Doğal Dil İşleme uygulamaları hakkında çok şey söylendi. Ancak çok az kişi word2vec’in kelime vektörleri oluşturmaya yönelik ilk girişim olmadığını biliyor. Aslında bu, birçok nesil kelime vektör modelinden yalnızca biridir. Bu makalede, kelime vektörlerinin geçmişini kısaca anlatacağım ve kaynak materyallerine bağlantılar sunacağım, böylece onları keşfedebilir ve kelime vektör modellerinin evrimini anlayabilirsiniz.
Kelime Vektörleri: Dil İşlemede Yeni Bir Boyutun Doğuşu (Peters ve ark.) Bu makalede Peters ve ark. 300 boyutlu bir uzay kullanarak kelimeleri temsil etmek için yeni bir yaklaşım öneriyoruz. Bu yöntem, kelime benzetmesi, kelime benzerliği ve kelime benzerliği görevleri gibi çok çeşitli NLP uygulamalarında kullanılabilir. Makalede bunların pratikte nasıl kullanılabileceği ve farklı NLP uygulamalarına nasıl uygulanabileceği açıklanmaktadır.
2. Dili anlamak için tekrarlayan sinir ağlarının yükselişi: Louis-Sanchez ve ark.
Sınıflandırma, analiz ve cümle oluşturma için tekrarlayan sinir ağlarının (RNN) kullanımını araştırıyoruz. RNN’ler, doğal dil işleme görevleri için çok önemli olan uzun vadeli bağımlılıkları öğrenmek için uygundur, ancak son zamanlarda yıkıcı unutmaya karşı savunmasız oldukları gösterilmiştir. Bu sorunu çözmek için doğrulukta önemli gelişmeler sağlayan çeşitli yaklaşımlar öneriyoruz. Ayrıca RNN’lerin, uzun giriş dizileri için bile dil modelleme görevlerinde rekabetçi performans elde edebildiklerini de gösterdik.
Sinir ağlarındaki son gelişmeler, giriş cümlesinin yapısını temsil etmek için tipik olarak tekrarlayan bir sinir ağının (RNN) kullanıldığı doğal dil işleme (NLP) bağlamında yapılmıştır. Bu makale, denetimsiz duyarlılık sınıflandırması, cümle sıkıştırma ve açıklama oluşturma dahil olmak üzere bir dizi ufuk açıcı RNN tabanlı NLP görevini incelemektedir. Makale ayrıca RNN ile ilgili bir takım zorlukları tartışıyor ve zamansal ve bağlamsal bağlama ve yapılandırılmış tahmin alanlarındaki son çalışmaları vurguluyor.
Tekrarlayan sinir ağları son zamanlarda doğal dil işlemede (NLP) birçok yeni yönelimin odak noktası olmuştur. Bu makale dilin anlaşılmasında tekrarlayan sinir ağı mimarilerinin avantajlarını ve sınırlamalarını araştırıyor. Yazarlar, diğerlerinin yanı sıra, tekrarlayan sinir ağı mimarilerini uzun kısa süreli bellek (LSTM) mimarileriyle karşılaştırmaktadır. Ayrıca tekrarlayan sinir ağlarının NLP için avantajlarını da tartışıyorlar.
3. Derin sinir ağları ve ağaç araması ile Go oyununda ustalaşmak: Silver ve ark.
Derin öğrenme, makine öğrenimi ve yapay zekanın birçok alanında devrim yaratıyor. Bu makalede yazarlar, derin sinir ağlarını kullanarak Go oynama sorununa yeni bir yaklaşım anlatıyorlar. Go, tahtadaki olası pozisyonların çokluğu, tahta pozisyonlarını değerlendirmenin zorluğu ve bir sonraki hamlenin hangisi olacağını düşünme ihtiyacı nedeniyle yapay bir oyuncu için oynaması en zor oyunlardan biri olarak kabul edilir. Yazarların yaklaşımı, olası tahta pozisyonlarının alanını araştırabilecek ve ardından pozisyonları değerlendirmek ve yapılacak hamleyi seçmek için ikinci bir sinir ağını kullanabilecek bir sinir ağı oluşturmaktır. Bu yaklaşım, programın tüm pozisyonları değerlendirmesine kıyasla çok daha fazla hareketi keşfetmesine olanak tanır. Yazarlar programlarını denetimli öğrenme ve kendi kendine oynama kombinasyonunu kullanarak eğittiler.
Bu sayfada Go bilgisayar oyununun en iyi insan oyuncusunu yenme konusundaki son gelişmeleri inceliyoruz. Öncelikle oyuna, tarihsel önemine ve yapay zeka tarihindeki bazı önemli dönüm noktalarına genel bir bakış sunuyoruz. Daha sonra AlphaGo’nun sinir ağı mimarisini, eğitim metodolojisini ve donanım uygulamasını tartışıyoruz. Ayrıca AlphaGo’da kullanılan ağaç arama fonksiyonunun detaylarını da inceliyoruz. Son olarak AlphaGo’nun sınırlamalarını ve yapay zekanın geleceğine yönelik beklentileri tartışıyoruz.
4. Hizalamak ve tercüme etmek için topluluk öğrenimini kullanan sinirsel makine çevirisi: Mikolov ve ark.
Bu makale sinirsel makine çevirisi fikrini tanıtıyor. Bu, sinir ağlarının iki dilli verilere ihtiyaç duymadan bir dilden diğerine (İngilizceden Fransızcaya ve tersi) çeviri yapabildiğini gösteriyor. Buradaki fikir, öncelikle bir sinir ağı kullanarak her iki dildeki giriş cümlelerini hizalamak ve ardından hizalanmış cümleleri bir dilden diğerine çeviri yapan bir sinir ağına göndermektir.
Son zamanlarda makine çevirisi (MT) sistemleri, büyük paralel derlemler ve güçlü evrişimli sinir ağlarının yardımıyla birçok dil çiftinde en gelişmiş performansı elde etti. Ancak bu sistemlerin eğitimi pahalıdır ve genellikle haftalarca CPU süresi gerektirir. Doğruluğu korurken eğitimi hızlandırmanın bir yolu, hizalama ve çeviriyi birlikte öğrenmektir; bu, hizalama ve çeviri bileşenlerini öğrenmek için gereken eğitim örneklerinin sayısını azaltır. Bununla birlikte, hizalama ve çeviriyi ortaklaşa öğrenmeye yönelik mevcut yaklaşımlar, hizalamayı ağ mimarisine dahil etmenin ilkeli bir yolundan yoksundur, bu da onların hizalama yapısını yakalamasını engeller. Bu yazıda, hizalama ve öteleme arasındaki istatistiksel mesafeyi ve yanlış hizalama kaybını aynı anda en aza indirerek hizalama ve ötelemeyi ortaklaşa öğrenmeyi öneriyoruz. Eğitilmesi kolay ve birden fazla dil çiftinde en son teknolojiye sahip sonuçlar sağlayan yeni bir hizasızlık kaybı öneriyoruz.
5. Görüntü sınıflandırması için derin sinir ağları: Deng ve ark.
Derin öğrenme hemen hemen her şirkette ve web sitesinde kullanılan bir terimdir. Ama gerçekten ne anlama geliyor? Bunun gelişmiş bir web sitesiyle veya ziyaretçileriniz için daha iyi bir deneyimle ne ilgisi var? Çoğu kişi, web sitelerinin web sitesi dışındaki yaşamlarını ne kadar etkilediğinin farkında değildir, ancak harika bir kullanıcı deneyimi (UX) çoğu zaman dönüşümlere yol açabilir. Derin öğrenme, beynin yapısını taklit etmeyi amaçlayan bir öğrenme algoritmaları ailesidir. Bu yazı, Doğal Dil İşleme için Derin Öğrenme (NLP) alanındaki en önemli makalelerden beşini vurgulamaktadır.
Derin öğrenme bu yıl NLP topluluğunda sıcak bir konu oldu. Derin öğrenme, ham verilerden üst düzey özellikleri öğrenebildiği söylenen özel bir sinir ağı stilidir. Bu yazıda yazarlar, geniş bir ImageNet görüntü veri seti üzerinde çeşitli sinir ağlarını (tekrarlayan sinir ağları dahil) eğitmektedir. Çeşitli ağları eğitiyorlar ve eğitimden sonra doğrulama setindeki performanslarını karşılaştırıyorlar. Nispeten az miktarda veriyle eğitilmiş derin bir sinir ağının, tekrarlayan sinir ağları, kısa süreli bellek ağları ve evrişimli sinir ağları gibi diğer çeşitli sinir ağlarından daha iyi performans gösterdiğini buldular. Yazarlar ayrıca derin sinir ağlarının sığ sinir ağlarından daha iyi performans gösterdiğini de bulmuşlardır. Yazarlar, derin ağların görsel kavramları tanımlayabildikleri için iyi çalıştığını ve bu yeteneğin görüntü sınıflandırması için çok önemli olduğunu öne sürüyorlar.
Çözüm:
Bu belgeler NLP’nin temellerini anlamanıza yardımcı olacaktır.
NLP’de Herkesin Okuması Gereken 5 Önemli Makale ilk olarak Towards AI on Medium’da yayınlandı; burada insanlar bu hikayeyi vurgulayarak ve ona yanıt vererek sohbeti sürdürüyorlar.
Towards AI aracılığıyla yayınlandı
