Şu yazıyı okuyorsunuz: Stanford’daki yapay zeka araştırmacıları, algoritmik denetimi etkilenen toplulukların kullanımına sunacak bir araç geliştirdi
En son teknolojik gelişmelere rağmen yapay zeka hâlâ tamamen tarafsız veya etik açıdan %100 doğru sonuçlar üretemiyor. Sosyal medya gönderileri veya otomatik olarak oluşturulan işe alma ve kredi seçenekleri aracılığıyla önyargılı arama sonuçları sunulduğunda, sıradan bir insanın yapabileceği eylem sınırlıdır. İnsanların yapabileceği en fazla şey, platformu boykot ederek veya algoritmadan sorumlu olanların gerekli düzeltmeleri yapacağı umuduyla olayı bildirerek öfkelerini ifade etmektir. Ancak bu çoğu zaman boşa gider. Öte yandan gazetecilerin ve araştırmacıların ellerinde gerekli düzenlemeleri yapabilecek bol miktarda teknik kaynak bulunmaktadır. Önyargılı sonuçlara yol açan girdileri belirlemek amacıyla algoritmik sistemi analiz edebilirler. Bu tür algoritmik denetimler, etkilenen toplulukların olumsuz algoritmaları kullananları sorumlu tutmasına yardımcı olabilir.
Algoritmaların etkilerine ilişkin daha kapsamlı bir inceleme yapmak amacıyla, Stanford’un İnsan Merkezli Yapay Zeka (HAI) Laboratuvarı’ndaki araştırmacılar ve profesörler, algoritmik denetim araçlarını düzenli çalışanların eline bırakan bir çalışmaya öncülük etmek üzere Pennsylvania Üniversitesi ile işbirliği yaptı. profesyoneller. özellikle etkilenen topluluklardan insanlar. Ekip, ortak çalışmaları için bir kavram kanıtı olarak son kullanıcıların Perspective API’sini denetlemesine olanak tanıyan web tabanlı bir araç olan IndieLabel’i geliştirdi. Bunu yapmanın temel amacı, sıradan insanların bir sistemin neyi yanlış yaptığına ilişkin genel sistematik ifadeleri ortaya çıkarıp çıkaramayacağını ve daha önce tanımlanmamış diğer önyargı sorunlarını tespit edip edemeyeceğini belirlemekti.
Araştırma ekibi, bir içerik denetleme ortamında yalnızca Perspective API’ye odaklanarak stratejilerini test etmeye karar verdi. Perspektif API, metnin zehirlilik derecesini gösteren popüler bir içerik denetleme tekniğidir. The New York Times ve El País’in de aralarında bulunduğu birçok saygın içerik sağlayıcı, belirli içerikleri manuel inceleme için işaretlemek, zararlı olarak etiketlemek veya otomatik olarak reddetmek amacıyla Insight API’yi sıklıkla kullanıyor. Ayrıca Perspective API, teknik uzmanlar tarafından zaten bir denetime tabi tutulduğundan, son kullanıcı denetçilerinin denetim sürecine uzmanlardan farklı şekilde nasıl yaklaşabileceğini karşılaştırmak için bir temel sağlar.
Tam bir veri seti için IndieLabel, son kullanıcı denetçinin içerik zehirliliğine ilişkin algılarını simüle eder ve kullanıcıların, denetçinin Perspective API’sinin nerede farklılaştığını görmek için daha derinlemesine incelemesine olanak tanır. IndieLabel’in önemli bir ayrım yaptığı nokta burasıdır çünkü genellikle model bir karşılaştırma noktası olarak kullanılır ve kullanıcı yorumları buna göre ölçülür. Ancak bu durumda kullanıcının görüşü, modelin karşılaştırılacağı bir kriter olarak kabul edilir. Yaklaşık 20 içerik örneğine öncelikle son kullanıcı denetçisi tarafından “hiç zararlı değil”den “çok zehirli”ye kadar 5 puanlık bir etiket verilir. 20 mütevazı bir miktar gibi görünse de ekip, denetçinin çok daha büyük bir veri setini etiketlemesini öngören bir modeli eğitmenin yeterli olduğunu gösterdi. Eğitim aşamasından sonra denetçi, modelini geliştirmek için denetime devam edebilir veya ek numuneleri toksisite olarak puanlayabilir.
Denetim süreci sırasında kullanıcılar, açılır menüden bir konu alanı seçmekte veya denetim için kendi benzersiz konularını tasarlamakta özgürdür. Bundan sonra IndieLabel, Perspective API’nin bir konuya ilişkin toksisite tahmininin kullanıcının bakış açısına göre farklılık gösterdiği durumları gösteren bir histogram oluşturur. Denetçi, geliştiriciye vermek üzere örnekleri inceleyebilir ve sistemin davranışını daha iyi anlamak için bunların kullanıcı açısından neden tehlikeli olup olmadığını açıklayan notlar alabilir.
IndieLabel’in değerlendirilmesi için çalışma ekibine teknik olmayan 17 denetçi yardımcı oldu. Sürece katılanlar, resmi denetimlerin daha önce tespit ettiği sorunları tekrarladılar ve damgalamayı destekleyen gizli nefret eylemlerinin küçümsenmesi ve dışlanmış gruplar tarafından benimsenen iftiraların abartılması gibi daha önce rapor edilmemiş sorunlardan bahsettiler. Ayrıca, zihinsel engelli kişiler için aşağılayıcı terimlerin kullanımının sınırlandırılması gibi, katılımcıların aynı denetim konusuna ilişkin görüşlerinin farklılaştığı durumlar da vardı.
Ekip ayrıca algoritma geliştiricilerin, son kullanıcı denetimlerini, uygulamadan önce algoritma oluşturma sürecinin başlarında bir sisteme dahil etmesinin önemini vurguluyor. Geliştiricilerin, sistemlerinin oluşturulduğu topluluklara çok daha fazla dikkat etmeleri ve sistemlerinin tartışmalı sorunlu alanlarda nasıl hareket edeceğini erkenden düşünmeleri çok önemli olacaktır. Bu, şikayetlerin derhal geliştiriciye gönderildiği ve geliştiricinin herhangi bir hasar meydana gelmeden sistemi değiştirebileceği doğrudan bir geri bildirim döngüsünün kurulmasına olanak tanıyacaktır. Örneğin IndieLabel’in yaklaşımı, bir sosyal medya şirketinin feed sıralama algoritmasını veya büyük bir şirketin aday değerlendirme modelini incelemek üzere değiştirilebilir.
Ekip ayrıca yakın gelecekte harici üçüncü taraf platformlarda son kullanıcı denetimlerine ev sahipliği yapmayı hedefliyor. Bu denetimler, öncelikle bir veri kümesinin edinilmesini gerektirecektir. Bu, son kullanıcı denetimlerinin tüm topluluklar tarafından erişilebilir olmasını sağlayacaktır. Prosedür zaman alıcı olsa da, algoritma geliştiricisinin belirli bir sorunu çözmeyi reddettiği durumlarda gerekli olabilir. Bu yine de, eterde kaybolacak anekdotsal bir şikayeti dağıtma şeklindeki önceki stratejiden çok daha iyi olurdu, ancak bu, geliştiricilerin artık ayarlamaları uygulamak için kamuoyu baskısına güveneceği anlamına geliyor.
