AI Modellerinin Haber Arama İşindeki Doğruluk Sorunları
Columbia Journalism Review’un Tow Center for Digital Journalism tarafından gerçekleştirilen kapsamlı bir araştırma, üretken yapay zeka modellerinin haber arama sürecinde ciddi doğruluk problemleri yaşadığını ortaya koydu. Araştırmada, canlı arama fonksiyonuna sahip sekiz farklı yapay zeka destekli arama aracı incelendi ve bu araçların, haber kaynaklarıyla ilgili verilen istemlerin %60’ından fazlasına yanlış yanıtlar ürettiği belirlendi.
Araştırmacılar, günümüzde Amerikalıların dörtte birinden fazlasının yapay zeka modellerini geleneksel arama motorlarına alternatif olarak kullandığını vurgulayarak, bu durumun hataların etkisini daha da önemli hale getirdiğini ifade ettiler. Araştırmada doğruluk oranlarındaki farklılıklar dikkat çekici bir şekilde ortaya çıktı. Örneğin, Perplexity platformu, verilen istemlerin %37’sinde yanlış bilgi sunarken, ChatGPT Search bu oranı %67’ye kadar çıkardı. Grok 3 ise %94 gibi çarpıcı bir hata oranıyla en kötü performansı sergileyen araç oldu.
Testler nasıl gerçekleştirildi?
Araştırmacılar, yapay zeka modellerini gerçek haber makaleleri ile sınamak amacıyla çeşitli istemler verdiler. Bu istemlerde, haber makalesinin başlığını, orijinal kaynağını, yayın tarihini ve URL’sini doğru bir şekilde tespit etmeleri istendi. Tüm testlerde, sekiz farklı arama aracıyla toplamda 1.600’den fazla istem kullanıldı. İlginç bir bulgu olarak, modellerin güvenilir bilgiye sahip olmadıkları durumlarda yanıt vermektense, gerçekçi görünümlü ancak hatalı ya da tahmine dayalı yanıtlar verdikleri gözlemlendi. Bu durum, incelenen tüm modellerde ortak bir sorun olarak öne çıktı.
Ücretli modeller, ücretsiz sürümlerden daha mı kötü?
Araştırma, ücretli hizmetlerin beklenildiği gibi her zaman ücretsiz sürümlerden daha iyi performans göstermediğini ortaya koydu. Örneğin, aylık 20 dolarlık Perplexity Pro ve 40 dolarlık Grok 3 Premium hizmetleri, ücretsiz sürümlerine kıyasla daha sık ve daha kendinden emin hatalar üretti. Bu modeller, daha fazla sayıda isteme yanıt verme eğiliminde olsalar da, yanıtlarını reddetmemeleri hata oranlarını artırdı.
Araştırmacılar ayrıca, bazı yapay zeka araçlarının yetkisiz erişimi önlemeye yönelik ayarları dikkate almadıklarını fark ettiler. Örneğin, Perplexity’nin ücretsiz sürümü, National Geographic’in açık bir şekilde izin vermemesine rağmen, ücretli içeriklerden 10 tanesini doğru bir şekilde tanımlamayı başardı. Ayrıca sıkça karşılaşılan sorunlar arasında, alıntı yapılan yazılarda orijinal kaynağı göstermek yerine Yahoo News gibi başka sitelere bağlantı verme ve hatalı ya da geçersiz bağlantılar sağlama gibi durumlar yer aldı.
Yorum Bırakın