BMJ Open dergisinde yayımlanan araştırmada, bilim insanları beş farklı yapay zeka sohbet botuna kanser, aşılar, kök hücre tedavileri, beslenme ve atletik performans gibi konularda toplam 50 tıbbi soru yöneltti. İncelenen platformlar arasında ChatGPT, Gemini, Grok, Meta AI ve DeepSeek yer aldı.
Uzman değerlendirmesine göre, verilen yanıtların yüzde 20’si “yüksek derecede sorunlu”, yüzde 50’si “sorunlu”, yüzde 30’u ise “kısmen sorunlu” olarak sınıflandırıldı.
Araştırma sonuçları, sohbet botlarının sunduğu bilgilerin çoğu zaman güvenilir kaynaklara dayanmadığını gösterdi. İncelenen yanıtların hiçbirinde tamamen doğru bir referans listesi bulunmazken; yanlış yazar isimleri, çalışmayan bağlantılar ve hatta uydurma makalelere sıkça rastlandı.
Platformlar arasında en yüksek hata oranı yüzde 58 ile Grok’ta görülürken, onu yüzde 52 ile ChatGPT ve yüzde 50 ile Meta AI izledi. Özellikle beslenme ve atletik performans gibi alanlarda hataların daha sık olduğu tespit edildi.
AÇIK UÇLU SORULAR DAHA RİSKLİ
Araştırmada, yapay zekanın “doğru-yanlış” gibi kapalı uçlu sorularda daha başarılı olduğu, ancak açık uçlu sorularda hata oranının ciddi şekilde arttığı belirlendi. Bu tür sorulara verilen yanıtların yüzde 32’si yüksek derecede sorunlu bulundu.
Uzmanlar, yapay zeka modellerinin gerçek anlamda bilgiye sahip olmadığını, yalnızca eğitim verilerine dayalı istatistiksel tahminler yaptığını vurguladı. Bu veriler arasında bilimsel makalelerin yanı sıra forumlar ve sosyal medya içeriklerinin de bulunması, hatalı sonuçların temel nedenlerinden biri olarak gösteriliyor.
KULLANICILAR İÇİN RİSK ARTIYOR
Nature Medicine dergisinde yayımlanan ayrı bir çalışma ise dikkat çekici bir başka sonucu ortaya koydu. Yapay zeka modelleri tıbbi sorulara kendi başlarına yüzde 95 oranında doğru yanıt verebilirken, gerçek kullanıcıların bu araçları kullanarak doğru bilgiye ulaşma oranı yüzde 35’e kadar düşüyor.
Bilim insanları, yapay zekanın karmaşık tıbbi bilgileri özetleme veya doktora yöneltilecek soruları hazırlama konusunda yardımcı olabileceğini, ancak tek başına güvenilir bir tıbbi otorite olarak görülmemesi gerektiğini belirtiyor. Uzmanlar, kullanıcıların yapay zekadan aldıkları sağlık bilgilerini mutlaka doğrulamaları ve sunulan kaynakları dikkatle kontrol etmeleri gerektiği konusunda uyarıyor.
Arife SALMAN
