ABD’de yer alan Maryland Tıp Fakültesi’nden araştırmacılar, ChatGPT'nin meme kanseri taraması hakkında 25 soruya cevap vermesini istedi.
Sohbet robotunun yanıtlarının değişebildiği bilindiğinden, her soru üç kez soruldu. Sonuçlar daha sonra mamografi eğitimli üç radyolog tarafından analiz edildi.
Yanıtların çok büyük bir kısmı (yüzde 88) uygun ve anlaşılır nitelikteydi. Ancak bazı cevapların "yanlış hatta uydurma” olduğu görüldü. Örneğin, yanıtlardan biri eski bilgilere dayanıyordu.
Yaklaşık bir buçuk yıl önce Covid-19 aşısından sonra dört ila altı hafta içinde yapılacak bir mamogramın geciktirilmesi öneriliyordu. Ancak,, bu tavsiye bir yıl önce Dünya Sağlık Örgütü (DSÖ) tarafından kadınların beklememesi yönünde değiştirildi.
"Aynı soruda yanıt büyük ölçüde değişti"
ChatGPT, ayrıca “meme kanseri riski” ve “Mamogram nerede çektirilir?” gibi sorulara tutarsız yanıtlar verdi. Aynı soru tekrarlandığında yanıtlar "önemli ölçüde" değişti.
"Sahte bilimsel makaleler ve kuruluşlar üretiyor"
Çalışmanın ortak yazarı Dr. Paul Yi, konuya ilişkin yaptığı açıklamada, "Deneyimlerimizde ChatGPT'nin bazen iddialarını desteklemek için sahte dergi makaleleri veya sağlık kuruluşları uydurduğunu gördük. İnsanların, bunların yeni, kanıtlanmamış teknolojiler olduğunu ve tavsiye almak için ChatGPT yerine hala doktorlarına güvenmeleri gerektiğini bilmeleri gerekiyor" dedi.
Radiology dergisinde yayınlanan araştırmanın başyazarı Dr. Hana Haver ise ChatGPT'nin sadece Amerikan Kanser Derneği tarafından verilen bir öneri setini referans alarak soruları yanıtladığını, ABD Hastalık Kontrol Önleme Merkezleri (CDC) ve Dünya Sağlık Örgütü (DSÖ) gibi kuruluşların güncellemelerine hakim olmadığını vurguladı.
