Yapay zeka platformu ChatGPT Health üzerinde gerçekleştirilen yeni bir araştırma, sistemin tıbbi acil durumları ve intihar eğilimlerini büyük oranda gözden kaçırdığını ortaya çıkardı. Uzmanlar, bu durumun gereksiz zararlara ve ölümlere yol açabileceği konusunda ciddi uyarılarda bulunuyor. OpenAI şirketi tarafından ocak ayında sınırlı bir kullanıcı kitlesine sunulan sağlık özelliği, tıbbi kayıtları ve sağlık uygulamalarını birbirine bağlayarak tavsiyeler üretmeyi hedefliyor. Her gün 40 milyondan fazla kişinin tavsiye almak için başvurduğu bu sistemin ilk bağımsız güvenlik değerlendirmesi Nature Medicine dergisinin şubat sayısında yayımlandı. Veriler, sistemin kendisine sunulan vakaların yarısından fazlasında aciliyet derecesini olduğundan düşük değerlendirdiğini gösteriyor.
Gerçekçi Senaryolarla Yapılan Testler Sınıfta Kaldı
Araştırmanın başyazarı Dr. Ashwin Ramaswamy, bir kişinin gerçek bir tıbbi acil durum yaşayıp ne yapması gerektiğini sorduğunda sistemin acil servise gitmeyi önerip önermeyeceğini test etmek istediklerini belirtti. Uzman ekip, hafif hastalıklardan acil durumlara kadar uzanan 60 farklı hasta senaryosu hazırladı. Üç bağımsız doktor her senaryoyu inceleyerek klinik yönergelere göre gereken bakım seviyesi üzerinde uzlaştı. Ekip daha sonra hastanın cinsiyetini değiştirmek, laboratuvar sonuçları veya aile üyelerinin yorumlarını eklemek gibi farklı koşullar altında sisteme danışarak bine yakın yanıt elde etti.
Sistem, felç veya şiddetli alerjik reaksiyonlar gibi çok belirgin acil durumlarda iyi performans gösterirken diğer durumlarda zorlandı. Örneğin bir astım senaryosunda, solunum yetmezliğinin erken uyarı işaretlerini tespit etmesine rağmen acil tedavi aramak yerine beklemeyi tavsiye etti. Kişinin derhal hastaneye gitmesi gereken vakaların yüzde 51,6'sında sistem, evde kalmayı veya rutin bir tıbbi randevu almayı önerdi.
Uzmanlar Yanlış Yönlendirmelere Karşı Uyarıyor
University College London araştırmacılarından Alex Ruani, bu sonuçları inanılmaz derecede tehlikeli olarak nitelendirdi. Ruani, solunum yetmezliği veya diyabetik kriz geçiren birine sistemin yüzde 50 ihtimalle bunun büyük bir sorun olmadığını söyleyebileceğini aktardı. Simülasyonlardan birinde, boğulmakta olan bir kadının on denemenin sekizinde (yüzde 84) asla yaşayamayacağı gelecekteki bir randevuya yönlendirildiği belirtildi. Buna karşılık, tamamen güvende olan bireylerin yüzde 64,8'ine derhal acil tıbbi bakım almaları söylendi. Ayrıca, senaryodaki bir arkadaşın durumun ciddi olmadığını öne sürmesi halinde, platformun belirtileri küçümseme olasılığının yaklaşık 12 kat daha fazla olduğu görüldü.
İntihar Eğilimini Tespit Etmede Kritik Hatalar Yapıyor
Araştırmacılar, sistemin intihar düşüncesine karşı verdiği yetersiz tepkiden de ciddi endişe duyduklarını ifade etti. Testlerde, çok sayıda hap almayı düşündüğünü söyleyen 27 yaşındaki bir hasta senaryosu kullanıldı. Hasta belirtilerini anlattığında, yardım hizmetlerine yönlendiren kriz müdahale uyarısı her seferinde ekranda belirdi. Ancak aynı hastanın sözlerine normal laboratuvar sonuçları eklendiğinde, uyarı tamamen ortadan kayboldu ve 16 denemenin hiçbirinde görünmedi. Uzmanlar, laboratuvar sonuçlarından bahsedilip bahsedilmediğine bağlı olarak çalışan bir güvenlik bariyerinin hiç bariyer olmamasından daha tehlikeli olabileceğini vurguluyor.
Hukuki Sorumluluk ve Şeffaflık Tartışmaları Büyüyor
OpenAI sözcüsü, sağlık hizmetlerinde yapay zeka sistemlerini değerlendiren bağımsız araştırmaları memnuniyetle karşıladıklarını ancak çalışmanın insanların platformu gerçek hayatta nasıl kullandığını tam olarak yansıtmadığını savundu. Sözcü, modelin sürekli güncellendiğini ve iyileştirildiğini belirtti. University of Queensland'den Prof. Paul Henman ise evde kullanımın düşük seviyeli durumlar için gereksiz hastane başvurularını artırabileceğini ve acil bakıma ulaşmayı engelleyebileceğini dile getirdi. Teknoloji şirketlerine karşı sohbet botlarının kullanımı sonrasında yaşanan olaylarla ilgili hukuki süreçleri hatırlatan Henman, sistemin nasıl eğitildiğinin ve içerisine hangi korumaların yerleştirildiğinin tam olarak bilinmediğini ifade etti.
