İngiltere Yapay Zeka Güvenlik Enstitüsünden bilgisayar bilimciler ile Stanford, Berkeley ve Oxford üniversitelerinin de aralarında bulunduğu 14 kurumdan 29 araştırmacı, 'Önemli Olanı Ölçmek: Büyük Dil Modeli Kıyaslamalarında Yapı Geçerliği' başlıklı bir çalışma gerçekleştirdi.
Çalışmada, yapay zekanın alt dallarından olan doğal dil işleme ve makine öğrenimi alanlarının önde gelen konferanslarından alınan 445 değerlendirme testi sistematik olarak incelendi.
İncelemeler sonucunda, testlerin neredeyse tamamının sonuçların geçerliliğini zedeleyebilecek kusurlara sahip olduğu ortaya çıktı.
Çalışmanın baş yazarı, Oxford İnternet Enstitüsü'nden Andrew Bean, Guardian'a yaptığı açıklamada, kullanılan bu testlerin büyük teknoloji şirketlerinin piyasaya sürdüğü son yapay zeka modellerinin değerlendirilmesinde kullanıldığını söyledi.
Bean, değerlendirme testlerinin yapay zekayla ilgili tüm iddiaların temelini oluşturduğunu vurgulayarak, ortak tanımlar ve sağlıklı ölçümler olmadan modellerin gerçekten gelişip gelişmediğinin anlaşılmasının zorlaştığını kaydetti.
