Robota güvenir misin?

weirdly accurate.

Robota güvenir misin?

Robota güvenir misin?

Bu yapay zekâ güven testi, karar araştırmalarındaki hakem–danışman yöntemiyle bir yapay zekâ asistanının sayısına ne kadar yaslandığını ve bunun seni daha isabetli yapıp yapmadığını ölçer. Araştırmacılar bu tasarımı defalarca kullandı; aralarında 2004'te tarihî yıllarla ilgili soruları yanıtlayan 30 kişiyle Ilan Yaniv ve 2019'da fotoğraflardan kilo tahmin eden 202 kişiyle Logg, Minson ve Moore da var. Son tahtadan sonra sonucun, senin sayını onlarınkinin yanına koyar.

Bu test aynı tasarımı bir mutfak tezgâhına taşır. Dokuz tahtanın her birinde bir bez birkaç saniyeliğine kalkar; başta 3, sonda 1,7 saniye. Altında yaban mersini, küp şeker, kahve çekirdeği ve gittikçe çoğalan, gittikçe küçülen başka küçük şeyler vardır. Sen sayını belirlersin, yapay zekâ asistanı kendi sayısını söyler ve gerçek sayı açıklanmadan önce sayını değiştirebilir ya da olduğu gibi bırakabilirsin. Tavsiye ağırlığın Yaniv'deki (2004) gibi hesaplanır: ne kadar kaydığın, ilk sayınla asistanın sayısı arasındaki mesafenin bir oranı olarak. Sonuç bu sayıyı çalışmaların yanında gösterir ve asistana yaslanmanın cevaplarını daha iyi mi yoksa daha kötü mü yaptığını söyler.

Bu bir kişilik testi değil. Dokuz tahta küçük bir örneklemdir ve çalışmalar başka görevler kullandı (fotoğraflardan kilo, tarihî yıllar, öngörüler); bu yüzden onlarla karşılaştırma kabadır ve yüzdelik dilim yoktur. Oynarken hiçbir yapay zekâ modeli çağrılmaz: asistan sayfanın içinde çalışır ve girdiğin hiçbir şey yüklenmez.

Test neyi ölçüyor

Tek bir şeyi: bir yapay zekâ asistanının cevabına ne kadar yaklaştığını ve bunun isabetine ne yaptığını.

Görev

  • Yaban mersininden karabiber tanesine dokuz tahta: her birinde daha çok ve daha küçük şey var, bakış süresi 3 saniyeden 1,7 saniyeye iniyor
  • Karar araştırmalarındaki hakem–danışman tasarımı: ilk tahminin, asistanın sayımı, son tahminin
  • Sayını bir kaydırıcıyla belirlersin; asistan konuştuktan sonra onun sayısı ve senin ilk sayın aynı kaydırıcıda işaretli kalır
  • Her tahtadan sonra gerçek sayı; gerçek sayıya %15 içinde kalan bir son cevap yakın sayılır

Sonucun

  • Tavsiye ağırlığın: asistana ne kadar yaklaştığın, %0'dan (kendi sayında kaldın) %100'e (onun sayısını aldın) kadar
  • Asistanı kullanma biçimine bir ad ve dokuz tahtanın hepsi tek bir ölçekte: ilk sayın, asistanınki, son sayın ve gerçek sayı
  • Gerçeğe kim daha yakın kaldı: ilk sayıların, son sayıların, asistan ya da her seferinde farkı ortadan bölmek
  • Son tahtadan sonra gösterilen, çalışmalardaki referans değerler: hakem–danışman çalışmalarında insanların bir tavsiyeye ne kadar yaklaştığı ve aynı tavsiye bir algoritmanınki diye sunulduğunda ne kadar yaklaştığı
  • Paylaşılabilir bir kart ve bir arkadaşına aynı dokuz tahtayı veren bir meydan okuma bağlantısı

Başlamadan önce

  • Yaklaşık iki dakika; ücretsiz, kayıt yok
  • 3B grafik (WebGL) destekleyen bir telefonda ya da bilgisayarda çalışır: düğmeyi sürükle, − ve +'ya dokun ya da ok tuşlarını kullan; ses isteğe bağlı
  • Girdiğin hiçbir şey yüklenmez; meydan okuma bağlantısı sayılarını bağlantının kendisinde, # işaretinden sonra taşır

Yapay zekâya güven hakkında sorular

Bu test ücretsiz mi? Sonucumu görmek için kaydolmam gerekiyor mu?

Evet, ücretsiz ve kayıt yok: hesap, e-posta ya da ödeme gerekmez. Bitirdiğin anda sonucun bu sayfada görünür; hemen paylaşabilir ya da yeniden oynayabilirsin.

İnsanlar yapay zekânın tavsiyesine insanlarınkinden daha mı çok güvenir?

Sonuç sayfası bu soruyu dokuz tahtandan sonra, Logg, Minson ve Moore'un 2019 deneylerine dayanarak yanıtlar. Araştırmacılar insanlara aynı tavsiyeyi bazen bir algoritmanınki, bazen başka insanlarınki olarak sundu; fotoğraflardan kilo tahmini (202 kişi), şarkı sıralama ve romantik çekim tahmini gibi görevlerde her etiketin insanları ne kadar kaydırdığını ölçtü. Rakamlar sona kalır, çünkü onları önceden bilmek asistana ne kadar ağırlık verdiğini değiştirirdi.

Yapay zekâ güven testi beni nasıl puanlıyor?

Yapay zekâ güven testi, hakem–danışman çalışmalarının standart ölçüsü olan tavsiye ağırlığını kullanır: son sayının ilk sayından asistanın sayısına doğru ne kadar kaydığı, ikisi arasındaki farkın bir oranı olarak. Kendi sayında kalmak %0, asistanın sayısını almak %100 eder. Zaten asistanla aynı fikirde olduğun tahtalar hesaba katılmaz.

Normal bir tavsiye ağırlığı ne kadardır?

Tipik değerler, dokuz tahta bittiğinde sonuç sayfasında kendi tavsiye ağırlığının yanında görünür. Bu değerler Ilan Yaniv'in 2004 çalışmasından gelir; o çalışmada 30 kişi tarihî yıllarla ilgili 15 soruyu yanıtlamış, ardından başka birinin tahminini görmüştü. Bir diğer kaynak, Logg ve arkadaşlarının 2019'da yaptığı araştırma özetidir. Sayfa bu değerleri saklar, çünkü hedeflenecek bir sayı ne yaptığını değiştirirdi.

Bu testteki yapay zekâ asistanı gerçek bir yapay zekâ mı?

Hayır. Oynarken hiçbir yapay zekâ modeli çağrılmaz: yapay zekâ güven testindeki asistan, sayfanın içinde çalışan bir betiktir ve girdiğin hiçbir şey yüklenmez. Sayımlarının nasıl belirlendiğini sonuç sayfası dokuz tahtanın hepsini bitirdiğinde tam olarak açıklar, çünkü bunu önceden bilmek ona nasıl davrandığını değiştirirdi.

Yapay zekâ güven testi hangi araştırmalara dayanıyor?

Yapay zekâ güven testi, karar araştırmalarındaki hakem–danışman tasarımını kullanır ve Ilan Yaniv'in (2004) tavsiye ağırlığı ölçüsüyle puanlar. Sonuç sayfası ayrıca Logg, Minson ve Moore (2019), Dietvorst, Simmons ve Massey (2015, 361 kişi), Parasuraman ve Manzey (2010) ile Soll ve Larrick (2009) çalışmalarına dayanır ve son tahtandan sonra her birinin ne bulduğunu anlatır. Tam kaynaklar "Sayılar nereden geliyor?" bölümündedir.

Kendi cevabımla yapay zekânınkinin ortalamasını almalı mıyım?

Yapay zekâ güven testi bu seçimi sana bırakır, çünkü iki sayıyı nasıl birleştirdiğin tam olarak ölçtüğü şeydir. Sonrasında sonuç sayfası, her tahtada farkı ortadan bölmenin ilk sayıların, son sayıların ve asistan karşısında nasıl sonuç vereceğini ve Soll ile Larrick'in yargıları düzeltme üzerine 2009 araştırmasının ortalama alma hakkında ne dediğini gösterir.

Bu bir kişilik testi mi?

Hayır. Yapay zekâ güven testi, dokuz sayma tahtasında bir asistanı nasıl kullandığını kaydeder. Karşılaştırıldığı çalışmalar fotoğraflardan kilo, tarihî yıllar ve öngörüler gibi başka görevler kullandı; bu yüzden karşılaştırma bir sıralama değil, kaba bir referanstır.

Sayılar nereden geliyor?

Bunun gibi bir sayma görevinde tavsiye ağırlığı için nüfus verisi yoktur; bu yüzden sonuç yüzdelik dilim vermez, sayını çalışmaların tipik değerlerinin yanına koyar (Yaniv 2004, Çalışma 1; Logg ve ark. 2019, Deney 1A). Site kendi oyuncularının verilerini yayımlamaz.

Puan nasıl hesaplanıyor

Tavsiye ağırlığı

(son − ilk) ÷ (tavsiye − ilk), Yaniv'in (2004) standart ölçüsü, 0 ile 1 arasında tutulur. Yerinde kalmak 0, tavsiyeyi benimsemek 1, yarı yolda buluşmak 0,5'tir.

Yakın

Gerçek sayıya %15 içinde kalan bir son sayım. İsabet, ortalama hatayla karşılaştırılır: ilk sayıların, son sayıların, asistan ve ikisinin orta noktası.