你會聽AI的嗎？

weirdly accurate.

你會聽AI的嗎？

你會聽AI的嗎？

這個AI信任度測驗採用決策研究中的「判斷者—建議者」方法，看你會在多大程度上聽AI助手的數字，以及聽了之後是更準還是更不準。研究者用這套設計做過很多實驗，例如Ilan Yaniv在2004年請30個人回答歷史年代題，Logg、Minson和Moore在2019年請202人看照片猜體重。九塊砧板做完之後，結果頁才會把你的數字和他們的放在一起。

這個測驗把同樣的實驗搬到廚房檯面上。九塊砧板，每塊的布巾只掀開幾秒鐘，第一塊3秒，最後只剩1.7秒；板上是藍莓、方糖、咖啡豆這些小東西，一塊比一塊多，也一塊比一塊小。你先報一個數字，AI助手再報它的數字，在公布真正的數量之前，你可以改，也可以不改。採納程度依照Yaniv（2004）的算法計算：你移動的距離，占你最初的數字和AI的數字之間差距的多少。結果頁會把這個數字和研究放在一起，並告訴你，依賴AI到底讓你更準還是更不準。

這不是性格測驗。九塊砧板的樣本很小，研究用的也是別的任務（看照片猜體重、歷史年代、預測），所以和研究的比較只是粗略參考，不提供百分位數。測驗過程中不會呼叫任何AI模型：助手就在網頁裡執行，你輸入的數字不會上傳。

這個測驗測什麼

只測一件事：你會往AI助手的答案移動多少，以及這樣移動對你的準確度有什麼影響。

怎麼測

  • 九塊砧板，從藍莓到黑胡椒粒：東西越來越多、越來越小，能看的時間從3秒縮短到1.7秒
  • 決策研究中的「判斷者—建議者」設計：你先估一次，看AI助手的數字，再給出最終答案
  • 用滑桿報數；AI開口之後，它的數字和你最初的數字都會標在同一條滑桿上
  • 每塊都會公布真正的數量；最終答案和真正數量相差15%以內就算接近

你會得到什麼

  • 你的建議採納度：你往AI那邊移動了多少，從0%（堅持自己的數字）到100%（直接用它的數字）
  • 一個描述你怎麼使用AI助手的類型名稱，以及九塊砧板的完整紀錄：你最初的數字、AI的數字、你最終的數字和真正數量，全都畫在同一把尺上
  • 誰最接近真正數量：你最初的數字、你最終的數字、AI助手，還是每次都取中間值
  • 研究中的參考值，做完才公布：在「判斷者—建議者」實驗裡，人通常往建議移動多少，同樣的建議標成演算法提供時又移動多少
  • 一張可以分享的成績卡，以及一個讓朋友挑戰同樣九塊砧板的連結

開始之前

  • 大約兩分鐘，免費，不用註冊
  • 手機和電腦都能玩，需要支援3D繪圖（WebGL）：拖動旋鈕、點−和＋，或使用方向鍵；聲音可開可關
  • 你輸入的數字不會上傳；挑戰連結把你的數字寫在網址本身的#號後面

關於AI信任度的常見問題

這個測驗免費嗎？要註冊才能看結果嗎？

免費，也不用註冊：不要帳號、不要信箱、不用付錢。做完最後一題，結果就直接出現在這一頁，可以馬上分享，也可以再玩一次。

人比較相信AI的建議，還是人的建議？

結果頁會在九塊砧板做完後回答這個問題。依據是Logg、Minson和Moore在2019年做的幾個實驗：同一個建議，有時說是演算法給的，有時說是別人給的，任務包括看照片猜體重（202人）、替歌曲排名、預測兩人會不會互相吸引，再看哪一種說法讓人移動得更多。數字留到最後才說，是因為先知道的話，你對AI助手的態度就會改變。

AI信任度測驗怎麼計分？

AI信任度測驗使用「建議採納度」，也就是「判斷者—建議者」研究的標準指標：你最終的數字從最初的數字往AI的數字移動了多遠，占兩者差距的多少。堅持自己的數字是0%，直接採用AI的數字是100%。你原本就和AI差不多的那幾塊不列入計算。

一般人會聽進去多少建議？

九塊砧板做完後，結果頁會把研究中的典型數值放在你的採納度旁邊。這些數值來自Ilan Yaniv在2004年的研究：30個人回答15道歷史年代題，再看別人的估計；另外也來自Logg等人在2019年對這類研究的整理。先不公布，是因為有了一個可以瞄準的數字，你的做法就會改變。

這個AI助手是真的AI嗎？

不是。測驗過程中不會呼叫任何AI模型：AI信任度測驗裡的助手是在網頁中執行的一段程式，你輸入的數字也不會上傳。它報的數字是怎麼決定的，九塊砧板全部做完後，結果頁會說明清楚；提前知道的話，你對待它的方式就會改變。

AI信任度測驗根據哪些研究？

AI信任度測驗採用決策研究中的「判斷者—建議者」設計，採納度依照Ilan Yaniv（2004）的算法計算。結果頁還會用到Logg、Minson和Moore（2019），Dietvorst、Simmons和Massey（2015，361人），Parasuraman和Manzey（2010），以及Soll和Larrick（2009）的研究，做完之後告訴你他們各自發現了什麼。完整出處請見「數字從哪裡來」。

把自己的答案和AI的答案取平均，會比較準嗎？

這個選擇留給你決定，因為你怎麼把兩個數字合在一起，正是AI信任度測驗要測的事。做完之後，結果頁會告訴你：如果每塊都取中間值，成績會如何，和你最初的數字、最終的數字、AI的數字相比又如何，以及Soll和Larrick在2009年關於修正判斷的研究怎麼看待取平均。

這是性格測驗嗎？

不是。AI信任度測驗記錄的只是你在九塊數數的砧板上怎麼使用一個AI助手。拿來對照的研究用的是別的任務，例如看照片猜體重、歷史年代和預測，所以比較只是粗略參考，不是排名。

數字從哪裡來

像這樣數數的任務，沒有建議採納度的群體資料，所以結果不提供百分位數，只把你的數字和研究中的一般值放在一起（Yaniv 2004研究1；Logg等人2019實驗1A）。本站不公開自家玩家的資料。

怎麼計分

建議採納度（WOA）

（最終 − 最初）÷（建議 − 最初），這是Yaniv（2004）使用的標準算法，限制在0到1之間。不移動是0，完全照用建議是1，移動到一半是0.5。

接近

最終數字和真正數量相差15%以內。準確度以平均誤差比較：你最初的數字、你最終的數字、AI的數字，以及兩者的中間值。