你会听AI的吗?
这个AI信任度测试用决策研究里的「判断—建议」方法,看你会在多大程度上听AI助手的数,以及听了以后是更准还是更不准。研究者用这套设计做过很多实验,比如Ilan Yaniv 2004年请30个人回答历史年份题,Logg、Minson和Moore 2019年请202人看照片猜体重。九块砧板做完,结果页才把你的数和他们的放在一起。
这个测试把同样的实验搬到厨房台面上。九块砧板,每块的茶巾只掀开几秒,第一块3秒,最后只有1.7秒;板上是蓝莓、方糖、咖啡豆这些小东西,一块比一块多、一块比一块小。你先报一个数,AI助手再报它的数,揭晓真数之前你可以改,也可以不改。采纳程度按Yaniv(2004)的算法:你挪动的距离,占你最初的数和AI的数之间差距的多少。结果页把这个数和研究放在一起,并告诉你,依赖AI到底让你更准还是更不准。
它不是性格测试。九块砧板样本很小,研究里用的也是别的任务(看照片猜体重、历史年份、预测),所以和研究的对比只是粗略参照,不给百分位。测试过程中不会调用任何AI模型:助手就在页面里运行,你输入的数不会上传。
这个测试测什么
只测一件事:你会往AI助手的答案挪多少,以及这样挪对你的准确度有什么影响。
怎么测
- 九块砧板,从蓝莓到黑胡椒粒:东西越来越多、越来越小,能看的时间从3秒缩到1.7秒
- 决策研究里的「判断—建议」设计:你先估一次,看AI助手的数,再给最终答案
- 用滑动条报数;AI开口后,它的数和你最初的数都标在同一根滑动条上
- 每块都会揭晓真数;最终答案和真数相差15%以内算接近
你会得到什么
- 你的建议采纳度:你往AI那边挪了多少,从0%(坚持自己的数)到100%(直接用它的数)
- 一个说明你怎么用AI助手的类型名,以及九块砧板的完整记录:你最初的数、AI的数、你最终的数和真数画在同一把尺上
- 谁更接近真数:你最初的数、你最终的数、AI助手,还是每次都取一半
- 研究里的参照,做完才揭晓:「判断—建议」实验里人一般往建议挪多少,同样的建议标成算法时又挪多少
- 一张可分享的成绩卡,和一个让朋友数同样九块砧板的挑战链接
开始之前
- 大约两分钟,免费,不用注册
- 手机和电脑都能玩,需要支持3D显示(WebGL):拖动旋钮、点−和+,或用方向键;声音可开可关
- 你输入的数不会上传;挑战链接把你的数字写在链接本身的#号后面
关于AI信任度的常见问题
这个测试免费吗?要注册才能看结果吗?
免费,也不用注册:不要账号、不要邮箱、不用付钱。做完最后一题,结果就直接出现在这一页,可以马上分享,也可以再玩一次。
人更相信AI的建议,还是人的建议?
结果页会在九块砧板做完后回答。依据是Logg、Minson和Moore 2019年的几个实验:同一个建议,有时说成是算法给的,有时说成是别人给的,任务包括看照片猜体重(202人)、给歌曲排名、预测两人会不会互相吸引,再看哪种说法让人挪得更多。数字留到最后,是因为先知道了,你对AI助手的态度就会变。
AI信任度测试是怎么计分的?
AI信任度测试用的是「建议采纳度」,判断—建议研究的标准指标:你最终的数从最初的数往AI的数挪了多远,占两者差距的多少。坚持自己的数是0%,直接用AI的数是100%。你本来就和AI差不多的那几块不计入。
一般人会听进去多少建议?
九块砧板做完,结果页会把研究里的典型数字放在你的采纳度旁边。它们来自Ilan Yaniv 2004年的研究:30个人回答15道历史年份题,再看别人的估计;还有Logg等人2019年对这类研究的总结。先不说,是因为有了一个可以对准的数字,你的做法就会变。
这个AI助手是真的AI吗?
不是。测试过程中不会调用任何AI模型:AI信任度测试里的助手是在页面里运行的一段程序,你输入的数也不会上传。它报的数是怎么定的,九块砧板做完后结果页会说清楚;提前知道了,你对待它的方式就会变。
AI信任度测试依据哪些研究?
AI信任度测试用的是决策研究里的「判断—建议」设计,采纳度按Ilan Yaniv(2004)的算法计。结果页还会用到Logg、Minson和Moore(2019),Dietvorst、Simmons和Massey(2015,361人),Parasuraman和Manzey(2010),以及Soll和Larrick(2009)的研究,做完以后告诉你他们各自发现了什么。完整出处见「数字从哪里来」。
把自己的答案和AI的答案取个平均,会更准吗?
这个选择留给你,因为你怎么把两个数合起来,正是这个测试要测的。做完以后,结果页会告诉你:如果每块都取一半,成绩会怎样,和你最初的数、最终的数、AI的数比起来如何,以及Soll和Larrick 2009年关于修正判断的研究怎么看取平均。
这是性格测试吗?
不是。AI信任度测试记录的只是你在九块砧板上怎么用一个AI助手。用来对照的研究用的是别的任务,比如看照片猜体重、历史年份和预测,所以对比只是粗略参照,不是排名。
数字从哪里来
像这样数数的任务,没有建议采纳度的人群数据,所以结果不给百分位,只把你的数和研究里的一般值放在一起(Yaniv 2004研究1;Logg等2019实验1A)。本站不公开自己玩家的数据。
- Yaniv (2004), Organizational Behavior and Human Decision Processes — Receiving other people’s advice: Influence and benefit
- Logg, Minson & Moore (2019), Organizational Behavior and Human Decision Processes — Algorithm appreciation: People prefer algorithmic to human judgment
- Dietvorst, Simmons & Massey (2015), Journal of Experimental Psychology: General — Algorithm aversion: People erroneously avoid algorithms after seeing them err
- Parasuraman & Manzey (2010), Human Factors — Complacency and bias in human use of automation: An attentional integration
- Soll & Larrick (2009), Journal of Experimental Psychology: Learning, Memory, and Cognition — Strategies for revising judgment
怎么计分
建议采纳度(WOA)
(最终 − 最初) ÷ (建议 − 最初),这是Yaniv(2004)用的标准算法,截断在0到1之间。不挪是0,完全照搬建议是1,挪到一半是0.5。
接近
最终的数和真数相差15%以内。准确度按平均误差比较:你最初的数、你最终的数、AI的数,以及两者各取一半。