ロボットの言うことを信じる？

weirdly accurate.

ロボットの言うことを信じる？

ロボットの言うことを信じる？

このAI信頼度テストは、意思決定研究の「判断者–助言者パラダイム」を使って、あなたがAIアシスタントの数字にどれだけ頼るのか、そして頼ることで正確になるのかを調べます。研究者はこの方法を何度も使ってきました。たとえばIlan Yanivは2004年に30人に歴史上の年代を問う質問に答えてもらい、Logg、Minson、Mooreは2019年に202人に写真から体重を推定してもらいました。最後のまな板が終わると、結果ページがあなたの数字を彼らの数字の横に並べます。

このテストは、同じ方法をキッチンカウンターに持ち込みます。9枚のまな板それぞれで、ふきんが数秒だけ持ち上がります。最初は3秒、最後は1.7秒です。その下にはブルーベリー、角砂糖、コーヒー豆などの小さなものが、だんだん多く、だんだん小さくなって並んでいます。あなたが数を決め、AIアシスタントが自分の数を言い、本当の数が明かされる前に、あなたは自分の数を動かすこともそのままにすることもできます。助言の重みはYaniv（2004）と同じ方法で計算します。あなたが動いた距離が、最初の数とアシスタントの数の差のうち、どれだけにあたるかです。結果ページはこの数字を研究と並べて示し、アシスタントに頼ったことで答えが良くなったのか悪くなったのかを伝えます。

これは性格テストではありません。9枚のまな板は小さなサンプルで、研究では別の課題（写真からの体重、歴史上の年代、予測）が使われていたため、比較はあくまで大まかで、パーセンタイルは出しません。プレイ中にAIモデルを呼び出すことはありません。アシスタントはページの中で動いていて、あなたが入力したものは何もアップロードされません。

このテストでわかること

測るのはひとつだけ。AIアシスタントの答えにどれだけ近づくのか、そしてそれが正確さにどう影響するのかです。

課題

  • ブルーベリーから黒こしょうの粒まで9枚のまな板。1枚ごとに数が増えて粒が小さくなり、見られる時間は3秒から1.7秒に縮みます
  • 意思決定研究の判断者–助言者デザイン：あなたの最初の見積もり、アシスタントの数、あなたの最終的な見積もり
  • 数はスライダーで決めます。アシスタントが答えたあとは、その数とあなたの最初の数が同じスライダーに印として残ります
  • まな板ごとに本当の数を表示。最終的な答えが本当の数から15%以内なら「近い」とします

結果

  • あなたの助言の重み：アシスタントにどれだけ近づいたか。0%（自分の数のまま）から100%（アシスタントの数を採用）まで
  • あなたのアシスタントの使い方を表す名前と、9枚すべてを1本の目盛りに並べた記録：あなたの最初の数、アシスタントの数、最終的な数、本当の数
  • 本当の数にいちばん近かったのは誰か：あなたの最初の数、最終的な数、アシスタント、それとも毎回あいだを取る方法か
  • 最後のまな板のあとに示す研究の参考値：判断者–助言者研究で人が助言にどれだけ近づいたか、同じ助言をアルゴリズムのものとして示したときにはどうだったか
  • シェアできるカードと、友だちに同じ9枚のまな板を出せるチャレンジリンク

はじめる前に

  • 所要時間は約2分。無料、登録不要
  • 3Dグラフィックス（WebGL）に対応したスマホやパソコンで遊べます。つまみをドラッグするか、−と＋をタップするか、矢印キーを使います。音はオンでもオフでもかまいません
  • 入力したものは何もアップロードされません。チャレンジリンクは、あなたの数字をリンク自体の#記号のあとに入れて運びます

AIへの信頼に関するよくある質問

このテストは無料？結果を見るのに登録は必要？

無料で、登録もいりません。アカウントもメールアドレスも支払いも不要です。最後まで終えると結果がこのページにすぐ表示され、そのままシェアしたり、もう一度遊んだりできます。

人は人間の助言よりAIの助言を信じるのですか？

その答えは、9枚のまな板を終えたあとに結果ページで示します。根拠はLogg、Minson、Mooreによる2019年の実験です。彼らは同じ助言を、あるときはアルゴリズムのもの、あるときは他の人のものとして示し、写真から体重を推定する課題（202人）や、曲の順位づけ、恋愛感情の予測などで、それぞれの説明が人をどれだけ動かすかを測りました。数字を最後まで伏せているのは、先に知るとアシスタントへの頼り方が変わってしまうからです。

AI信頼度テストのスコアはどう計算されますか？

AI信頼度テストは「助言の重み」を使います。判断者–助言者研究の標準的な指標で、最終的な数が最初の数からアシスタントの数へどれだけ動いたかを、両者の差に対する割合で表します。自分の数のままなら0%、アシスタントの数を採用すれば100%です。もともとアシスタントと同じ数だったまな板は計算に入れません。

助言の重みはふつうどのくらいですか？

典型的な値は、9枚のまな板を終えると結果ページであなた自身の助言の重みの横に表示されます。出典はIlan Yanivの2004年の研究で、30人が歴史上の年代を問う15問に答えたあと、別の人の見積もりを見ました。もうひとつはLoggらが2019年にまとめた研究の概要です。目標になる数字があると行動が変わってしまうため、このページでは先に示しません。

このテストのAIアシスタントは本物のAIですか？

いいえ。プレイ中にAIモデルを呼び出すことはありません。AI信頼度テストのアシスタントはページの中で動くスクリプトで、あなたが入力したものは何もアップロードされません。その数がどう決められていたかは、9枚すべてを終えたあとに結果ページで詳しく説明します。先に知ると、アシスタントへの接し方が変わってしまうからです。

AI信頼度テストはどんな研究にもとづいていますか？

AI信頼度テストは、意思決定研究の判断者–助言者デザインを使い、Ilan Yaniv（2004）の「助言の重み」でスコアをつけます。結果ページではさらにLogg、Minson、Moore（2019）、Dietvorst、Simmons、Massey（2015、361人）、ParasuramanとManzey（2010）、SollとLarrick（2009）を取り上げ、最後のまな板のあとにそれぞれが何を見つけたかを紹介します。詳しい出典は「数値の出典」にあります。

自分の答えとAIの答えを平均したほうがいいですか？

それを決めるのはあなたです。ふたつの数字をどう組み合わせるかこそ、AI信頼度テストが測っていることだからです。終わったあと、結果ページでは、毎回あいだを取っていたらどうなったかを、あなたの最初の数、最終的な数、アシスタントと比べて示し、判断の修正に関するSollとLarrickの2009年の研究が平均についてどう述べているかも紹介します。

これは性格テストですか？

いいえ。AI信頼度テストが記録するのは、9枚の数当てのまな板でひとつのアシスタントをどう使ったかだけです。比較に使う研究は、写真からの体重、歴史上の年代、予測など別の課題を使っていたため、比較は大まかな目安であり、順位ではありません。

数値の出典

このような数当て課題での助言の重みについては集団データがないため、結果ではパーセンタイルを出さず、あなたの数字を研究の典型的な値の横に並べます（Yaniv 2004の研究1、Logg et al. 2019の実験1A）。このサイトは自サイトのプレイヤーのデータを公開していません。

スコアの計算方法

助言の重み（WOA）

（最終 − 最初）÷（助言 − 最初）。Yaniv（2004）の標準的な指標で、0から1の範囲に収めます。動かなければ0、助言をそのまま採用すれば1、半分まで歩み寄れば0.5です。

近い

最終的な数が本当の数から15%以内であること。正確さは平均誤差で比べます。あなたの最初の数、最終的な数、アシスタントの数、そして両者の中間点です。