どれくらい自信過剰？

weirdly accurate.

どれくらい自信過剰？

    自分は自信過剰なのか？

    この自信過剰テストは、定番の「90%信頼区間」課題を使って、あなたの「90%確か」が本当に10回中9回当たるのかを確かめます。10個の数値問題それぞれで、答えが中にあると90%確信できるまで網を広げ、10枚すべて投げ終えてから初めて答えが落ちてきます。研究者はこの課題を何十年も使ってきました。たとえばMcKenzie、Liersch、Yanivは2008年に、135人に1人40問ずつ答えてもらっています。結果シートでは、あなたの漁獲がそうした研究と比べてどうだったかがわかります。

    流れはこうです。年代、大きさや距離、数量といった10個の数値問題が、昔から確定している55個の事実を集めた問題集からランダムに出ます。どの問題も、明記した出典で確認済みです。各問で線の上に網を引き、答えが中にあると90%確信できるところまで広げます。1問の外れが次の網を広げるきっかけにならないよう、10枚すべて投げ終えるまで何も明かされません。そのあと答えが落ちてきます。本当に90%の範囲が10個なら、捕まえるのは9個ほどのはずで、9と実際の漁獲との差があなたの自信過剰の大きさです。線全体を覆う網なら何でも捕まえてしまうので、各網には予測区間の評価に使われる区間スコアで最大10点もつきます。網が狭いほど高得点で、網の外の魚は減点、線の4分の3以上を覆う網は0点です。結果ではさらに、本当に90%確信している人があなたほど少ない漁獲になる確率と、網をあと何倍広げる必要があったかも示します。

    的中率が測るのは較正（キャリブレーション）であって、知識や知能ではありません。答えを一つも知らなくてかまいません。必要なのは、自分がどれくらい不確かかを知っていることだけです。一方で点数は、網を狭く保てるだけの知識にも報います。10枚の網は小さな標本です。完全に較正された人でも、約4回に1回は8匹以下になります。問題は研究で使われたものとは違うので、研究との比較は傾向を示すもので、順位ではありません。

    このテストで測るもの

    測るのは一つだけ。あなたの「90%確か」が、10回中9回当たるかどうかです。

    課題

    • 過剰精度（オーバープレシジョン）研究の区間課題：10個の数値問題それぞれに、本当の値が入っていると90%確信できる範囲を答えます
    • 1回10問。年代4問、大きさ・距離・温度3問、数量3問を、55問の問題集からランダムに選んで並べ替えます
    • 線を押してドラッグすると網が張れます。どちらかのブイをドラッグするか、網全体をスライドさせて調整します。張っている間は網の点数が表示され、海全体を覆うと灰色になります。ブイはキーボードでも動かせます
    • 10枚すべて投げ終えるまで手がかりは一切なし。そのあと答えが一つずつ落ち、捕まえた網が金色に変わります

    結果でわかること

    • 100点満点の点数：各網は最大10点で、広いほど少なくなります。網の外の魚は減点、線の4分の3以上を覆う網は0点で、捕まえたことにもなりません
    • 10枚の網のうち何枚が答えを捕まえたかと、本当の90%なら捕まえるはずの数との比較
    • 五つの段階：9〜10「あなたの90%は本当に90%」、7〜8は少し自信過剰、4〜6は自信過剰、3以下は自信満々、外れがち。網が海全体を覆ったり、必要よりずっと広かったりしたときは「安全策に走りすぎ」
    • 本当に90%確信している人があなたと同じくらい少ない数しか捕まえない確率と、9枚が捕まえるには各網を何倍広げる必要があったか
    • 参考として、人々が90%の範囲を答えたときに研究で見つかったこと（McKenzieほか2008、Mooreほか2015）
    • 各答えと出典を載せた漁獲記録、合計点は出しても答えは一つも見せないシェアカード、友だちに挑戦するリンク

    始める前に

    • 所要時間は約3分
    • スマートフォンでもパソコンでも。パソコンでは矢印キーでもブイを動かせます
    • 音はなくても遊べ、オフにできます
    • 無料、登録不要。挑戦リンクは名前と点数をリンク自体の#の後ろに入れて運ぶだけで、アップロードはされません

    自信過剰についてのよくある質問

    このテストは無料？結果を見るのに登録は必要？

    無料で、登録もいりません。アカウントもメールアドレスも支払いも不要です。最後まで終えると結果がこのページにすぐ表示され、そのままシェアしたり、もう一度遊んだりできます。

    自信過剰かどうかはどうやって調べるの？

    自信の度合いを決めて範囲を答え、その範囲に答えが何回入ったかを数えます。これが過剰精度研究の区間課題で、この自信過剰テストもこの方法を使っています。10個の数値問題に、90%確信できる網を1枚ずつ張ります。90%の範囲が10個中9個よりずっと少ない答えしか捕まえないなら、自信が正確さを追い越しているということです。

    自信過剰テストはどう採点されるの？

    自信過剰テストでは二つの数字が出ます。的中率は、10枚の網のうち何枚が本当の答えを捕まえたかを数え、本当に90%確信している人が平均して捕まえる9枚と比べます。あなたほど少ない漁獲になる二項分布の確率も示します。100点満点の点数はそこに網の広さを加えたもので、各網は最大10点、広いほど少なくなり、網の外の魚は距離の20倍を減点、線の4分の3以上を覆う網は0点です。10枚すべて投げ終えるまで、答えは一つも明かされません。

    90%の自信クイズで、ふつうの結果はどのくらい？

    それは10枚の網をすべて投げ終えたあと、結果シートでお見せします。先に知ると自分の網がその影響を受けてしまうからです。引用するのは、区間推定の研究をまとめたMoore、Tenney、Haranの2015年のレビューと、135人が1人40問ずつ答えたMcKenzie、Liersch、Yanivの2008年の研究で報告された的中率です。どちらも別の問題を使っているので、比較は傾向として読み、順位とは考えないでください。

    自信過剰テストの問題はどこから来ているの？

    自信過剰テストは、昔から確定している55個の事実の問題集から、毎回10問をランダムに選びます。内訳は年代4問、大きさ・距離・温度3問、数量3問です。どの答えも明記した出典で確認済みで、結果シートの漁獲記録には各答えが出典とともに載ります。答えを知っている必要はありません。このテストが尋ねるのは、あなたがどれくらい確信しているかだけです。

    専門家なら自信過剰になりにくい？

    その答えは、10枚の網を投げたあとに結果シートで示します。根拠はMcKenzie、Liersch、Yanivの2008年の研究で、専門家も初心者も含む135人が、1人40問ずつ90%の範囲を答えました。ある分野に詳しければ網を狭く保てます。それが90%の範囲を正直に保つことにもつながるのかどうかが、まさにこの研究で確かめられたことです。

    点数が低いのは、知識が少ないということ？

    的中率についてはそうではありません。的中率が測るのは較正、つまり「確か」という感覚が実際の結果と合っているかどうかで、知識の量ではありません。正直に広い網を張れば、答えを一つも知らなくても的中率は10個中9個近くになります。一方、点数は知識にも報います。詳しいほど網を狭く保てるからです。また10枚の網は小さな標本で、完全に較正された人でも約4回に1回は8匹以下になります。

    全部の網をすごく広くすればいいのでは？

    得にはなりません。線の4分の3以上を覆う網は外れようがないので、張っている間に灰色になり、0点で、捕まえたことにもなりません。その少し手前の広い網も、各網の点数は幅が広いほど減るため、ほとんど点になりません。いちばん得なのは、正直に90%確信できる網です。9対1で賭けてもいいと思える、ちょうどその広さです。

    数値の出典

    あなたの漁獲は、二項分布を使って本当の90%と比べ、さらにこれらの研究が報告した的中率とも比べます。点数にはWinklerおよびGneiting & Rafteryの区間スコアを使っています。ここの問題は研究のものとは違うため、パーセンタイルは出しません。問題集の各答えには、漁獲記録にそれぞれの出典が載っています。このサイトは自サイトのプレイヤーのデータを公開していません。

    採点のしかた

    的中率

    10個の90%範囲のうち、本当の答えを含んでいた割合。完全に較正されていれば10個中約9個です。

    点数（区間スコア）

    各網の点数は10×（1−網の幅−20×網の外への距離）。幅と距離は線全体に対する割合で測り、最低は0点です。これは90%区間のための区間スコア（Winkler 1972、Gneiting & Raftery 2007）で、幅には代償があり、外れはその距離の2÷10%＝20倍の代償になります。だから安全のために網を広げても得になりません。

    海全体を覆う網

    線の4分の3以上を覆う網。どの答えも線の10分の1から10分の9の間にあるので、こうした網は外れようがありません。そのため0点で、捕まえたことにもなりません。

    過剰精度

    口にした自信の割に範囲が狭すぎること。この課題が測る種類の自信過剰で、Moore、Tenney、Haran（2015）がレビューしています。

    較正チェック

    本当に90%確信している人の場合、10枚中何枚捕まえるかは二項分布に従います。9か10になるのは約4回に3回、8以下は約4回に1回です。結果では、あなたほど少ない漁獲が運だけでどのくらいの頻度で起こるかを示します。

    拡大倍率

    10枚のうち9枚が答えを捕まえるには、各網を何倍の幅にする必要があったか。