Насколько ты самоуверен?

weirdly accurate.

Насколько ты самоуверен?

    Я слишком самоуверен?

    Этот тест на самоуверенность использует классическую задачу с 90%-ными доверительными интервалами, чтобы проверить, сбывается ли твоё «уверен на 90%» действительно девять раз из десяти. В десяти числовых вопросах ты растягиваешь сеть, пока не будешь на 90% уверен, что ответ внутри, и ответы падают только после того, как заброшены все десять. Исследователи используют эту задачу десятилетиями; например, McKenzie, Liersch и Yaniv в 2008 году дали по 40 вопросов каждому из 135 человек. Лист результатов показывает, как твой улов выглядит рядом с этими исследованиями.

    Устроено это так: ты получаешь десять числовых вопросов — годы, размеры и расстояния, количества, — выбранных случайно из банка в 55 давно установленных фактов, каждый из которых сверен с указанным источником. В каждом ты тянешь сеть вдоль линии, пока не будешь на 90% уверен, что ответ внутри. Пока не заброшены все десять, ничего не раскрывается, чтобы один промах не научил тебя расширять следующую сеть; потом падают ответы. Десять настоящих 90%-ных диапазонов должны поймать около девяти, и разница между девятью и твоим уловом — это мера твоей самоуверенности. Поскольку сеть на всю линию поймала бы всё, каждая сеть ещё приносит до 10 очков по интервальной оценке, которой проверяют прогнозные диапазоны: чем уже сеть, тем больше очков, рыба снаружи отнимает очки, а сеть на три четверти линии и шире не приносит ничего. Результат также показывает, насколько вероятен такой маленький улов, как твой, у человека, который действительно уверен на 90%, и во сколько раз шире должны были быть твои сети.

    Доля попаданий измеряет калиброванность, а не знания и не интеллект: тебе не нужно знать ни одного ответа, только то, насколько ты не уверен. Очки при этом поощряют и знание, которого хватает, чтобы держать сети узкими. Десять сетей — маленькая выборка: даже идеально откалиброванный человек примерно в одном случае из четырёх ловит 8 или меньше. Вопросы не те, что в исследованиях, поэтому сравнение с ними показывает закономерность, а не рейтинг.

    Что измеряет тест

    Одно: сбывается ли твоё «уверен на 90%» девять раз из десяти.

    Задача

    • Интервальная задача из исследований сверхточности: для каждого из десяти числовых вопросов — диапазон, в котором истинное значение лежит с твоей уверенностью 90%
    • Десять вопросов за игру — четыре года, три о размере, расстоянии или температуре, три о количестве, — выбранных случайно из банка в 55 и перемешанных
    • Нажми на линию и потяни, чтобы раскинуть сеть; потяни любой из двух буёв или сдвинь всю сеть, чтобы её поправить. Пока ты её раскидываешь, сеть показывает, сколько она стоит, и сереет, когда накрывает всё море. Буи двигаются и с клавиатуры
    • Никаких подсказок, пока не заброшены все десять сетей; потом падает каждый ответ, и сети, которые его поймали, становятся золотыми

    Твой результат

    • Очки из 100: каждая сеть приносит до 10, тем меньше, чем она шире; рыба снаружи отнимает очки, а сеть на три четверти линии и шире приносит 0 и не считается уловом
    • Сколько из десяти твоих сетей поймали ответ — в сравнении с тем, сколько поймали бы настоящие 90%
    • Один из пяти уровней: 9–10 «Твои 90% — настоящие 90%», 7–8 чуть самоуверенно, 4–6 самоуверенно, 3 и меньше — очень уверен, часто неправ; и «Слишком осторожно», когда сети накрывают всё море или намного шире, чем было нужно
    • Вероятность того, что человек, действительно уверенный на 90%, поймает так же мало, как ты, и во сколько раз шире должна была быть каждая сеть, чтобы поймали девять
    • Для сравнения — что нашли исследования, когда люди давали 90%-ные диапазоны (McKenzie и соавт. 2008; Moore и соавт. 2015)
    • Журнал улова с каждым ответом и его источником, карточка для отправки, на которой виден твой итог, но ни одного ответа, и ссылка, чтобы бросить вызов другу

    Перед началом

    • Около трёх минут
    • Телефон или компьютер; на компьютере буи двигаются и стрелками на клавиатуре
    • Звук не обязателен, его можно выключить
    • Бесплатно, без регистрации. Ссылка-вызов несёт твоё имя и счёт внутри самой ссылки, после #, и никуда не загружается

    Вопросы о самоуверенности

    Этот тест бесплатный? Нужно ли регистрироваться, чтобы увидеть результат?

    Да, он бесплатный, и регистрироваться не нужно: ни аккаунта, ни почты, ни оплаты. Результат появится на этой странице сразу, как только закончишь, и его можно тут же отправить друзьям или пройти тест ещё раз.

    Как проверить, не слишком ли я самоуверен?

    Нужно давать диапазоны с заявленной уверенностью и считать, сколько раз они содержат ответ. Это интервальная задача из исследований сверхточности, и именно её использует этот тест на самоуверенность: десять числовых вопросов и на каждый — сеть, в которой ты уверен на 90%. Если твои 90%-ные диапазоны ловят намного меньше девяти ответов из десяти, твоя уверенность опережает твою точность.

    Как считаются результаты теста на самоуверенность?

    Тест на самоуверенность выдаёт два числа. Доля попаданий считает, сколько из десяти твоих сетей поймали истинный ответ, и сравнивает это с девятью, которые в среднем поймал бы человек, действительно уверенный на 90%, вместе с биномиальной вероятностью такого низкого улова, как твой. Очки из 100 добавляют ширину сетей: каждая приносит до 10, тем меньше, чем она шире; за рыбу снаружи вычитается её расстояние, умноженное на 20, а сеть на три четверти линии и шире приносит 0. Ответы скрыты, пока не заброшены все десять сетей.

    Какой результат нормален в тесте на 90%-ную уверенность?

    Это показывает лист результатов, когда все десять сетей уже заброшены, чтобы сравнение не повлияло на твои сети. Там приводятся доли попаданий из обзора исследований интервальных оценок, который Moore, Tenney и Haran опубликовали в 2015 году, и из исследования McKenzie, Liersch и Yaniv 2008 года, где 135 человек ответили на 40 вопросов каждый. В этих исследованиях были другие вопросы, так что читай сравнение как закономерность, а не как рейтинг.

    Откуда берутся вопросы теста на самоуверенность?

    Тест на самоуверенность случайно выбирает десять вопросов из банка в 55 давно установленных фактов: в каждой игре четыре года, три вопроса о размере, расстоянии или температуре и три о количестве. Каждый ответ сверен с указанным источником, а журнал улова на листе результатов показывает каждый ответ вместе с источником. Знать ответы не нужно: тест спрашивает только, насколько ты уверен.

    Эксперты менее самоуверенны?

    Лист результатов отвечает на это после твоих десяти сетей — по исследованию McKenzie, Liersch и Yaniv 2008 года, в котором 135 человек, среди них эксперты и новички, дали 90%-ные диапазоны для 40 вопросов каждый. Если больше знаешь о теме, сеть можно держать узкой; помогает ли это ещё и сохранить 90%-ный диапазон честным — именно это исследование и проверяло.

    Низкий результат значит, что я мало знаю?

    Доля попаданий — нет. Эта часть измеряет калиброванность — совпадает ли твоё ощущение «уверен» с тем, что происходит, — а не то, сколько ты знаешь: честно широкие сети держат долю попаданий около девяти из десяти, даже если не знаешь ни одного ответа. Очки же поощряют и знания, потому что чем больше знаешь, тем уже можно держать сети. К тому же десять сетей — маленькая выборка: даже идеально откалиброванный человек примерно в одном случае из четырёх ловит 8 или меньше.

    А если сделать все сети огромными?

    Это невыгодно. Сеть на три четверти линии и шире не может промахнуться, поэтому она сереет, пока ты её раскидываешь, приносит 0 и не считается уловом. Широкие сети чуть уже этого тоже приносят мало, потому что очки каждой сети уменьшаются с её шириной. Лучшая ставка — сеть, в которой ты честно уверен на 90%: ровно такой ширины, чтобы ты поставил на неё девять к одному.

    Откуда эти цифры

    Твой улов сравнивается с настоящими 90% через биномиальное распределение и с долями попаданий, которые сообщают эти исследования; очки используют интервальную оценку Winkler, а также Gneiting и Raftery. Вопросы здесь отличаются от вопросов в исследованиях, поэтому процентиля нет. Каждый ответ из банка вопросов указывает в журнале улова свой источник. Сайт не публикует данные своих игроков.

    Как считаются очки

    Доля попаданий

    Доля из десяти твоих 90%-ных диапазонов, которые содержат истинный ответ. При идеальной калибровке это около девяти из десяти.

    Очки (интервальная оценка)

    Каждая сеть приносит 10 × (1 − ширина − 20 × расстояние снаружи); обе величины считаются в долях её линии, минимум 0. Это интервальная оценка для 90%-ных диапазонов (Winkler 1972; Gneiting и Raftery 2007): ширина стоит очков, а промах обходится в расстояние, умноженное на 2 ÷ 10% = 20, поэтому растягивать сеть для надёжности невыгодно.

    Сеть на всё море

    Сеть шириной в три четверти своей линии или больше. Каждый ответ лежит между одной десятой и девятью десятыми своей линии, так что такая сеть не может промахнуться: она приносит 0 и не считается уловом.

    Сверхточность

    Диапазоны уже, чем допускает заявленная уверенность: та форма самоуверенности, которую измеряет эта задача; обзор — Moore, Tenney и Haran (2015).

    Проверка калибровки

    У человека, действительно уверенного на 90%, число пойманных из десяти подчиняется биномиальному распределению: 9 или 10 примерно в трёх случаях из четырёх, 8 или меньше — примерно в четверти случаев. Результат говорит, как часто такой низкий улов, как твой, получился бы чисто случайно.

    Коэффициент расширения

    Во сколько раз шире должна была быть каждая твоя сеть, чтобы девять из десяти поймали ответ.