Поверишь ли ты роботу?

weirdly accurate.

Поверишь ли ты роботу?

Поверишь ли ты роботу?

Этот тест на доверие к ИИ использует метод «судья–советник» из исследований принятия решений, чтобы узнать, насколько ты опираешься на число ИИ-ассистента и становишься ли от этого точнее. Исследователи применяли этот дизайн много раз, среди них Илан Янив (Ilan Yaniv) в 2004 году — 30 человек отвечали на вопросы об исторических датах, — и Логг, Минсон и Мур (Logg, Minson, Moore) в 2019 году — 202 человека оценивали вес людей по фотографиям. После последней доски результат поставит твоё число рядом с их числами.

Этот тест переносит тот же дизайн на кухонную столешницу. На каждой из девяти досок полотенце приподнимается на несколько секунд — сначала на 3, под конец на 1,7 — над черникой, кусочками сахара, кофейными зёрнами и другими мелочами, которых становится всё больше и которые становятся всё мельче. Ты задаёшь свой подсчёт, ИИ-ассистент называет свой, и до того как откроется настоящее число, ты можешь сдвинуть своё или оставить его. Твой вес совета считается как у Янива (Yaniv, 2004): насколько ты сдвинулся, в долях расстояния между твоим первым подсчётом и подсчётом ассистента. Результат показывает это число рядом с исследованиями и говорит, сделала ли опора на ассистента твои ответы лучше или хуже.

Это не тест личности. Девять досок — маленькая выборка, а в исследованиях были другие задачи (вес по фотографиям, исторические даты, прогнозы), поэтому сравнение с ними приблизительное и процентиля нет. Пока ты играешь, никакая модель ИИ не вызывается: ассистент работает прямо на странице, и ничего из того, что ты вводишь, не загружается.

Что измеряет тест

Одно: насколько ты сдвигаешься к ответу ИИ-ассистента и что это даёт твоей точности.

Задание

  • Девять досок, от черники до горошин перца: на каждой больше предметов и они мельче, а время на взгляд сокращается с 3 секунд до 1,7
  • Дизайн «судья–советник» из исследований принятия решений: твоя первая оценка, подсчёт ассистента, твоя итоговая оценка
  • Подсчёт задаётся ползунком; после того как ассистент ответит, его число и твой первый подсчёт остаются отмеченными на том же ползунке
  • Настоящее число после каждой доски; итоговый ответ, отличающийся от него не больше чем на 15 %, считается близким

Твой результат

  • Твой вес совета: насколько ты сдвинулся к ассистенту, от 0 % (остался при своём подсчёте) до 100 % (взял его число)
  • Название для того, как ты пользовался ассистентом, и все девять досок на одной шкале: твой первый подсчёт, подсчёт ассистента, твой итоговый и настоящее число
  • Кто в итоге оказался ближе к правде: твои первые подсчёты, твои итоговые, ассистент или просто середина между ними каждый раз
  • Ориентиры из исследований, которые показываются после последней доски: насколько люди сдвигались к совету в исследованиях «судья–советник» и к тому же совету, если его выдавали за совет алгоритма
  • Карточка, которой можно поделиться, и ссылка-вызов, которая даёт другу те же девять досок

Перед началом

  • Около двух минут; бесплатно, без регистрации
  • Работает на телефоне или компьютере с 3D-графикой (WebGL): тяни ручку, нажимай − и + или используй клавиши со стрелками; звук по желанию
  • Ничего из того, что ты вводишь, не загружается; ссылка-вызов несёт твои числа внутри самой ссылки, после знака #

Вопросы о доверии к ИИ

Этот тест бесплатный? Нужно ли регистрироваться, чтобы увидеть результат?

Да, он бесплатный, и регистрироваться не нужно: ни аккаунта, ни почты, ни оплаты. Результат появится на этой странице сразу, как только закончишь, и его можно тут же отправить друзьям или пройти тест ещё раз.

Люди доверяют советам ИИ больше, чем советам людей?

Лист результатов отвечает на этот вопрос после твоих девяти досок, опираясь на эксперименты Логг, Минсона и Мура 2019 года. Они давали людям один и тот же совет, называя его то советом алгоритма, то советом других людей, в задачах вроде оценки веса по фотографиям (202 человека), ранжирования песен и предсказания романтической симпатии, и измеряли, насколько каждая подпись сдвигала людей. Цифры ждут конца, потому что, зная их заранее, ты иначе взвешивал бы слова ассистента.

Как тест на доверие к ИИ ставит мне оценку?

Тест на доверие к ИИ использует вес совета — стандартную меру исследований «судья–советник»: насколько твой итоговый подсчёт сдвинулся от первого к подсчёту ассистента, в долях расстояния между ними. Остаться при своём подсчёте — 0 %, взять подсчёт ассистента — 100 %. Доски, на которых ты и так совпадал с ассистентом, не учитываются.

Какой вес совета считается нормальным?

Типичные значения появляются на листе результатов рядом с твоим собственным весом совета, когда девять досок пройдены. Они взяты из исследования Илана Янива 2004 года, в котором 30 человек ответили на 15 вопросов об исторических датах, а затем увидели оценку другого человека, и из обзора исследований, который Логг с коллегами сделали в 2019 году. Страница придерживает их, потому что число, на которое можно целиться, изменило бы твои действия.

ИИ-ассистент в этом тесте — настоящий ИИ?

Нет. Пока ты играешь, никакая модель ИИ не вызывается: ассистент в тесте на доверие к ИИ — это скрипт, который работает на странице, и ничего из того, что ты вводишь, не загружается. Как именно задавались его подсчёты, лист результатов подробно объясняет, когда ты пройдёшь все девять досок, потому что знание этого заранее изменило бы твоё отношение к нему.

На каких исследованиях основан тест на доверие к ИИ?

Тест на доверие к ИИ использует дизайн «судья–советник» из исследований принятия решений и меру веса совета Илана Янива (2004). Лист результатов также опирается на работы Логг, Минсона и Мура (2019), Дитворста, Симмонса и Мэсси (2015, 361 человек), Парасурамана и Манцая (2010) и Солла и Ларрика (2009) и после последней доски рассказывает, что обнаружила каждая из них. Полные ссылки — в разделе «Откуда взяты числа».

Стоит ли усреднять мой ответ с ответом ИИ?

Тест на доверие к ИИ оставляет этот выбор тебе, потому что то, как ты сочетаешь два числа, — это и есть то, что он измеряет. После прохождения лист результатов показывает, как бы сработало деление разницы пополам на каждой доске по сравнению с твоими первыми подсчётами, итоговыми и ассистентом, и что говорит об усреднении исследование Солла и Ларрика 2009 года о пересмотре суждений.

Это тест личности?

Нет. Тест на доверие к ИИ фиксирует, как ты пользовался одним ассистентом на девяти досках для подсчёта. Исследования, с которыми он сравнивается, использовали другие задачи, например вес по фотографиям, исторические даты и прогнозы, поэтому сравнение — это приблизительный ориентир, а не рейтинг.

Откуда взяты числа

Популяционных данных о весе совета для такой задачи на подсчёт нет, поэтому результат не даёт процентиля; он ставит твоё число рядом с типичными значениями из исследований (Yaniv 2004, исследование 1; Logg et al. 2019, эксперимент 1A). Сайт не публикует данные своих игроков.

Как считается результат

Вес совета

(итоговый − первый) ÷ (совет − первый), стандартная мера из работы Янива (Yaniv, 2004), ограниченная диапазоном от 0 до 1. Остаться на месте — 0, принять совет — 1, встретиться посередине — 0,5.

Близко

Итоговый подсчёт, отличающийся от настоящего числа не больше чем на 15 %. Точность сравнивается по средней ошибке твоих первых подсчётов, твоих итоговых, ассистента и середины между ними.