얼마나 지나치게 확신하나요?

weirdly accurate.

얼마나 지나치게 확신하나요?

    나는 과신하는 편일까?

    이 과신 테스트는 고전적인 90% 신뢰 구간 과제를 이용해, 당신의 '90% 확신'이 정말로 열 번 중 아홉 번 맞는지 알아봅니다. 숫자 문제 열 개마다 정답이 안에 있다고 90% 확신할 때까지 그물을 펼치고, 열 개를 모두 던진 뒤에야 정답이 떨어집니다. 연구자들은 이 과제를 수십 년 동안 써 왔습니다. 예를 들어 McKenzie, Liersch, Yaniv는 2008년에 135명에게 각자 40문제를 풀게 했습니다. 결과지에서는 당신의 어획이 그런 연구들과 비교해 어떤지 보여 줍니다.

    진행 방식은 이렇습니다. 연도, 크기와 거리, 수량을 묻는 숫자 문제 열 개가, 오래전에 확정된 사실 55개로 이루어진 문제은행에서 무작위로 나옵니다. 모든 문제는 명시된 출처로 확인했습니다. 문제마다 선 위에서 그물을 끌어, 정답이 안에 있다고 90% 확신할 때까지 펼칩니다. 한 번 놓친 경험이 다음 그물을 넓히게 만들지 않도록, 열 개를 모두 던질 때까지 아무것도 공개하지 않습니다. 그다음 정답이 떨어집니다. 진짜 90% 범위 열 개라면 아홉 개쯤 잡아야 하고, 아홉과 실제 어획의 차이가 당신의 과신 정도입니다. 선 전체를 덮는 그물은 무엇이든 잡을 테니, 그물마다 예측 구간을 평가할 때 쓰는 구간 점수로 최대 10점도 매깁니다. 그물이 좁을수록 점수가 높고, 그물 밖의 물고기는 감점이며, 선의 4분의 3 이상을 덮는 그물은 0점입니다. 결과에서는 또 정말로 90% 확신하는 사람이 당신만큼 적게 잡을 확률과, 그물을 몇 배나 더 넓혀야 했는지도 알려 줍니다.

    적중률은 지식이나 지능이 아니라 보정(캘리브레이션)을 잽니다. 정답을 하나도 몰라도 되고, 자신이 얼마나 불확실한지만 알면 됩니다. 점수는 그물을 좁게 유지할 만큼 아는 것에도 보상합니다. 그물 열 개는 작은 표본이라, 완벽하게 보정된 사람도 약 네 번에 한 번은 8개 이하를 잡습니다. 문제는 연구에서 쓴 것과 다르기 때문에, 연구와의 비교는 경향을 보여 줄 뿐 순위가 아닙니다.

    이 테스트가 재는 것

    딱 한 가지예요. 당신의 '90% 확신'이 열 번 중 아홉 번 맞는지.

    과제

    • 과잉 정밀성 연구의 구간 과제: 숫자 문제 열 개마다 참값이 들어 있다고 90% 확신하는 범위를 정해요
    • 한 판에 열 문제. 연도 4문제, 크기·거리·온도 3문제, 수량 3문제를 55문제 문제은행에서 무작위로 뽑아 섞어요
    • 선을 누르고 끌면 그물이 펼쳐져요. 부표 하나를 끌거나 그물 전체를 밀어서 조정해요. 펼치는 동안 그물의 점수가 표시되고, 바다 전체를 덮으면 회색으로 변해요. 부표는 키보드로도 움직일 수 있어요
    • 그물 열 개를 모두 던지기 전에는 어떤 힌트도 없어요. 그다음 정답이 하나씩 떨어지고, 정답을 잡은 그물은 금색으로 바뀌어요

    결과

    • 100점 만점의 점수: 그물마다 최대 10점이고 넓을수록 줄어요. 그물 밖의 물고기는 감점, 선의 4분의 3 이상을 덮는 그물은 0점이며 잡은 것으로 치지 않아요
    • 그물 열 개 중 몇 개가 정답을 잡았는지, 그리고 진짜 90%라면 잡았을 수와의 비교
    • 다섯 단계 중 하나: 9–10개 '나의 90%는 진짜 90%', 7–8개 조금 지나친 확신, 4–6개 과도한 확신, 3개 이하 아주 확신하지만 자주 틀림. 그물이 바다 전체를 덮거나 필요보다 훨씬 넓으면 '너무 안전하게만'
    • 정말로 90% 확신하는 사람이 당신만큼 적게 잡을 확률, 그리고 아홉 개가 잡히려면 그물마다 몇 배 넓어야 했는지
    • 비교 자료로, 사람들이 90% 범위를 정했을 때 연구에서 나온 결과(McKenzie 외 2008; Moore 외 2015)
    • 모든 정답과 출처가 담긴 어획 기록, 총점은 보여 주되 정답은 하나도 드러내지 않는 공유 카드, 친구에게 도전장을 보내는 링크

    시작하기 전에

    • 약 3분
    • 휴대폰이나 컴퓨터. 컴퓨터에서는 화살표 키로도 부표를 움직일 수 있어요
    • 소리는 없어도 되고 끌 수 있어요
    • 무료, 가입 없음. 도전 링크는 이름과 점수를 링크 자체의 # 뒤에 담아 전할 뿐, 업로드되지 않아요

    과신에 관한 자주 묻는 질문

    이 테스트는 무료인가요? 결과를 보려면 가입해야 하나요?

    무료이고 가입도 필요 없어요. 계정도, 이메일도, 결제도 없어요. 마지막 문제를 마치면 결과가 이 페이지에 바로 나오고, 곧바로 공유하거나 다시 할 수 있어요.

    내가 과신하는지 어떻게 테스트하나요?

    확신 정도를 정해 범위를 말하고, 그 범위에 정답이 몇 번 들어갔는지 세면 돼요. 이것이 과잉 정밀성 연구의 구간 과제이고, 이 과신 테스트도 같은 방법을 써요. 숫자 문제 열 개에 90% 확신하는 그물을 하나씩 펼치는 거예요. 90% 범위가 열 개 중 아홉 개보다 훨씬 적은 정답을 잡는다면, 확신이 정확도를 앞서 달리고 있다는 뜻이에요.

    과신 테스트는 어떻게 점수를 매기나요?

    과신 테스트는 두 개의 숫자를 줘요. 적중률은 그물 열 개 중 몇 개가 참값을 잡았는지 세어, 정말로 90% 확신하는 사람이 평균적으로 잡을 아홉 개와 비교하고, 당신만큼 적게 잡을 이항분포 확률도 보여 줘요. 100점 만점의 점수는 여기에 그물의 폭을 더해요. 그물마다 최대 10점이고 넓을수록 줄며, 그물 밖의 물고기는 거리의 20배만큼 감점, 선의 4분의 3 이상을 덮는 그물은 0점이에요. 그물 열 개를 모두 던지기 전에는 정답이 하나도 공개되지 않아요.

    90% 확신 퀴즈에서 보통 결과는 어느 정도인가요?

    그물 열 개를 모두 던진 뒤 결과지에서 보여 줘요. 미리 알면 당신의 그물이 그 영향을 받기 때문이에요. 인용하는 것은 구간 추정 연구를 정리한 Moore, Tenney, Haran의 2015년 리뷰와, 135명이 각자 40문제에 답한 McKenzie, Liersch, Yaniv의 2008년 연구에서 보고된 적중률이에요. 두 연구 모두 다른 문제를 썼으니, 비교는 순위가 아니라 경향으로 읽어 주세요.

    과신 테스트의 문제는 어디서 오나요?

    과신 테스트는 오래전에 확정된 사실 55개로 이루어진 문제은행에서 매번 열 문제를 무작위로 뽑아요. 연도 4문제, 크기·거리·온도 3문제, 수량 3문제예요. 모든 정답은 명시된 출처로 확인했고, 결과지의 어획 기록에 각 정답이 출처와 함께 나와요. 정답을 알 필요는 없어요. 이 테스트가 묻는 건 당신이 얼마나 확신하는지뿐이에요.

    전문가는 덜 과신하나요?

    그물 열 개를 던진 뒤 결과지에서 답해 드려요. 근거는 McKenzie, Liersch, Yaniv의 2008년 연구로, 전문가와 초보자를 포함한 135명이 각자 40문제에 90% 범위를 정했어요. 어떤 분야를 더 잘 알면 그물을 좁게 유지할 수 있어요. 그것이 90% 범위를 정직하게 지키는 데도 도움이 되는지가 바로 그 연구가 확인한 부분이에요.

    점수가 낮으면 아는 게 적다는 뜻인가요?

    적중률은 그렇지 않아요. 적중률이 재는 것은 보정, 즉 '확신한다'는 느낌이 실제 결과와 맞는지이지 아는 양이 아니에요. 정직하게 넓은 그물을 펼치면 정답을 하나도 몰라도 적중률이 열 개 중 아홉 개에 가까워져요. 반면 점수는 지식에도 보상해요. 더 많이 알수록 그물을 좁게 유지할 수 있으니까요. 또 그물 열 개는 작은 표본이라, 완벽하게 보정된 사람도 약 네 번에 한 번은 8개 이하를 잡아요.

    그냥 모든 그물을 엄청 크게 만들면 안 되나요?

    이득이 없어요. 선의 4분의 3 이상을 덮는 그물은 놓칠 수가 없으니, 펼치는 동안 회색으로 변하고 0점이며 잡은 것으로 치지 않아요. 그보다 조금 좁은 큰 그물도 점수가 거의 없어요. 그물마다 폭이 넓을수록 점수가 줄기 때문이에요. 가장 좋은 선택은 정직하게 90% 확신하는 그물, 즉 9 대 1로 걸 수 있을 만큼만 넓은 그물이에요.

    숫자의 출처

    당신의 어획은 이항분포를 이용해 진짜 90%와 비교하고, 이 연구들이 보고한 적중률과도 비교해요. 점수는 Winkler, 그리고 Gneiting과 Raftery의 구간 점수를 써요. 여기 문제는 연구의 문제와 다르기 때문에 백분위는 없어요. 문제은행의 모든 정답은 어획 기록에 각자의 출처가 적혀 있어요. 이 사이트는 자체 플레이어의 데이터를 공개하지 않아요.

    점수 계산 방식

    적중률

    90% 범위 열 개 중 참값을 포함한 비율이에요. 완벽하게 보정되어 있다면 열 개 중 약 아홉 개예요.

    점수(구간 점수)

    그물마다 10 × (1 − 폭 − 20 × 그물 밖 거리)점을 받아요. 폭과 거리는 선 전체에 대한 비율로 재고, 최저는 0점이에요. 90% 구간을 위한 구간 점수(Winkler 1972; Gneiting과 Raftery 2007)로, 폭에는 대가가 있고 놓치면 그 거리의 2 ÷ 10% = 20배를 잃어요. 그래서 안전하려고 그물을 늘려도 이득이 없어요.

    바다 전체를 덮는 그물

    선의 4분의 3 이상을 덮는 그물이에요. 모든 정답은 선의 10분의 1과 10분의 9 사이에 있으니 이런 그물은 놓칠 수가 없어요. 그래서 0점이고 잡은 것으로 치지 않아요.

    과잉 정밀성

    말한 확신에 비해 범위가 너무 좁은 것. 이 과제가 재는 과신의 형태로, Moore, Tenney, Haran(2015)이 정리했어요.

    보정 확인

    정말로 90% 확신하는 사람이라면 열 개 중 잡는 수는 이항분포를 따라요. 9개나 10개는 약 네 번에 세 번, 8개 이하는 약 네 번에 한 번이에요. 결과에서는 당신만큼 적은 어획이 순전히 운으로 얼마나 자주 나오는지 알려 줘요.

    확대 배율

    그물 열 개 중 아홉 개가 정답을 잡으려면 각 그물이 몇 배 넓어야 했는지예요.