로봇의 말을 믿을까요?

weirdly accurate.

로봇의 말을 믿을까요?

로봇의 말을 믿을까요?

이 AI 신뢰도 테스트는 의사결정 연구의 판단자–조언자 방법으로, 내가 AI 어시스턴트의 숫자에 얼마나 기대는지, 그리고 기대면 더 정확해지는지를 알아봐요. 연구자들은 이 설계를 여러 번 써 왔어요. 2004년 Ilan Yaniv는 30명에게 역사적 연도에 관한 질문에 답하게 했고, 2019년 Logg, Minson, Moore는 202명에게 사진을 보고 몸무게를 추정하게 했어요. 마지막 도마가 끝나면 결과 화면이 내 숫자를 그들의 숫자 옆에 놓아 줘요.

이 테스트는 같은 설계를 주방 조리대로 옮겨 왔어요. 아홉 개의 도마마다 행주가 몇 초 동안 들려요. 처음엔 3초, 마지막엔 1.7초예요. 그 아래에는 블루베리, 각설탕, 커피콩 같은 작은 것들이 점점 많아지고 점점 작아지며 놓여 있어요. 내가 개수를 정하면 AI 어시스턴트가 자기 개수를 말하고, 실제 개수가 공개되기 전에 내 숫자를 옮기거나 그대로 둘 수 있어요. 조언 반영도는 Yaniv(2004)처럼 계산해요. 내가 움직인 거리가 내 첫 숫자와 어시스턴트 숫자 사이 거리의 몇 퍼센트인지예요. 결과 화면은 이 숫자를 연구와 나란히 보여 주고, 어시스턴트에 기댄 것이 답을 더 좋게 했는지 나쁘게 했는지 알려 줘요.

성격 테스트가 아니에요. 도마 아홉 개는 작은 표본이고, 연구들은 다른 과제(사진 속 몸무게, 역사적 연도, 예측)를 썼기 때문에 비교는 대략적이고 백분위는 없어요. 플레이하는 동안 어떤 AI 모델도 호출하지 않아요. 어시스턴트는 페이지 안에서 돌아가고, 내가 입력한 것은 아무것도 업로드되지 않아요.

이 테스트가 측정하는 것

딱 하나예요. AI 어시스턴트의 답 쪽으로 얼마나 옮겨 가는지, 그리고 그게 정확도에 어떤 영향을 주는지요.

과제

  • 블루베리부터 통후추까지 도마 아홉 개: 도마마다 개수는 늘고 크기는 작아지며, 볼 수 있는 시간은 3초에서 1.7초로 줄어요
  • 의사결정 연구의 판단자–조언자 설계: 내 첫 추정, 어시스턴트의 개수, 내 최종 추정
  • 개수는 슬라이더로 정해요. 어시스턴트가 말한 뒤에는 그 숫자와 내 첫 숫자가 같은 슬라이더에 표시된 채로 남아요
  • 도마마다 실제 개수를 보여 줘요. 최종 답이 실제 개수와 15% 이내로 차이 나면 근접으로 쳐요

내 결과

  • 내 조언 반영도: 어시스턴트 쪽으로 얼마나 옮겨 갔는지, 0%(내 숫자 유지)부터 100%(어시스턴트 숫자 채택)까지
  • 내가 어시스턴트를 쓴 방식을 나타내는 이름, 그리고 아홉 도마 전부를 하나의 눈금에: 내 첫 숫자, 어시스턴트 숫자, 내 최종 숫자, 실제 개수
  • 누가 진실에 더 가까웠는지: 내 첫 숫자들, 최종 숫자들, 어시스턴트, 아니면 매번 그냥 중간을 택하는 방법
  • 마지막 도마 뒤에 보여 주는 연구의 기준값: 판단자–조언자 연구에서 사람들이 조언 쪽으로 얼마나 옮겨 갔는지, 같은 조언을 알고리즘의 것이라고 했을 때는 얼마나 옮겨 갔는지
  • 공유할 수 있는 카드와 친구에게 같은 도마 아홉 개를 내주는 도전 링크

시작하기 전에

  • 약 2분, 무료, 가입 필요 없음
  • 3D 그래픽(WebGL)을 지원하는 휴대폰이나 컴퓨터에서 할 수 있어요. 손잡이를 끌거나, −와 +를 누르거나, 화살표 키를 쓰세요. 소리는 선택이에요
  • 입력한 것은 아무것도 업로드되지 않아요. 도전 링크는 내 숫자를 링크 자체의 # 기호 뒤에 담아 전달해요

AI 신뢰에 관한 질문

이 테스트는 무료인가요? 결과를 보려면 가입해야 하나요?

무료이고 가입도 필요 없어요. 계정도, 이메일도, 결제도 없어요. 마지막 문제를 마치면 결과가 이 페이지에 바로 나오고, 곧바로 공유하거나 다시 할 수 있어요.

사람들은 사람의 조언보다 AI의 조언을 더 믿을까요?

그 답은 도마 아홉 개를 마친 뒤 결과 화면에서 알려 드려요. 근거는 Logg, Minson, Moore의 2019년 실험이에요. 이들은 같은 조언을 어떤 때는 알고리즘의 것, 어떤 때는 다른 사람들의 것이라고 소개하고, 사진을 보고 몸무게 추정하기(202명), 노래 순위 매기기, 이성 간 호감 예측하기 같은 과제에서 각 표시가 사람들을 얼마나 움직였는지 측정했어요. 숫자를 끝까지 미루는 건, 먼저 알면 어시스턴트에 두는 비중이 달라지기 때문이에요.

AI 신뢰도 테스트는 점수를 어떻게 매기나요?

AI 신뢰도 테스트는 판단자–조언자 연구의 표준 지표인 조언 반영도를 써요. 최종 숫자가 첫 숫자에서 어시스턴트 숫자 쪽으로 얼마나 움직였는지를 둘 사이 거리에 대한 비율로 나타내요. 내 숫자를 지키면 0%, 어시스턴트 숫자를 그대로 쓰면 100%예요. 처음부터 어시스턴트와 같은 숫자였던 도마는 계산에서 빼요.

보통 조언 반영도는 어느 정도인가요?

전형적인 값은 도마 아홉 개를 마치면 결과 화면에서 내 조언 반영도 옆에 나와요. 이 값은 Ilan Yaniv의 2004년 연구에서 왔어요. 이 연구에서 30명이 역사적 연도에 관한 15문제에 답한 뒤 다른 사람의 추정을 봤어요. 또 하나는 Logg와 동료들이 2019년에 정리한 연구 요약이에요. 목표로 삼을 숫자가 생기면 행동이 달라지기 때문에 이 페이지에서는 미리 밝히지 않아요.

이 테스트의 AI 어시스턴트는 진짜 AI인가요?

아니요. 플레이하는 동안 어떤 AI 모델도 호출하지 않아요. AI 신뢰도 테스트의 어시스턴트는 페이지 안에서 돌아가는 스크립트이고, 입력한 것은 아무것도 업로드되지 않아요. 그 숫자가 어떻게 정해졌는지는 도마 아홉 개를 모두 마친 뒤 결과 화면에서 자세히 설명해요. 미리 알면 어시스턴트를 대하는 방식이 달라지기 때문이에요.

AI 신뢰도 테스트는 어떤 연구를 바탕으로 하나요?

AI 신뢰도 테스트는 의사결정 연구의 판단자–조언자 설계를 쓰고, Ilan Yaniv(2004)의 조언 반영도로 점수를 매겨요. 결과 화면은 Logg, Minson, Moore(2019), Dietvorst, Simmons, Massey(2015, 361명), Parasuraman과 Manzey(2010), Soll과 Larrick(2009)의 연구도 다루며, 마지막 도마 뒤에 각 연구가 무엇을 발견했는지 알려 줘요. 전체 출처는 ‘수치의 출처’에 있어요.

내 답과 AI의 답을 평균 내는 게 좋을까요?

그 선택은 여러분에게 맡겨요. 두 숫자를 어떻게 합치는지가 바로 AI 신뢰도 테스트가 측정하는 것이기 때문이에요. 끝나고 나면 결과 화면에서 매 도마마다 중간을 택했다면 어땠을지를 내 첫 숫자들, 최종 숫자들, 어시스턴트와 비교해 보여 주고, 판단 수정에 관한 Soll과 Larrick의 2009년 연구가 평균 내기를 어떻게 보는지도 알려 줘요.

이건 성격 테스트인가요?

아니요. AI 신뢰도 테스트는 개수를 세는 도마 아홉 개에서 어시스턴트 하나를 어떻게 썼는지만 기록해요. 비교 대상인 연구들은 사진 속 몸무게, 역사적 연도, 예측 같은 다른 과제를 썼기 때문에, 비교는 대략적인 참고일 뿐 순위가 아니에요.

수치의 출처

이런 개수 세기 과제에서의 조언 반영도에는 인구 집단 데이터가 없어서 결과에 백분위를 주지 않고, 내 숫자를 연구의 전형적인 값 옆에 놓아요(Yaniv 2004 연구 1, Logg et al. 2019 실험 1A). 이 사이트는 자체 플레이어 데이터를 공개하지 않아요.

점수 계산 방법

조언 반영도

(최종 − 처음) ÷ (조언 − 처음), Yaniv(2004)의 표준 지표로, 0과 1 사이로 제한해요. 그대로 있으면 0, 조언을 그대로 받아들이면 1, 중간까지 다가가면 0.5예요.

근접

최종 개수가 실제 개수와 15% 이내로 차이 나는 것. 정확도는 평균 오차로 비교해요. 내 첫 숫자들, 최종 숫자들, 어시스턴트, 그리고 둘의 중간값이에요.