산점도의 상관관계, 눈으로 볼 수 있을까?
볼 수 있어요. 다만 한계가 있고, 이 산점도 상관관계 테스트는 그 한계를 재요. 같은 ‘두 산점도’ 과제를 쓴 2014년 연구에서 전형적인 참가자는 r = 0.5 근처에서 더 강한 쪽을 네 번 중 세 번 고르려면 상관관계가 약 0.08 차이 나야 했어요. 이어서 테스트는 Rensink와 Baldridge의 2010년 연구에서 가져온 두 번째 질문을 던져요. 상관관계가 내 눈에 얼마나 강해 보이는가예요. 먼저 눈대중으로 맞추고, 내 설정이 연구 결과나 실제 값과 어떻게 다른지는 결과지에서 보여 줘요.
측정은 연구자들의 방법 그대로예요. 두 케이크에는 각각 정확히 100개의 초콜릿 구슬이 산점도 모양으로 놓이고, 상관관계는 0.3에서 0.8 사이예요. 구슬이 더 일직선으로 모인 쪽을 누르면 돼요. 10단계가 이어지며 두 케이크의 차이는 단계마다 약 16%씩 줄고, 5단계는 Harrison 연구팀 데이터에서 전형적인 사람의 75% 정답 지점에 정확히 맞춰져 있어요. 첫 오답에는 같은 단계에서 한 쌍을 더 보고, 두 번째 오답에서 표가 끝나요. 가장 정밀했던 단계는 시뮬레이션으로 같은 75% 역치로 환산되어, 그 연구의 179명 중 내 위치를 알 수 있어요. 그다음 짧은 조절 세 번으로 두 케이크의 정확히 중간에 케이크 하나를 맞춰요. Rensink와 Baldridge의 이등분법으로, 상관관계가 내 눈에 얼마나 강해 보이는지 그려 줘요.
지능, 시력, 통계 실력 테스트가 아니에요. 내 눈이 점구름을 어떻게 읽는지만 재요. 약 9쌍짜리 짧은 표는 여러 번 해서 자리 잡을 단계보다 한두 단계 위아래로 나올 수 있고, 구슬은 연구에서 쓴 2픽셀 점보다 커요. 화면 크기와 보는 거리도 영향을 주니, 한 번보다 여러 번이 더 정확해요.
이 테스트가 재는 것
시력표처럼 재는 한 가지 능력. 내 눈이 아직 구별하는 가장 작은 상관관계 차이, 그리고 상관관계가 내 눈에 얼마나 강해 보이는지예요.
과제
- 정확히 100점짜리 산점도 두 개를 케이크 위 초콜릿 구슬로 표시: 상관관계가 더 강한 쪽 고르기, Harrison, Yang, Franconeri & Chang(2014)의 과제
- 10단계, 각 쌍의 차이는 바로 앞 단계의 2^(−1/4)배, 기준 상관관계는 0.3~0.8
- 오답은 두 번까지: 첫 번째는 같은 단계에서 한 쌍 더, 두 번째는 표 종료
- 중간 맞추기 세 번, Rensink와 Baldridge의 이등분법: 상관관계 없음과 완벽한 직선의 정확히 중간에 케이크를 맞추고, 다시 각 절반을 이등분
결과
- 내 단계(1~10)와 r = 0.5 근처에서 구별할 수 있는 r 차이
- Harrison 외 연구의 공개 데이터 속 온라인 참가자 179명 중 내 위치: 내가 정밀도에서 앞서는 사람의 비율
- Rensink와 Baldridge의 관찰자 20명의 전형적인 곡선 옆에 놓인 나만의 지각 곡선(순위가 아닌 참고)
- 비교해 볼 실제 상관관계, Meyer 외(2001): 성인의 키와 몸무게는 r = 0.44
- 공유 카드와 도전 링크. 링크에는 내 단계와 중간 맞추기 값이 주소의 # 뒤에 담겨요
시작하기 전에
- 약 3분: 9쌍 정도, 그다음 조절 세 번
- 큰 화면이 좋아요. 케이크가 작으면 읽기 어려워요
- 무료, 가입 없음, 소리 필요 없음. 브라우저에서 3D(WebGL)가 켜져 있어야 해요
상관관계 지각 자주 묻는 질문
이 테스트는 무료인가요? 결과를 보려면 가입해야 하나요?
무료이고 가입도 필요 없어요. 계정도, 이메일도, 결제도 없어요. 마지막 문제를 마치면 결과가 이 페이지에 바로 나오고, 곧바로 공유하거나 다시 할 수 있어요.
사람은 산점도에서 상관관계를 얼마나 잘 판단하나요?
약한 상관관계보다 강한 상관관계를 더 잘 판단해요. Harrison 외의 2014년 데이터에서 전형적인 사람은 r = 0.3 근처에서는 약 0.14, r = 0.5 근처에서는 약 0.08, r = 0.8 근처에서는 약 0.04의 차이가 있어야 상관관계를 구별했어요. 상관관계가 얼마나 강해 보이는지는 다른 질문이에요. Rensink와 Baldridge는 2010년, 이 테스트 마지막과 같은 중간 맞추기로 관찰자 20명에게 이 질문을 했고, 내가 직접 설정을 마치면 결과지가 내 곡선을 그들의 곡선 옆에 놓아 줘요.
상관관계 테스트의 백분위는 어떻게 계산하나요?
가장 정밀했던 단계를 시뮬레이션으로 Harrison 외가 측정한 75% 정답 역치로 환산한 뒤, 공개 데이터의 참가자 179명(끝까지 마친 모든 사람 포함) 사이에 놓아요. 같은 과제와 100점 산점도로 비교하지만, 나는 짧은 표 한 번이고 그들은 한 사람당 긴 계단법 네 번이었으니 백분위는 대략적인 값으로 봐 주세요.
상관계수 0.44는 어떻게 보이나요?
Meyer 외(2001)가 정리한 미국 데이터에서 성인의 키와 몸무게는 약 r = 0.44의 상관관계를 보이고, 결과지에서 직접 볼 수 있어요. 그 쌍을 누르면 케이크가 정확히 그 상관관계로 바뀌고, 대부분의 사람에게 얼마나 강해 보이는지와 내 설정으로는 얼마나 강해 보이는지가 나란히 나와요. 이 비교는 조절이 끝난 뒤에야 나오므로, 중간 맞추기는 오로지 내 눈으로만 정해져요.
왜 강한 상관관계가 더 구별하기 쉬운가요?
눈은 점들이 선에 얼마나 바짝 붙어 있는지로 판단하는데, 촘촘한 점구름이 느슨한 것보다 모양 변화가 더 잘 보이기 때문이에요. Harrison 외는 이를 베버의 법칙으로 설명했고, 같은 데이터를 다시 분석한 Kay와 Heer(2016)는 베버의 직선 대신 로그-선형 모델을 권했어요. 이 테스트는 그 모델을 써요.
두 번째에는 왜 다른 단계가 나왔나요?
약 9쌍짜리 짧은 표는 흔들림이 커서 평소 수준보다 한두 단계 위아래로 나올 수 있어요. 화면 크기, 보는 거리, 화면 속 케이크 크기도 결과를 움직여요. 한 번보다 여러 번이 더 공정한 그림을 보여 줘요.
상관관계 테스트로 통계 실력이나 지능을 알 수 있나요?
아니요. 산점도 상관관계 테스트는 내 눈이 점구름을 어떻게 읽는지만 재요. 지능, 시력, 통계 지식에 대해서는 아무것도 말해 주지 않아요.
숫자의 출처
백분위는 Harrison 외의 참가자별 공개 데이터에서 나와요. 산점도 계단법에 로그-선형 모델을 맞춰 각 상관관계에서 전형적인 JND를 구하고, 179명 각자가 그 값에서 벗어난 정도로 비교 집단을 만들었어요. 중간 맞추기 곡선은 Rensink와 Baldridge의 관찰자 20명 평균 척도를 쓰며 순위를 매기지 않아요. 이 사이트는 자체 플레이어 데이터를 공개하지 않아요.
- Harrison, Yang, Franconeri & Chang (2014), IEEE Transactions on Visualization and Computer Graphics — Ranking Visualizations of Correlation Using Weber’s Law
- Harrison et al. open data (TuftsVALT/ranking-correlation), re-analysed by Kay & Heer (2016), Beyond Weber’s Law
- Kay & Heer (2016), IEEE Transactions on Visualization and Computer Graphics — Beyond Weber’s Law: A Second Look at Ranking Visualizations of Correlation
- Rensink & Baldridge (2010), Computer Graphics Forum — The Perception of Correlation in Scatterplots
- Meyer et al. (2001), American Psychologist — Psychological testing and psychological assessment: A review of evidence and issues (Table 1)
점수 계산 방법
최소 식별 차이(JND)
75%의 확률로 맞게 고르는 상관관계 차이로, Harrison 외가 쓴 기준이에요. 통과한 가장 정밀한 단계를 시뮬레이션으로 이 값으로 환산해요.
로그 척도의 단계
각 단계의 차이는 그 상관관계에서 전형적인 사람의 JND의 배수예요. 1단계에서 2배, 단계마다 4분의 1옥타브씩 줄어 10단계에서 약 0.42배가 돼요. 5단계가 정확히 전형적인 75% 지점이에요.
백분위
Harrison의 참가자 179명은 각자 전형적인 JND에서 벗어난 정도가 있고(모든 상관관계에서 같아요), 내 벗어난 정도를 그 사이에 놓아요.
이등분법
두 산점도의 정확히 중간에 하나를 맞추는 일을 세 번 하면, 각 상관관계가 내 눈에 얼마나 강해 보이는지 그릴 수 있어요. 그림으로만 보여 주고 점수는 매기지 않아요.