AI보다 똑똑할까?

weirdly accurate.

AI보다 똑똑할까?

ARC-AGI 퍼즐에서 나는 AI보다 똑똑할까?

이 퍼즐들에서는 이제 아닙니다. 그래도 사람이 5년 동안 앞서 있었습니다. François Chollet이 2019년에 ARC를 공개했을 때, 이 퍼즐들은 사람에게는 쉽고 기계에게는 아주 어려웠습니다. H-ARC 연구(2024)에서 사람들은 평가 퍼즐의 약 60%를 두 번 안에 풀었지만, ARC Prize가 돌린 GPT-4o는 11.4%를 풀었습니다. 오늘날 최상위 모델은 같은 공개 퍼즐 400개 중 약 95~98%를 풉니다.

이 ARC-AGI 테스트는 그 공개 평가 세트에서 퍼즐 여섯 개를 골라, 사람들이 푼 결과에 따라 쉬운 것부터 어려운 순으로 냅니다. 퍼즐마다 격자 하나가 다른 격자로 바뀌는 예시가 두세 개 나옵니다. 규칙을 찾아낸 뒤 색을 고르고, 영역을 채우고, 격자 크기를 바꿔 가며 페그보드에 답을 칠합니다. ARC Prize 테스트처럼 기회는 두 번이고 맞았는지 틀렸는지만 알려 주며, 두 번째도 틀리면 답이 공개됩니다. 점수는 푼 퍼즐의 개수입니다. 같은 세트의 퍼즐을 푼 H-ARC 자원자 946명에 맞춘 Rasch 모델로 사람들 사이에서의 위치를 정하고, 여섯 개 중 GPT-4o와 2026년 모델 세 개가 어떤 것을 풀었는지와 나란히 보여 줍니다.

IQ 테스트가 아닙니다. 퍼즐 여섯 개는 아주 작은 표본이라 운 좋은 추측 하나로도 순위가 크게 바뀝니다. H-ARC에서 정확히 이 여섯 개를 풀어 본 사람은 없습니다(한 사람이 무작위로 약 다섯 개씩 풀었습니다). 그래서 백분위는 사람 수를 센 것이 아니라 모델에서 나온 값입니다. 모델 점수는 한 가지 면에서 후하게 나옵니다. 이 퍼즐들은 2019년부터 온라인에 있었으니 새 모델이 학습 중에 봤을 수 있습니다. ARC Prize의 공식 점수는 인터넷에 올리지 않은 퍼즐로 냅니다.

ARC-AGI 테스트가 재는 것

딱 하나입니다. 예시 두세 개로 새로운 규칙을 얼마나 잘 배우는지. ARC가 바로 이것을 재려고 만들어졌습니다.

과제

  • ARC-AGI-1 공개 평가 세트(Abstraction and Reasoning Corpus, François Chollet, 2019)의 퍼즐 6개, 각 퍼즐의 테스트 격자는 하나이고 최대 10 × 10
  • H-ARC 사람 데이터로 추정한 난이도 순으로 배치, 세 번째 퍼즐 뒤에 쉬는 시간
  • ARC의 열 가지 색으로 답을 칠합니다. 칸을 탭하거나 드래그하기, 이어진 영역 채우기, 입력 복사, 모두 지우기, 모서리를 끌어 크기 정하기
  • 퍼즐마다 두 번, 맞았는지 틀렸는지만 알려 줍니다. 똑같이 틀린 격자를 두 번 내도 기회가 줄지 않습니다

결과

  • 여섯 개 중 몇 개를 몇 번째 시도에 풀었는지
  • 100명 중 몇 명을 이기는지, H-ARC 평가 세트 참가자에 맞춘 Rasch 모델 기준
  • 퍼즐마다 그 퍼즐을 시도한 H-ARC 자원자 중 몇 명이 두 번 안에 풀었는지
  • 여섯 개 중 GPT-4o와 2026년 모델 세 개(Gemini 3.1 Pro, GPT-5.4 Pro, Claude Opus 4.8)가 푼 퍼즐, 그리고 공개 퍼즐 400개 전체에서의 점수
  • 추론 모델 이후 ARC가 어떻게 바뀌었는지: 2024년 o3-preview, ARC-AGI-2, ARC-AGI-3
  • 공유할 수 있는 카드와 친구에게 더 많이 풀 수 있는지 도전하는 링크

시작하기 전에

  • 약 5분, 중간에 한 번 쉬어 갑니다. 무료이고 가입이 필요 없습니다
  • 휴대폰에서도 됩니다. 예시와 내 보드를 번갈아 보고, 넓은 화면에서는 둘이 함께 보입니다
  • 소리는 필요 없습니다
  • 글을 읽을 필요도 없습니다. 모든 퍼즐은 색깔 네모 그림뿐입니다

ARC-AGI 테스트 자주 묻는 질문

이 테스트는 무료인가요? 결과를 보려면 가입해야 하나요?

무료이고 가입도 필요 없어요. 계정도, 이메일도, 결제도 없어요. 마지막 문제를 마치면 결과가 이 페이지에 바로 나오고, 곧바로 공유하거나 다시 할 수 있어요.

ARC-AGI에서 사람이 아직 AI를 이길 수 있나요?

원래의 ARC-AGI-1 공개 퍼즐에서는 거의 못 이깁니다. 2026년 ARC Prize 실행에서 Gemini 3.1 Pro, GPT-5.4 Pro, Claude Opus 4.8은 그중 95~98%를 풀었습니다. 400명 중 적어도 두 명이 두 번 안에 푼 퍼즐만 남긴 더 어려운 ARC-AGI-2에서는, 검증된 최고 상용 모델이 2025년 12월에 37.6%를 기록했습니다.

보통 사람은 ARC 퍼즐을 몇 개나 푸나요?

열 개 중 여섯 개 정도입니다. LeGris, Vong, Lake, Gureckis의 H-ARC 연구에서 자원자들은 시도한 평가 퍼즐의 약 60%를 두 번 안에, 48%를 첫 번째에 풀었습니다. 공개된 ARC 퍼즐 800개 중 790개는 적어도 한 명이 세 번 안에 풀었습니다.

이 ARC-AGI 테스트에서 좋은 점수는 몇 개인가요?

여섯 개 중 네 개면 대략 중간입니다. H-ARC에 맞춘 Rasch 모델은 사람들 절반 정도가 이 여섯 개 중 네다섯 개를, 약 11%가 여섯 개 모두를 풀 것으로 예측합니다. 퍼즐은 갈수록 어려워지기 때문에 마지막 몇 개가 대부분의 결과를 가릅니다.

ARC-AGI란 무엇인가요?

ARC-AGI는 공개 퍼즐 800개로 이루어진 Abstraction and Reasoning Corpus로, François Chollet이 2019년 논문 On the Measure of Intelligence와 함께 공개했습니다. 퍼즐마다 고유한 규칙이 있고, 예시 두세 개로 보여 주며, 물체, 세기, 대칭처럼 사람이 배우지 않아도 아는 것만으로 만들어졌습니다. Chollet의 목표는 이미 가진 기술의 양이 아니라 새 기술을 얼마나 효율적으로 배우는지를 재는 것이었습니다.

이 ARC-AGI 테스트는 IQ 테스트인가요?

아닙니다. 퍼즐 여섯 개는 일반 지능을 재기에 너무 적고, ARC-AGI 테스트는 IQ 점수를 주지 않습니다. 백분위는 온라인으로 모집한 18~77세 성인인 H-ARC 자원자를 바탕으로 한 모델 추정치라서, 이 여섯 개 퍼즐에 대해서만 그 집단과 비교합니다.

AI는 어떻게 ARC를 이렇게 잘하게 됐나요?

추론 모델이 판을 바꿨습니다. 2024년 12월 OpenAI의 o3-preview는 ARC Prize의 비공개 퍼즐에서 퍼즐당 약 26달러의 연산으로 75.7%를, 172배 많은 연산(퍼즐당 약 4,560달러)으로 87.5%를 기록했습니다. ARC Prize는 사람에게 돈을 주고 풀게 하는 비용을 퍼즐당 약 5달러로 봤습니다.

숫자의 출처

사람의 정답률은 H-ARC의 공개 요약 데이터를 ARC Prize처럼 두 번 기준으로 저희가 다시 센 것입니다(H-ARC 자체는 세 번까지 허용했습니다). 백분위는 평가 세트 참가자에 저희가 맞춘 Rasch 모델에서 나옵니다. 퍼즐별 인원은 8~12명뿐이라 대략적인 값입니다. 모델 점수는 ARC Prize가 공개 평가 퍼즐 400개에 대해 공개한 답안 파일을 저희가 다시 센 것입니다. 이 사이트는 자체 플레이어의 데이터를 공개하지 않습니다.

점수 계산 방법

두 번의 기회

첫 번째나 두 번째 답이 크기까지 포함해 칸 하나하나 테스트 출력과 똑같으면 푼 것으로 셉니다. ARC Prize가 모델을 채점하는 방식이며, 여기서 사람의 정답률도 이렇게 셉니다.

Rasch 모델

사람마다 하나의 퍼즐 푸는 능력을, 퍼즐마다 하나의 난이도를 부여하는 통계 모델입니다. 평가 세트를 푼 H-ARC 자원자 946명의 두 번 안 결과에 맞춰, 한 사람이 이 여섯 개 중 몇 개를 풀지 예측합니다. 내 백분위는 나보다 적게 풀 것으로 예측되는 사람의 비율입니다.

모델 성적

ARC Prize가 공개 평가 퍼즐 400개에 대해 모델별로 공개한 답안 파일을 퍼즐마다 두 번 기준으로 저희가 다시 센 것입니다. 답안 파일이 없는 퍼즐은 못 푼 것으로 셉니다.