あなたはAIより賢い？

weirdly accurate.

あなたはAIより賢い？

ARC-AGIのパズルで、あなたはAIより賢い？

この問題に関しては、もう人間の負けです。ただし人間は5年間リードを守りました。François Cholletが2019年にARCを公開したとき、そのパズルは人には簡単で、機械にはとても難しいものでした。H-ARC研究（2024年）では、人は評価用パズルの約60%を2回以内で解きましたが、ARC Prizeの実行でGPT-4oが解けたのは11.4%でした。今の最上位モデルは、同じ400問の公開パズルの約95〜98%を解きます。

このARC-AGIテストでは、その公開評価セットから6問を、人の正答状況をもとに易しい順に並べて出題します。各問ではマス目が別のマス目に変わる例が2〜3個示されます。ルールを見抜いたら、色を選び、範囲を塗りつぶし、マス目の大きさを変えながら、ペグボードに答えを塗ります。ARC Prizeのテストと同じく2回まで挑戦でき、知らされるのは正解か不正解かだけ。2回目も外れると答えが表示されます。スコアは解けた問題の数です。同じセットのパズルに取り組んだH-ARCのボランティア946人に当てはめたRaschモデルで人の中での位置を出し、6問のうちどれをGPT-4oと2026年の3つのモデルが解いたかと並べて示します。

IQテストではありません。6問はごく小さなサンプルで、まぐれ当たり1問で順位が大きく動きます。H-ARCでちょうどこの6問に取り組んだ人はいません（1人がランダムに約5問ずつ挑戦）。そのため百分位は人数を数えたものではなく、モデルから出しています。モデルの成績にはひいき目な面もあります。これらのパズルは2019年からネット上にあるため、新しいモデルは学習中に見ている可能性があります。ARC Prizeの公式スコアは、ネットに出していないパズルで測られています。

ARC-AGIテストで測るもの

測るのはひとつだけ。2〜3個の例から新しいルールをどれだけうまく学べるか。ARCはまさにそのために作られました。

課題

  • ARC-AGI-1の公開評価セット（Abstraction and Reasoning Corpus、François Chollet、2019年）から6問。各問のテスト用マス目は1つで、最大10×10
  • H-ARCの人間データから推定した難しさの順に並べ、3問目のあとに休憩
  • ARCの10色で答えを塗る。マスをタップまたはなぞる、つながった範囲を塗りつぶす、入力をコピー、全部消す、角をドラッグして大きさを決める
  • 各問2回まで。知らされるのは正解か不正解かだけで、同じ間違いのマス目を2回出しても回数は減らない

結果でわかること

  • 6問中いくつ解けたか、それぞれ何回目で解けたか
  • 100人中何人に勝てるか。H-ARCの評価セット参加者に当てはめたRaschモデルによる
  • 各問について、挑戦したH-ARCのボランティアのうち何人が2回以内で解いたか
  • 6問のうちGPT-4oと2026年の3つのモデル（Gemini 3.1 Pro、GPT-5.4 Pro、Claude Opus 4.8）がどれを解いたか、そして公開400問全体でのスコア
  • 推論モデルの登場でARCがどう変わったか。2024年のo3-preview、ARC-AGI-2、ARC-AGI-3
  • シェアできるカードと、もっと解けるか友だちに挑戦するリンク

始める前に

  • 約5分、途中で1回休憩。無料、登録不要
  • スマホでも遊べます。例と自分のボードを切り替えて使い、横長の画面なら両方を同時に表示
  • 音は不要
  • 文字を読む必要もありません。どの問題も色のついた四角の絵だけ

ARC-AGIテストのよくある質問

このテストは無料？結果を見るのに登録は必要？

無料で、登録もいりません。アカウントもメールアドレスも支払いも不要です。最後まで終えると結果がこのページにすぐ表示され、そのままシェアしたり、もう一度遊んだりできます。

ARC-AGIで、人間はまだAIに勝てる？

元のARC-AGI-1の公開パズルでは、ほぼ勝てません。2026年のARC Prizeの実行では、Gemini 3.1 Pro、GPT-5.4 Pro、Claude Opus 4.8がその95〜98%を解きました。400人中少なくとも2人が2回以内で解けたパズルだけを残した、より難しいARC-AGI-2では、検証済みの最上位の商用モデルが2025年12月時点で37.6%でした。

ふつうの人はARCのパズルを何問解ける？

10問中6問ほどです。LeGris、Vong、Lake、GureckisによるH-ARC研究では、ボランティアは挑戦した評価用パズルの約60%を2回以内で、48%を1回目で解きました。公開されているARCパズル800問のうち、790問は少なくとも1人が3回以内で解いています。

このARC-AGIテストで、いいスコアはいくつ？

6問中4問でだいたい真ん中です。H-ARCに当てはめたRaschモデルの予測では、約半数の人がこの6問のうち4問か5問を解き、約11%が6問すべてを解きます。問題は後になるほど難しくなるので、最後の数問でほとんどの結果が決まります。

ARC-AGIとは？

ARC-AGIは800問の公開パズル集、Abstraction and Reasoning Corpusです。François Cholletが2019年に論文On the Measure of Intelligenceとともに公開しました。各問に独自のルールがあり、2〜3個の例で示され、物、数えること、対称性など、人が教わらなくても知っていることだけで作られています。Cholletの狙いは、すでにどれだけの技能を持っているかではなく、新しい技能をどれだけ効率よく身につけるかを測ることでした。

このARC-AGIテストはIQテスト？

いいえ。6問では一般的な知能を測るには少なすぎ、ARC-AGIテストはIQスコアも出しません。百分位はH-ARCのボランティア（オンラインで募集した18〜77歳の成人）をもとにしたモデルの推定値なので、この6問についてその集団と比べているだけです。

AIはどうしてARCがこんなに得意になった？

推論モデルが状況を変えました。2024年12月、OpenAIのo3-previewはARC Prizeの非公開パズルで、1問あたり約26ドルの計算で75.7%、172倍の計算（1問あたり約4,560ドル）で87.5%を記録しました。ARC Prizeは、人に報酬を払って解いてもらう費用を1問あたり約5ドルと見積もっています。

数字の出どころ

人の正答率は、H-ARCの公開集計データを、ARC Prizeと同じく2回までとして私たちが数え直したものです（H-ARC自体は3回まで認めていました）。百分位は、評価セットの参加者に私たちが当てはめたRaschモデルによるものです。各問ごとの人数は8〜12人しかないため、おおまかな値です。モデルのスコアは、ARC Prizeが公開400問の評価パズルについて公開した回答ファイルを私たちが数え直したものです。このサイトは自サイトのプレイヤーのデータを公開していません。

スコアの出し方

2回まで

1回目か2回目の答えが、大きさも含めてマス単位でテスト出力と完全に一致すれば解けたことになります。ARC Prizeはこの方法でモデルを採点しており、ここでの人の正答率も同じ方法で数えています。

Raschモデル

1人ひとりに1つの「パズルを解く力」を、1問ごとに1つの難しさを割り当てる統計モデルです。評価セットに取り組んだH-ARCのボランティア946人の2回以内の結果に当てはめ、この6問のうち人が何問解けるかを予測します。あなたの百分位は、あなたより解けた数が少ないと予測される人の割合です。

モデルの成績

ARC Prizeが公開400問の評価パズルについてモデルごとに公開している回答ファイルを、各問2回までとして私たちが数え直したものです。回答ファイルのない問題は未解決として数えます。