Ты умнее ИИ?

weirdly accurate.

Ты умнее ИИ?

Ты умнее ИИ в головоломках ARC-AGI?

На этих головоломках — уже нет, хотя люди удерживали лидерство пять лет. Когда François Chollet опубликовал ARC в 2019 году, его головоломки были лёгкими для людей и очень трудными для машин. В исследовании H-ARC (2024) люди решили около 60% оценочных головоломок за две попытки, а GPT-4o в прогоне ARC Prize решил 11,4%. Лучшие современные модели решают около 95–98% тех же 400 открытых головоломок.

Этот тест ARC-AGI даёт тебе шесть головоломок из этого открытого оценочного набора, упорядоченных от лёгких к трудным по тому, как с ними справлялись люди. В каждой показаны два-три примера того, как одна сетка превращается в другую; ты находишь правило и раскрашиваешь ответ на доске со штырьками: выбираешь цвета, заливаешь области и меняешь размер сетки. Как в тестах ARC Prize, у тебя две попытки, и тебе говорят только «верно» или «неверно»; после второй ошибки показывается ответ. Твой результат — число решённых головоломок. Он размещается среди людей с помощью модели Раша, подогнанной к 946 добровольцам H-ARC, решавшим головоломки из того же набора, и сопоставляется с тем, какие из шести решили GPT-4o и три модели 2026 года.

Это не тест IQ. Шесть головоломок — крошечная выборка, и одна удачная догадка сильно меняет твоё место. Никто в H-ARC не решал именно эти шесть (каждый пробовал около пяти случайных головоломок), поэтому процентиль получен из модели, а не подсчётом людей. Результаты моделей в одном смысле завышены: эти головоломки лежат в интернете с 2019 года, так что новые модели могли видеть их при обучении. Официальные результаты ARC Prize считаются на головоломках, которые в интернет не выкладываются.

Что измеряет тест ARC-AGI

Одно: насколько хорошо ты усваиваешь новое правило по двум-трём примерам. Именно для этого ARC и создавался.

Задание

  • Шесть головоломок из открытого оценочного набора ARC-AGI-1 (Abstraction and Reasoning Corpus, François Chollet, 2019), в каждой одна тестовая сетка размером не больше 10 × 10
  • Упорядочены по трудности, оценённой по данным людей из H-ARC, с перерывом после третьей
  • Раскрась ответ десятью цветами ARC: нажимай на клетки или проводи по ним, заливай связную область, копируй вход, очищай всё и тяни за угол, чтобы задать размер
  • Две попытки на головоломку, и говорят только «верно» или «неверно»; если сдать ту же неверную сетку дважды, попытка не тратится

Твой результат

  • Сколько из шести ты решил и с какой попытки
  • Скольких людей из 100 ты бы обошёл — по модели Раша, подогнанной к участникам H-ARC, решавшим оценочный набор
  • Для каждой головоломки — сколько из пробовавших её добровольцев H-ARC решили её за две попытки
  • Какие из шести решили GPT-4o и три модели 2026 года (Gemini 3.1 Pro, GPT-5.4 Pro, Claude Opus 4.8) и их результаты на всех 400 открытых головоломках
  • Как ARC изменился после моделей рассуждений: o3-preview в 2024 году, ARC-AGI-2 и ARC-AGI-3
  • Карточка, которой можно поделиться, и ссылка, вызывающая друга решить больше

Перед началом

  • Около пяти минут, с перерывом посередине; бесплатно и без регистрации
  • Работает на телефоне: там ты переключаешься между примерами и своей доской; на широком экране видно и то и другое сразу
  • Звук не нужен
  • Читать тоже не нужно: каждая головоломка — это картинки из цветных квадратов

Частые вопросы о тесте ARC-AGI

Этот тест бесплатный? Нужно ли регистрироваться, чтобы увидеть результат?

Да, он бесплатный, и регистрироваться не нужно: ни аккаунта, ни почты, ни оплаты. Результат появится на этой странице сразу, как только закончишь, и его можно тут же отправить друзьям или пройти тест ещё раз.

Могут ли люди всё ещё обыграть ИИ в ARC-AGI?

На исходных открытых головоломках ARC-AGI-1 — в основном нет: в прогонах ARC Prize 2026 года Gemini 3.1 Pro, GPT-5.4 Pro и Claude Opus 4.8 решили 95–98% из них. На более трудном ARC-AGI-2, где оставлены только головоломки, которые хотя бы двое из 400 человек решили за две попытки, лучшая проверенная коммерческая модель набрала 37,6% в декабре 2025 года.

Сколько головоломок ARC решает обычный человек?

Около шести из десяти. В исследовании H-ARC (LeGris, Vong, Lake и Gureckis) добровольцы решили около 60% опробованных оценочных головоломок за две попытки и 48% с первой. Из всех 800 открытых головоломок ARC 790 решил хотя бы один человек за три попытки.

Какой результат в этом тесте ARC-AGI считается хорошим?

Четыре из шести — примерно середина. Модель Раша, подогнанная к H-ARC, предсказывает, что около половины людей решат четыре или пять из этих шести головоломок, а около 11% — все шесть. Головоломки идут от лёгких к трудным, поэтому большинство результатов решают последние.

Что такое ARC-AGI?

ARC-AGI — это набор из 800 открытых головоломок, Abstraction and Reasoning Corpus, который François Chollet опубликовал в 2019 году вместе со статьёй On the Measure of Intelligence. У каждой головоломки своё правило: его показывают в двух-трёх примерах, и строится оно только из того, что люди знают без обучения, — предметы, счёт, симметрия. Chollet хотел измерить, насколько эффективно разум осваивает новый навык, а не сколько навыков у него уже есть.

Этот тест ARC-AGI — тест IQ?

Нет. Шести головоломок слишком мало, чтобы измерить общий интеллект, и тест ARC-AGI не выдаёт балл IQ. Его процентиль — оценка модели по добровольцам H-ARC, взрослым 18–77 лет, набранным онлайн, поэтому он сравнивает тебя с этой группой только на этих шести головоломках.

Как ИИ стал так хорош в ARC?

Всё изменили модели рассуждений. В декабре 2024 года o3-preview от OpenAI набрал 75,7% на скрытых головоломках ARC Prize примерно за 26 долларов вычислений на головоломку и 87,5% при в 172 раза большем объёме вычислений — около 4560 долларов на головоломку. По оценке ARC Prize, заплатить человеку стоит примерно 5 долларов за головоломку.

Откуда цифры

Доли решивших людей — наш пересчёт открытых сводных данных H-ARC с двумя попытками, как у ARC Prize (сам H-ARC давал три). Процентиль получен из модели Раша, которую мы подогнали к участникам оценочного набора; счёт по каждой головоломке основан всего на 8–12 людях, поэтому он грубый. Результаты моделей — наш пересчёт файлов ответов, опубликованных ARC Prize, на 400 открытых оценочных головоломках. Сайт не публикует данные своих игроков.

Как считается результат

Две попытки

Головоломка считается решённой, если твой первый или второй ответ в точности совпадает с тестовым выходом — клетка в клетку и того же размера. Так ARC Prize оценивает модели, и так же здесь подсчитаны доли решивших людей.

Модель Раша

Статистическая модель, которая даёт каждому человеку одну способность решать головоломки, а каждой головоломке одну трудность. Подогнанная к результатам за две попытки у 946 добровольцев H-ARC на оценочном наборе, она предсказывает, сколько из этих шести решит человек; твой процентиль — доля людей, которые, по прогнозу, решат меньше, чем ты.

Результаты моделей

Пересчитаны нами по файлам ответов, которые ARC Prize публикует для каждой модели на 400 открытых оценочных головоломках, с двумя попытками на головоломку; головоломка без файла ответа считается нерешённой.