Bist du schlauer als KI?

weirdly accurate.

Bist du schlauer als KI?

Bist du bei ARC-AGI-Rätseln schlauer als KI?

Bei diesen Rätseln nicht mehr, auch wenn Menschen fünf Jahre lang vorn lagen. Als François Chollet ARC 2019 veröffentlichte, waren die Rätsel für Menschen leicht und für Maschinen sehr schwer. In der H-ARC-Studie (2024) lösten Menschen etwa 60 % der Evaluationsrätsel in zwei Versuchen, GPT-4o dagegen löste im Lauf des ARC Prize 11,4 %. Die besten Modelle von heute lösen etwa 95–98 % derselben 400 öffentlichen Rätsel.

Dieser ARC-AGI-Test gibt dir sechs Rätsel aus diesem öffentlichen Evaluationsset, geordnet von leichter zu schwerer, je nachdem, wie Menschen dabei abschnitten. Jedes zeigt zwei oder drei Beispiele, wie ein Raster zu einem anderen wird; du findest die Regel und malst die Lösung auf ein Steckbrett, wählst Farben, füllst Flächen und änderst die Größe des Rasters. Wie bei den Tests des ARC Prize hast du zwei Versuche und erfährst nur richtig oder falsch; nach dem zweiten Fehlversuch wird die Lösung gezeigt. Dein Ergebnis ist die Zahl der gelösten Rätsel. Es wird mit einem Rasch-Modell unter Menschen eingeordnet, das an 946 H-ARC-Freiwillige angepasst ist, die Rätsel aus demselben Set lösten, und neben die Frage gestellt, welche der sechs GPT-4o und drei Modelle von 2026 lösten.

Es ist kein IQ-Test. Sechs Rätsel sind eine winzige Stichprobe, und ein einziger Glückstreffer verschiebt deinen Platz stark. Niemand in H-ARC hat genau diese sechs gemacht (jede Person versuchte etwa fünf zufällige Rätsel), daher stammt das Perzentil aus dem Modell, nicht aus einer Kopfzählung. Die Modellergebnisse sind in einer Hinsicht geschönt: Diese Rätsel stehen seit 2019 im Netz, neuere Modelle könnten sie also im Training gesehen haben. Die offiziellen Ergebnisse des ARC Prize verwenden Rätsel, die nicht im Internet stehen.

Was der ARC-AGI-Test misst

Eine Sache: wie gut du eine neue Regel aus zwei oder drei Beispielen lernst, genau dafür wurde ARC gebaut.

Die Aufgabe

  • Sechs Rätsel aus dem öffentlichen Evaluationsset von ARC-AGI-1 (Abstraction and Reasoning Corpus, François Chollet, 2019), jedes mit einem einzigen Testraster von höchstens 10 × 10
  • Geordnet nach der aus den menschlichen H-ARC-Daten geschätzten Schwierigkeit, mit einer Pause nach dem dritten
  • Male die Lösung mit den zehn ARC-Farben: Felder antippen oder darüberziehen, eine zusammenhängende Fläche füllen, die Eingabe kopieren, alles löschen und die Ecke ziehen, um die Größe festzulegen
  • Zwei Versuche pro Rätsel, gemeldet wird nur richtig oder falsch; dasselbe falsche Raster zweimal abzugeben kostet keinen Versuch

Dein Ergebnis

  • Wie viele der sechs du gelöst hast und in welchem Versuch
  • Wie viele von 100 Menschen du schlagen würdest, nach einem Rasch-Modell, das an die H-ARC-Teilnehmenden des Evaluationssets angepasst ist
  • Für jedes Rätsel, wie viele der H-ARC-Freiwilligen, die es versuchten, es in zwei Versuchen lösten
  • Welche der sechs GPT-4o und drei Modelle von 2026 (Gemini 3.1 Pro, GPT-5.4 Pro, Claude Opus 4.8) lösten, und ihre Ergebnisse über alle 400 öffentlichen Rätsel
  • Wie sich ARC nach den Reasoning-Modellen veränderte: o3-preview 2024, ARC-AGI-2 und ARC-AGI-3
  • Eine teilbare Karte und ein Link, der Freunde herausfordert, mehr zu lösen

Bevor du anfängst

  • Etwa fünf Minuten, mit einer Pause in der Mitte; kostenlos und ohne Anmeldung
  • Läuft auf dem Handy, wo du zwischen Beispielen und deinem Brett wechselst; ein breiter Bildschirm zeigt beides zugleich
  • Kein Ton nötig
  • Auch kein Lesen: Jedes Rätsel besteht aus Bildern bunter Quadrate

Häufige Fragen zum ARC-AGI-Test

Ist dieser Test kostenlos? Muss ich mich anmelden, um mein Ergebnis zu sehen?

Ja, er ist kostenlos, und es gibt keine Anmeldung: kein Konto, keine E-Mail, keine Zahlung. Dein Ergebnis erscheint auf dieser Seite, sobald du fertig bist, und du kannst es sofort teilen oder noch einmal spielen.

Können Menschen KI bei ARC-AGI noch schlagen?

Bei den ursprünglichen öffentlichen ARC-AGI-1-Rätseln meist nicht mehr: In den Läufen des ARC Prize 2026 lösten Gemini 3.1 Pro, GPT-5.4 Pro und Claude Opus 4.8 95–98 % davon. Beim schwereren ARC-AGI-2, das nur Rätsel behält, die mindestens zwei von 400 Menschen in zwei Versuchen lösten, erreichte das beste verifizierte kommerzielle Modell im Dezember 2025 37,6 %.

Wie viele ARC-Rätsel löst ein typischer Mensch?

Etwa sechs von zehn. In der H-ARC-Studie von LeGris, Vong, Lake und Gureckis lösten die Freiwilligen etwa 60 % der versuchten Evaluationsrätsel in zwei Versuchen und 48 % im ersten Versuch. Von allen 800 öffentlichen ARC-Rätseln wurden 790 von mindestens einer Person in drei Versuchen gelöst.

Was ist ein gutes Ergebnis in diesem ARC-AGI-Test?

Vier von sechs ist etwa die Mitte. Das an H-ARC angepasste Rasch-Modell sagt voraus, dass etwa die Hälfte der Menschen vier oder fünf dieser sechs Rätsel lösen würde und etwa 11 % alle sechs. Die Rätsel werden nach hinten immer schwerer, daher entscheiden die letzten die meisten Ergebnisse.

Was ist ARC-AGI?

ARC-AGI ist eine Sammlung von 800 öffentlichen Rätseln, das Abstraction and Reasoning Corpus, das François Chollet 2019 mit seinem Aufsatz On the Measure of Intelligence veröffentlichte. Jedes Rätsel hat seine eigene Regel, gezeigt in zwei oder drei Beispielen und nur aus Dingen gebaut, die Menschen wissen, ohne dass es ihnen beigebracht wurde, etwa Gegenstände, Zählen und Symmetrie. Chollet wollte messen, wie effizient ein Geist eine neue Fähigkeit lernt, nicht wie viel Können er schon hat.

Ist dieser ARC-AGI-Test ein IQ-Test?

Nein. Sechs Rätsel sind viel zu wenige, um allgemeine Intelligenz zu messen, und der ARC-AGI-Test gibt keinen IQ-Wert aus. Sein Perzentil ist eine Modellschätzung auf Basis der H-ARC-Freiwilligen, Erwachsenen zwischen 18 und 77, die online rekrutiert wurden; es vergleicht dich also nur bei diesen sechs Rätseln mit dieser Gruppe.

Wie ist KI bei ARC so gut geworden?

Durch Reasoning-Modelle. Im Dezember 2024 erreichte OpenAIs o3-preview auf den verdeckten Rätseln des ARC Prize 75,7 % bei etwa 26 Dollar Rechenaufwand pro Rätsel und 87,5 % mit 172-mal mehr Rechenaufwand, etwa 4.560 Dollar pro Rätsel. Der ARC Prize bezifferte die Kosten, einen Menschen zu bezahlen, auf rund 5 Dollar pro Rätsel.

Woher die Zahlen kommen

Die menschlichen Quoten sind unsere Nachzählung der öffentlichen H-ARC-Zusammenfassungsdaten, mit zwei Versuchen wie beim ARC Prize (H-ARC selbst erlaubte drei). Das Perzentil stammt aus einem Rasch-Modell, das wir an die Teilnehmenden des Evaluationssets angepasst haben; die Zählung zu jedem einzelnen Rätsel stammt von nur 8–12 Personen und ist daher grob. Die Modellergebnisse sind unsere Nachzählung der vom ARC Prize veröffentlichten Antwortdateien zu den 400 öffentlichen Evaluationsrätseln. Die Seite veröffentlicht keine Daten ihrer eigenen Spielerinnen und Spieler.

Wie das Ergebnis berechnet wird

Zwei Versuche

Ein Rätsel gilt als gelöst, wenn deine erste oder zweite Antwort genau mit der Testausgabe übereinstimmt, Feld für Feld und in derselben Größe. So bewertet der ARC Prize die Modelle, und so werden hier die menschlichen Quoten gezählt.

Rasch-Modell

Ein statistisches Modell, das jeder Person eine einzige Rätsel-Fähigkeit und jedem Rätsel eine einzige Schwierigkeit gibt. Angepasst an die Zwei-Versuche-Ergebnisse von 946 H-ARC-Freiwilligen im Evaluationsset sagt es voraus, wie viele dieser sechs eine Person lösen würde; dein Perzentil ist der Anteil der Menschen, die laut Vorhersage weniger lösen würden als du.

Modellergebnisse

Von uns nachgezählt aus den Antwortdateien, die der ARC Prize für jedes Modell zu den 400 öffentlichen Evaluationsrätseln veröffentlicht, mit zwei Versuchen pro Rätsel; ein Rätsel ohne Antwortdatei gilt als ungelöst.