Lebih pintar daripada AI?

weirdly accurate.

Lebih pintar daripada AI?

Apakah kamu lebih pintar daripada AI dalam teka-teki ARC-AGI?

Untuk teka-teki ini, sudah tidak lagi, meski manusia sempat unggul selama lima tahun. Saat François Chollet menerbitkan ARC pada 2019, teka-tekinya mudah bagi manusia dan sangat sulit bagi mesin. Dalam studi H-ARC (2024), orang-orang menyelesaikan sekitar 60% teka-teki evaluasi dalam dua kesempatan, sedangkan GPT-4o, dalam uji ARC Prize, menyelesaikan 11,4%. Model teratas saat ini menyelesaikan sekitar 95–98% dari 400 teka-teki publik yang sama.

Tes ARC-AGI ini memberimu enam teka-teki dari set evaluasi publik itu, diurutkan dari yang lebih mudah ke yang lebih sulit berdasarkan hasil orang-orang. Masing-masing menunjukkan dua atau tiga contoh sebuah kisi yang berubah menjadi kisi lain; kamu menemukan aturannya dan mewarnai jawabannya di papan pasak, memilih warna, mengisi area, dan mengubah ukuran kisi. Seperti pengujian ARC Prize, kamu punya dua kesempatan dan hanya diberi tahu benar atau salah; setelah salah kedua kalinya, jawabannya ditunjukkan. Skormu adalah jumlah teka-teki yang kamu selesaikan. Skor itu ditempatkan di antara orang-orang dengan model Rasch yang disesuaikan dengan 946 relawan H-ARC yang mengerjakan teka-teki dari set yang sama, lalu disandingkan dengan teka-teki mana dari enam itu yang diselesaikan GPT-4o dan tiga model tahun 2026.

Ini bukan tes IQ. Enam teka-teki adalah sampel yang sangat kecil, dan satu tebakan beruntung bisa menggeser posisimu jauh. Tidak ada peserta H-ARC yang mengerjakan tepat enam teka-teki ini (tiap orang mencoba sekitar lima teka-teki acak), jadi persentilnya berasal dari model, bukan hitungan orang. Skor model terlihat lebih bagus dalam satu hal: teka-teki ini sudah ada di internet sejak 2019, jadi model yang lebih baru mungkin pernah melihatnya saat pelatihan. Skor resmi ARC Prize memakai teka-teki yang tidak diunggah ke internet.

Apa yang diukur tes ARC-AGI

Satu hal: seberapa baik kamu mempelajari aturan baru dari dua atau tiga contoh, yang memang menjadi tujuan ARC dibuat.

Tugasnya

  • Enam teka-teki dari set evaluasi publik ARC-AGI-1 (Abstraction and Reasoning Corpus, François Chollet, 2019), masing-masing dengan satu kisi uji berukuran paling besar 10 × 10
  • Diurutkan menurut tingkat kesulitan yang diperkirakan dari data manusia H-ARC, dengan jeda setelah teka-teki ketiga
  • Warnai jawaban dengan sepuluh warna ARC: ketuk atau seret di atas sel, isi area yang tersambung, salin masukan, hapus semua, dan seret sudut untuk mengatur ukuran
  • Dua kesempatan per teka-teki, hanya diberi tahu benar atau salah; menyerahkan kisi salah yang sama dua kali tidak menghabiskan kesempatan

Hasilmu

  • Berapa dari enam teka-teki yang kamu selesaikan, dan pada percobaan ke berapa
  • Berapa orang dari 100 yang bisa kamu kalahkan, menurut model Rasch yang disesuaikan dengan peserta set evaluasi H-ARC
  • Untuk setiap teka-teki, berapa relawan H-ARC yang mencobanya berhasil menyelesaikannya dalam dua kesempatan
  • Teka-teki mana dari enam itu yang diselesaikan GPT-4o dan tiga model tahun 2026 (Gemini 3.1 Pro, GPT-5.4 Pro, Claude Opus 4.8), serta skor mereka pada 400 teka-teki publik
  • Bagaimana ARC berubah setelah hadirnya model penalaran: o3-preview pada 2024, ARC-AGI-2, dan ARC-AGI-3
  • Kartu yang bisa dibagikan dan tautan untuk menantang teman menyelesaikan lebih banyak

Sebelum mulai

  • Sekitar lima menit, dengan jeda di tengah; gratis, tanpa daftar
  • Bisa di ponsel, tempat kamu berganti antara contoh dan papanmu; layar lebar menampilkan keduanya sekaligus
  • Tidak perlu suara
  • Tidak perlu membaca juga: setiap teka-teki hanya berupa gambar kotak-kotak berwarna

Tanya jawab tes ARC-AGI

Apakah tes ini gratis? Perlu daftar untuk melihat hasilnya?

Ya, gratis dan tidak perlu daftar: tanpa akun, tanpa email, tanpa bayar. Hasilmu langsung muncul di halaman ini begitu selesai, dan bisa langsung dibagikan atau dimainkan lagi.

Apakah manusia masih bisa mengalahkan AI di ARC-AGI?

Pada teka-teki publik ARC-AGI-1 yang asli, hampir tidak: dalam uji ARC Prize tahun 2026, Gemini 3.1 Pro, GPT-5.4 Pro, dan Claude Opus 4.8 menyelesaikan 95–98% di antaranya. Pada ARC-AGI-2 yang lebih sulit, yang hanya menyimpan teka-teki yang diselesaikan setidaknya dua dari 400 orang dalam dua kesempatan, model komersial terverifikasi terbaik mencetak 37,6% pada Desember 2025.

Berapa banyak teka-teki ARC yang diselesaikan orang pada umumnya?

Sekitar enam dari sepuluh. Dalam studi H-ARC oleh LeGris, Vong, Lake, dan Gureckis, para relawan menyelesaikan sekitar 60% teka-teki evaluasi yang mereka coba dalam dua kesempatan, dan 48% pada percobaan pertama. Dari seluruh 800 teka-teki ARC publik, 790 diselesaikan oleh setidaknya satu orang dalam tiga kesempatan.

Berapa skor yang bagus di tes ARC-AGI ini?

Empat dari enam kira-kira berada di tengah. Model Rasch yang disesuaikan dengan H-ARC memperkirakan sekitar separuh orang akan menyelesaikan empat atau lima dari enam teka-teki ini, dan sekitar 11% menyelesaikan keenamnya. Teka-tekinya makin lama makin sulit, jadi teka-teki terakhirlah yang menentukan sebagian besar hasil.

Apa itu ARC-AGI?

ARC-AGI adalah kumpulan 800 teka-teki publik, Abstraction and Reasoning Corpus, yang diterbitkan François Chollet pada 2019 bersama makalahnya On the Measure of Intelligence. Setiap teka-teki punya aturannya sendiri, ditunjukkan dalam dua atau tiga contoh, dan dibangun hanya dari hal-hal yang diketahui manusia tanpa diajari, seperti benda, berhitung, dan simetri. Tujuan Chollet adalah mengukur seberapa efisien sebuah pikiran mempelajari keterampilan baru, bukan seberapa banyak keterampilan yang sudah dimilikinya.

Apakah tes ARC-AGI ini tes IQ?

Bukan. Enam teka-teki terlalu sedikit untuk mengukur kecerdasan umum, dan tes ARC-AGI ini tidak memberi skor IQ. Persentilnya adalah perkiraan model berdasarkan relawan H-ARC, orang dewasa berusia 18 hingga 77 tahun yang direkrut secara daring, jadi ia hanya membandingkanmu dengan kelompok itu pada enam teka-teki ini.

Bagaimana AI bisa jadi sangat jago di ARC?

Model penalaran yang mengubahnya. Pada Desember 2024, o3-preview dari OpenAI mencetak 75,7% pada teka-teki tersembunyi ARC Prize dengan biaya komputasi sekitar 26 dolar per teka-teki, dan 87,5% dengan komputasi 172 kali lebih banyak, sekitar 4.560 dolar per teka-teki. ARC Prize memperkirakan biaya membayar seseorang untuk mengerjakannya sekitar 5 dolar per teka-teki.

Dari mana angka-angka ini

Tingkat keberhasilan manusia adalah hitungan ulang kami atas data ringkasan publik H-ARC, dengan dua kesempatan seperti ARC Prize (H-ARC sendiri memberi tiga). Persentilnya berasal dari model Rasch yang kami sesuaikan dengan peserta set evaluasi; hitungan untuk tiap teka-teki hanya berasal dari 8–12 orang, jadi kasar. Skor model adalah hitungan ulang kami atas berkas jawaban yang diterbitkan ARC Prize pada 400 teka-teki evaluasi publik. Situs ini tidak menerbitkan data pemainnya sendiri.

Cara skor dihitung

Dua kesempatan

Teka-teki dihitung selesai jika jawaban pertama atau keduamu persis sama dengan keluaran uji, sel demi sel dan termasuk ukurannya. Begitulah ARC Prize menilai model, dan begitu pula tingkat keberhasilan manusia dihitung di sini.

Model Rasch

Model statistik yang memberi setiap orang satu kemampuan memecahkan teka-teki dan setiap teka-teki satu tingkat kesulitan. Disesuaikan dengan hasil dua kesempatan dari 946 relawan H-ARC pada set evaluasi, model ini memperkirakan berapa dari enam teka-teki ini yang akan diselesaikan seseorang; persentilmu adalah proporsi orang yang diperkirakan menyelesaikan lebih sedikit daripadamu.

Hasil model

Kami hitung ulang dari berkas jawaban yang diterbitkan ARC Prize untuk tiap model pada 400 teka-teki evaluasi publik, dengan dua kesempatan per teka-teki; teka-teki tanpa berkas jawaban dihitung belum selesai.