Yapay zekâdan daha mı zekisin?

weirdly accurate.

Yapay zekâdan daha mı zekisin?

ARC-AGI bulmacalarında yapay zekâdan daha mı zekisin?

Bu bulmacalarda artık değil; ama insanlar beş yıl boyunca öndeydi. François Chollet ARC’ı 2019’da yayımladığında bulmacalar insanlar için kolay, makineler için çok zordu. H-ARC çalışmasında (2024) insanlar değerlendirme bulmacalarının yaklaşık %60’ını iki denemede çözdü; ARC Prize’ın testinde GPT-4o ise %11,4’ünü çözdü. Bugünün en iyi modelleri aynı 400 açık bulmacanın yaklaşık %95–98’ini çözüyor.

Bu ARC-AGI testi, o açık değerlendirme setinden altı bulmacayı insanların başarısına göre kolaydan zora sıralayarak verir. Her biri bir ızgaranın başka bir ızgaraya dönüştüğü iki ya da üç örnek gösterir; kuralı bulursun ve renk seçerek, alanları doldurarak ve ızgaranın boyutunu değiştirerek cevabı çivili tahtaya boyarsın. ARC Prize testlerindeki gibi iki hakkın vardır ve sana yalnızca doğru ya da yanlış denir; ikinci kez yanılınca cevap gösterilir. Puanın çözdüğün bulmaca sayısıdır. Bu puan, aynı setten bulmaca çözen 946 H-ARC gönüllüsüne uydurulan bir Rasch modeliyle insanlar arasına yerleştirilir ve altı bulmacadan hangilerini GPT-4o ile 2026’dan üç modelin çözdüğüyle yan yana konur.

Bu bir IQ testi değildir. Altı bulmaca çok küçük bir örneklemdir; tek bir şanslı tahmin yerini çok değiştirir. H-ARC’ta tam olarak bu altı bulmacayı yapan kimse yoktu (her kişi rastgele yaklaşık beş bulmaca denedi), bu yüzden yüzdelik dilim insan sayımından değil modelden gelir. Model puanları bir açıdan fazla iyimserdir: Bu bulmacalar 2019’dan beri internette, dolayısıyla yeni modeller onları eğitim sırasında görmüş olabilir. ARC Prize’ın resmî puanları internete konmayan bulmacalarla hesaplanır.

ARC-AGI testi neyi ölçer

Tek bir şeyi: iki ya da üç örnekten yeni bir kuralı ne kadar iyi öğrendiğini. ARC tam da bunun için kuruldu.

Görev

  • ARC-AGI-1 açık değerlendirme setinden (Abstraction and Reasoning Corpus, François Chollet, 2019) altı bulmaca; her birinde en fazla 10 × 10 boyutunda tek bir test ızgarası
  • H-ARC insan verisinden tahmin edilen zorluğa göre sıralı, üçüncüden sonra bir mola
  • Cevabı ARC’ın on rengiyle boya: hücrelere dokun ya da üzerlerinde sürükle, bağlantılı bir alanı doldur, girdiyi kopyala, temizle ve boyutu ayarlamak için köşeyi sürükle
  • Her bulmacada iki hak, yalnızca doğru ya da yanlış söylenir; aynı yanlış ızgarayı iki kez teslim etmek hak harcamaz

Sonucun

  • Altı bulmacadan kaçını ve hangi denemede çözdüğün
  • 100 kişiden kaçını geçeceğin; H-ARC değerlendirme seti katılımcılarına uydurulan bir Rasch modeline göre
  • Her bulmaca için, onu deneyen H-ARC gönüllülerinden kaçının iki denemede çözdüğü
  • Altı bulmacadan hangilerini GPT-4o’nun ve 2026’dan üç modelin (Gemini 3.1 Pro, GPT-5.4 Pro, Claude Opus 4.8) çözdüğü ve 400 açık bulmacanın tamamındaki puanları
  • Akıl yürütme modellerinden sonra ARC’ın nasıl değiştiği: 2024’te o3-preview, ARC-AGI-2 ve ARC-AGI-3
  • Paylaşılabilir bir kart ve bir arkadaşını daha fazlasını çözmeye davet eden bir bağlantı

Başlamadan önce

  • Yaklaşık beş dakika, ortada bir mola; ücretsiz, kayıt gerekmez
  • Telefonda çalışır; orada örneklerle kendi tahtan arasında geçiş yaparsın, geniş ekranda ikisi birlikte görünür
  • Ses gerekmez
  • Okumak da gerekmez: Her bulmaca renkli karelerden oluşan resimlerdir

ARC-AGI testi hakkında sık sorulan sorular

Bu test ücretsiz mi? Sonucumu görmek için kaydolmam gerekiyor mu?

Evet, ücretsiz ve kayıt yok: hesap, e-posta ya da ödeme gerekmez. Bitirdiğin anda sonucun bu sayfada görünür; hemen paylaşabilir ya da yeniden oynayabilirsin.

İnsanlar ARC-AGI’da yapay zekâyı hâlâ yenebilir mi?

Özgün ARC-AGI-1 açık bulmacalarında çoğunlukla hayır: ARC Prize’ın 2026 testlerinde Gemini 3.1 Pro, GPT-5.4 Pro ve Claude Opus 4.8 bunların %95–98’ini çözdü. Yalnızca 400 kişiden en az ikisinin iki denemede çözdüğü bulmacaları tutan daha zor ARC-AGI-2’de, doğrulanmış en iyi ticari model Aralık 2025’te %37,6 aldı.

Sıradan bir insan kaç ARC bulmacası çözer?

Ondan yaklaşık altısını. LeGris, Vong, Lake ve Gureckis’in H-ARC çalışmasında gönüllüler denedikleri değerlendirme bulmacalarının yaklaşık %60’ını iki denemede, %48’ini ilk denemede çözdü. 800 açık ARC bulmacasından 790’ı en az bir kişi tarafından üç denemede çözüldü.

Bu ARC-AGI testinde iyi bir puan kaçtır?

Altıda dört aşağı yukarı ortadır. H-ARC’a uydurulan Rasch modeli, insanların yaklaşık yarısının bu altı bulmacadan dört ya da beşini, yaklaşık %11’inin ise altısını da çözeceğini tahmin eder. Bulmacalar kolaydan zora gider; bu yüzden sonuçların çoğunu son bulmacalar belirler.

ARC-AGI nedir?

ARC-AGI, François Chollet’nin 2019’da On the Measure of Intelligence makalesiyle birlikte yayımladığı 800 açık bulmacalık Abstraction and Reasoning Corpus’tur. Her bulmacanın kendi kuralı vardır; iki ya da üç örnekle gösterilir ve yalnızca insanların öğretilmeden bildiği şeylerden kurulur: nesneler, sayma, simetri gibi. Chollet’nin amacı bir zihnin ne kadar beceriye sahip olduğunu değil, yeni bir beceriyi ne kadar verimli öğrendiğini ölçmekti.

Bu ARC-AGI testi bir IQ testi mi?

Hayır. Altı bulmaca genel zekâyı ölçmek için çok az ve ARC-AGI testi IQ puanı vermez. Yüzdelik dilim, internetten toplanan 18–77 yaş arası yetişkinlerden oluşan H-ARC gönüllülerine dayalı bir model tahminidir; yani seni bu grupla yalnızca bu altı bulmacada karşılaştırır.

Yapay zekâ ARC’ta nasıl bu kadar iyi oldu?

Akıl yürütme modelleri işi değiştirdi. Aralık 2024’te OpenAI’ın o3-preview modeli ARC Prize’ın gizli bulmacalarında bulmaca başına yaklaşık 26 dolarlık hesaplamayla %75,7, 172 kat daha fazla hesaplamayla (bulmaca başına yaklaşık 4.560 dolar) %87,5 aldı. ARC Prize, bir insana para ödeyerek çözdürmenin maliyetini bulmaca başına yaklaşık 5 dolar olarak hesapladı.

Rakamlar nereden geliyor

İnsan oranları, H-ARC’ın açık özet verilerini ARC Prize gibi iki denemeyle sayarak yaptığımız yeniden sayımdır (H-ARC üç hak tanıyordu). Yüzdelik dilim, değerlendirme seti katılımcılarına uydurduğumuz bir Rasch modelinden gelir; her bulmacanın kendi sayımı yalnızca 8–12 kişiye dayanır, bu yüzden kabadır. Model puanları, ARC Prize’ın 400 açık değerlendirme bulmacası için yayımladığı cevap dosyalarının bizim yaptığımız yeniden sayımıdır. Site kendi oyuncularının verilerini yayımlamaz.

Puan nasıl hesaplanır

İki hak

İlk ya da ikinci cevabın, boyut dahil hücre hücre test çıktısıyla tam olarak eşleşirse bulmaca çözülmüş sayılır. ARC Prize modelleri böyle puanlar; buradaki insan oranları da böyle sayılır.

Rasch modeli

Her kişiye tek bir bulmaca çözme yeteneği, her bulmacaya tek bir zorluk veren istatistiksel bir model. Değerlendirme setindeki 946 H-ARC gönüllüsünün iki denemelik sonuçlarına uydurulur ve bir kişinin bu altı bulmacadan kaçını çözeceğini tahmin eder; yüzdelik dilimin, senden daha az çözeceği tahmin edilen insanların oranıdır.

Model sonuçları

ARC Prize’ın 400 açık değerlendirme bulmacası için her model adına yayımladığı cevap dosyalarından, bulmaca başına iki hakla bizim yeniden saydıklarımız; cevap dosyası olmayan bulmaca çözülmemiş sayılır.