Ferais-tu confiance au robot ?

weirdly accurate.

Ferais-tu confiance au robot ?

Ferais-tu confiance au robot ?

Ce test de confiance en l’IA reprend le paradigme juge–conseiller de la recherche sur la décision pour mesurer à quel point tu t’appuies sur le chiffre d’un assistant IA, et si cela te rend plus précis. Les chercheurs ont utilisé ce dispositif de nombreuses fois, parmi eux Ilan Yaniv en 2004, avec 30 personnes répondant à des questions sur des dates historiques, et Logg, Minson et Moore en 2019, avec 202 personnes estimant des poids à partir de photos. Après la dernière planche, ton résultat place ton chiffre à côté des leurs.

Ce test transpose le même dispositif sur un plan de travail. Sur chacune des neuf planches, un torchon se soulève quelques secondes, 3 au début et 1,7 à la fin, au-dessus de myrtilles, de morceaux de sucre, de grains de café et d’autres petites choses de plus en plus nombreuses et de plus en plus petites. Tu règles ton comptage, l’assistant IA donne le sien, et tu peux modifier le tien ou le garder avant que le vrai nombre soit révélé. Ton poids du conseil est calculé comme dans Yaniv (2004) : de combien tu t’es déplacé, en proportion de l’écart entre ton premier comptage et celui de l’assistant. Le résultat affiche ce chiffre à côté des études et te dit si t’appuyer sur l’assistant a amélioré ou détérioré tes réponses.

Ce n’est pas un test de personnalité. Neuf planches, c’est un petit échantillon, et les études portaient sur d’autres tâches (poids à partir de photos, dates historiques, prévisions) : la comparaison avec elles reste approximative et il n’y a pas de percentile. Aucun modèle d’IA n’est appelé pendant que tu joues : l’assistant tourne dans la page, et rien de ce que tu saisis n’est envoyé.

Ce que mesure le test

Une seule chose : de combien tu te rapproches de la réponse d’un assistant IA, et ce que cela change à ta précision.

La tâche

  • Neuf planches, des myrtilles aux grains de poivre : chacune contient plus de choses, plus petites, et le coup d’œil passe de 3 secondes à 1,7
  • Le dispositif juge–conseiller de la recherche sur la décision : ta première estimation, le comptage de l’assistant, ton estimation finale
  • Tu règles ton comptage avec un curseur ; une fois que l’assistant a parlé, son chiffre et ton premier comptage restent marqués sur le même curseur
  • Le vrai nombre après chaque planche ; une réponse finale à moins de 15 % de celui-ci compte comme proche

Ton résultat

  • Ton poids du conseil : de combien tu t’es rapproché de l’assistant, de 0 % (tu as gardé ton comptage) à 100 % (tu as pris son chiffre)
  • Un nom pour ta façon d’utiliser l’assistant, et les neuf planches sur une même échelle : ton premier comptage, celui de l’assistant, ton comptage final et le vrai nombre
  • Qui a fini le plus près de la vérité : tes premiers comptages, tes comptages finaux, l’assistant, ou simplement couper la poire en deux à chaque fois
  • Les repères des études, affichés après la dernière planche : de combien les gens se rapprochaient d’un conseil dans les études juge–conseiller, et du même conseil présenté comme venant d’un algorithme
  • Une carte à partager et un lien de défi qui donne à un ami les mêmes neuf planches

Avant de commencer

  • Environ deux minutes ; gratuit, sans inscription
  • Fonctionne sur un téléphone ou un ordinateur avec affichage 3D (WebGL) : fais glisser le bouton, touche − et +, ou utilise les flèches du clavier ; le son est facultatif
  • Rien de ce que tu saisis n’est envoyé ; un lien de défi transporte tes chiffres dans le lien lui-même, après le signe #

Questions sur la confiance en l’IA

Ce test est-il gratuit ? Faut-il s’inscrire pour voir son résultat ?

Oui, il est gratuit et il n’y a rien à remplir : ni compte, ni e-mail, ni paiement. Ton résultat s’affiche sur cette page dès que tu as fini, et tu peux le partager ou rejouer tout de suite.

Fait-on plus confiance aux conseils d’une IA qu’à ceux d’un humain ?

La fiche de résultats répond à cette question après tes neuf planches, en s’appuyant sur les expériences de Logg, Minson et Moore publiées en 2019. Ils donnaient aux participants le même conseil, présenté tantôt comme celui d’un algorithme, tantôt comme celui d’autres personnes, dans des tâches comme estimer des poids à partir de photos (202 personnes), classer des chansons ou prédire une attirance amoureuse, et mesuraient de combien chaque étiquette les faisait bouger. Les chiffres attendent la fin, car les connaître avant changerait le poids que tu accordes à l’assistant.

Comment le test de confiance en l’IA calcule-t-il mon score ?

Le test de confiance en l’IA utilise le poids du conseil, la mesure standard des études juge–conseiller : de combien ton comptage final s’est déplacé depuis ton premier comptage vers celui de l’assistant, en proportion de l’écart entre les deux. Garder ton comptage vaut 0 %, prendre celui de l’assistant vaut 100 %. Les planches où tu étais déjà d’accord avec l’assistant ne sont pas comptées.

Quel est un poids du conseil normal ?

Les valeurs typiques apparaissent sur la fiche de résultats à côté de ton propre poids du conseil, une fois les neuf planches terminées. Elles viennent de l’étude d’Ilan Yaniv de 2004, où 30 personnes ont répondu à 15 questions sur des dates historiques puis ont vu l’estimation de quelqu’un d’autre, et de la synthèse de la recherche faite par Logg et ses collègues en 2019. La page les garde pour la fin, car avoir un chiffre à viser changerait ta façon de faire.

L’assistant IA de ce test est-il une vraie IA ?

Non. Aucun modèle d’IA n’est appelé pendant que tu joues : l’assistant du test de confiance en l’IA est un script qui tourne dans la page, et rien de ce que tu saisis n’est envoyé. La fiche de résultats explique précisément comment ses comptages ont été fixés une fois les neuf planches terminées, car le savoir avant changerait ta façon de le traiter.

Sur quelles recherches repose le test de confiance en l’IA ?

Le test de confiance en l’IA reprend le dispositif juge–conseiller de la recherche sur la décision, noté avec la mesure du poids du conseil d’Ilan Yaniv (2004). La fiche de résultats s’appuie aussi sur Logg, Minson et Moore (2019), Dietvorst, Simmons et Massey (2015, 361 personnes), Parasuraman et Manzey (2010) et Soll et Larrick (2009), et te dit ce que chacun a trouvé après ta dernière planche. Les références complètes sont dans « D’où viennent les chiffres ».

Faut-il faire la moyenne entre ma réponse et celle de l’IA ?

Le test de confiance en l’IA te laisse ce choix, car la façon dont tu combines les deux chiffres est précisément ce qu’il mesure. À la fin, la fiche de résultats montre ce qu’aurait donné le fait de couper la poire en deux sur chaque planche, comparé à tes premiers comptages, à tes comptages finaux et à l’assistant, et ce que disent de la moyenne les travaux de Soll et Larrick de 2009 sur la révision des jugements.

Est-ce un test de personnalité ?

Non. Le test de confiance en l’IA enregistre la façon dont tu as utilisé un assistant sur neuf planches à compter. Les études auxquelles il se compare portaient sur d’autres tâches, comme des poids à partir de photos, des dates historiques et des prévisions : la comparaison est donc un repère approximatif, pas un classement.

D’où viennent les chiffres

Il n’existe pas de données de population sur le poids du conseil pour une tâche de comptage comme celle-ci : le résultat ne donne donc pas de percentile, il place ton chiffre à côté des valeurs typiques des études (Yaniv 2004, étude 1 ; Logg et al. 2019, expérience 1A). Le site ne publie pas les données de ses propres joueurs.

Comment le score est calculé

Poids du conseil

(final − premier) ÷ (conseil − premier), la mesure standard de Yaniv (2004), bornée entre 0 et 1. Ne pas bouger donne 0, adopter le conseil donne 1, le rejoindre à mi-chemin donne 0,5.

Proche

Un comptage final à moins de 15 % du vrai nombre. La précision se compare par l’erreur moyenne de tes premiers comptages, de tes comptages finaux, de l’assistant et du point à mi-chemin.