Würdest du dem Roboter vertrauen?

weirdly accurate.

Würdest du dem Roboter vertrauen?

Würdest du dem Roboter vertrauen?

Dieser KI-Vertrauenstest nutzt das Judge-Advisor-Verfahren aus der Entscheidungsforschung, um herauszufinden, wie sehr du dich auf die Zahl eines KI-Assistenten verlässt und ob du dadurch genauer wirst. Forschende haben dieses Design oft eingesetzt, darunter Ilan Yaniv 2004 mit 30 Personen, die Fragen zu historischen Jahreszahlen beantworteten, und Logg, Minson und Moore 2019 mit 202 Personen, die Gewichte anhand von Fotos schätzten. Nach dem letzten Brett stellt dein Ergebnis deine Zahl neben ihre.

Dieser Test bringt dasselbe Design an eine Küchenarbeitsplatte. Auf jedem der neun Bretter hebt sich ein Geschirrtuch für ein paar Sekunden, anfangs 3, am Ende 1,7, über Heidelbeeren, Zuckerwürfeln, Kaffeebohnen und anderen kleinen Dingen, die immer zahlreicher und kleiner werden. Du stellst deine Zählung ein, der KI-Assistent nennt seine, und du kannst deine verschieben oder behalten, bevor die echte Anzahl aufgedeckt wird. Dein Gewicht des Ratschlags wird wie bei Yaniv (2004) berechnet: wie weit du dich bewegt hast, als Anteil des Abstands zwischen deiner ersten Zählung und der des Assistenten. Das Ergebnis zeigt diese Zahl neben den Studien und sagt dir, ob das Vertrauen in den Assistenten deine Antworten besser oder schlechter gemacht hat.

Es ist kein Persönlichkeitstest. Neun Bretter sind eine kleine Stichprobe, und die Studien nutzten andere Aufgaben (Gewichte auf Fotos, historische Jahreszahlen, Prognosen), daher ist der Vergleich mit ihnen grob und es gibt kein Perzentil. Während du spielst, wird kein KI-Modell aufgerufen: Der Assistent läuft auf der Seite selbst, und nichts von dem, was du eingibst, wird hochgeladen.

Was der Test misst

Eine Sache: wie weit du dich der Antwort eines KI-Assistenten annäherst und was das für deine Genauigkeit bedeutet.

Die Aufgabe

  • Neun Bretter, von Heidelbeeren bis Pfefferkörnern: Auf jedem liegen mehr und kleinere Dinge, und der Blick schrumpft von 3 Sekunden auf 1,7
  • Das Judge-Advisor-Design aus der Entscheidungsforschung: deine erste Schätzung, die Zählung des Assistenten, deine endgültige Schätzung
  • Du stellst deine Zählung mit einem Schieberegler ein; sobald der Assistent spricht, bleiben seine Zahl und deine erste Zählung auf demselben Regler markiert
  • Nach jedem Brett die echte Anzahl; eine endgültige Antwort, die höchstens 15 % daneben liegt, gilt als nah dran

Dein Ergebnis

  • Dein Gewicht des Ratschlags: wie weit du dich dem Assistenten genähert hast, von 0 % (bei deiner Zählung geblieben) bis 100 % (seine Zahl übernommen)
  • Ein Name dafür, wie du den Assistenten genutzt hast, und alle neun Bretter auf einer Skala: deine erste Zählung, die des Assistenten, deine endgültige und die echte
  • Wer am Ende näher an der Wahrheit lag: deine ersten Zählungen, deine endgültigen, der Assistent oder einfach jedes Mal die Mitte
  • Die Vergleichswerte der Studien, gezeigt nach dem letzten Brett: wie weit sich Menschen in Judge-Advisor-Studien einem Ratschlag näherten, und demselben Ratschlag, wenn er als der eines Algorithmus ausgegeben wurde
  • Eine Karte zum Teilen und ein Challenge-Link, der einer Freundin oder einem Freund dieselben neun Bretter gibt

Bevor du anfängst

  • Etwa zwei Minuten; kostenlos, ohne Anmeldung
  • Läuft auf dem Handy oder am Computer mit 3D-Grafik (WebGL): Zieh den Knopf, tippe auf − und + oder nutze die Pfeiltasten; Ton ist optional
  • Nichts, was du eingibst, wird hochgeladen; ein Challenge-Link trägt deine Zahlen im Link selbst, hinter dem #-Zeichen

Fragen zum Vertrauen in KI

Ist dieser Test kostenlos? Muss ich mich anmelden, um mein Ergebnis zu sehen?

Ja, er ist kostenlos, und es gibt keine Anmeldung: kein Konto, keine E-Mail, keine Zahlung. Dein Ergebnis erscheint auf dieser Seite, sobald du fertig bist, und du kannst es sofort teilen oder noch einmal spielen.

Vertrauen Menschen KI-Ratschlägen mehr als Ratschlägen von Menschen?

Das Ergebnisblatt beantwortet diese Frage nach deinen neun Brettern, gestützt auf die Experimente von Logg, Minson und Moore aus dem Jahr 2019. Sie gaben Menschen denselben Ratschlag, mal als den eines Algorithmus, mal als den anderer Menschen ausgegeben, bei Aufgaben wie dem Schätzen von Gewichten auf Fotos (202 Personen), dem Ordnen von Songs und dem Vorhersagen romantischer Anziehung, und maßen, wie weit jede Kennzeichnung sie bewegte. Die Zahlen kommen erst am Ende, weil du den Assistenten sonst anders gewichten würdest.

Wie bewertet mich der KI-Vertrauenstest?

Der KI-Vertrauenstest nutzt das Gewicht des Ratschlags, das Standardmaß der Judge-Advisor-Forschung: wie weit sich deine endgültige Zählung von deiner ersten in Richtung der Zählung des Assistenten bewegt hat, als Anteil des Abstands zwischen beiden. Bei deiner Zählung zu bleiben ergibt 0 %, die des Assistenten zu übernehmen 100 %. Bretter, bei denen du ohnehin mit dem Assistenten übereinstimmtest, zählen nicht mit.

Was ist ein normales Gewicht des Ratschlags?

Die typischen Werte erscheinen auf dem Ergebnisblatt neben deinem eigenen Gewicht des Ratschlags, sobald die neun Bretter geschafft sind. Sie stammen aus Ilan Yanivs Studie von 2004, in der 30 Personen 15 Fragen zu historischen Jahreszahlen beantworteten und danach die Schätzung einer anderen Person sahen, sowie aus der Zusammenfassung der Forschung von Logg und Kollegen aus dem Jahr 2019. Die Seite hält sie zurück, weil eine Zielzahl dein Verhalten verändern würde.

Ist der KI-Assistent in diesem Test eine echte KI?

Nein. Während du spielst, wird kein KI-Modell aufgerufen: Der Assistent im KI-Vertrauenstest ist ein Skript, das auf der Seite läuft, und nichts von dem, was du eingibst, wird hochgeladen. Wie seine Zählungen festgelegt wurden, erklärt das Ergebnisblatt genau, sobald du alle neun Bretter geschafft hast, denn wer das vorher weiß, geht anders mit ihm um.

Auf welcher Forschung beruht der KI-Vertrauenstest?

Der KI-Vertrauenstest nutzt das Judge-Advisor-Design aus der Entscheidungsforschung, bewertet mit dem Gewicht des Ratschlags nach Ilan Yaniv (2004). Das Ergebnisblatt stützt sich außerdem auf Logg, Minson und Moore (2019), Dietvorst, Simmons und Massey (2015, 361 Personen), Parasuraman und Manzey (2010) sowie Soll und Larrick (2009) und sagt dir nach dem letzten Brett, was jede Studie herausgefunden hat. Die vollständigen Quellen stehen unter „Woher die Zahlen stammen“.

Sollte ich meine Antwort mit der der KI mitteln?

Der KI-Vertrauenstest überlässt dir diese Entscheidung, denn wie du die beiden Zahlen kombinierst, ist genau das, was er misst. Hinterher zeigt das Ergebnisblatt, wie es ausgegangen wäre, auf jedem Brett die Mitte zu nehmen, verglichen mit deinen ersten Zählungen, deinen endgültigen und dem Assistenten, und was die Forschung von Soll und Larrick aus dem Jahr 2009 über das Revidieren von Urteilen zum Mitteln sagt.

Ist das ein Persönlichkeitstest?

Nein. Der KI-Vertrauenstest hält fest, wie du einen Assistenten auf neun Zählbrettern genutzt hast. Die Studien, mit denen er verglichen wird, nutzten andere Aufgaben, etwa Gewichte auf Fotos, historische Jahreszahlen und Prognosen, daher ist der Vergleich ein grober Anhaltspunkt und keine Rangliste.

Woher die Zahlen stammen

Für das Gewicht des Ratschlags bei einer Zählaufgabe wie dieser gibt es keine Bevölkerungsdaten, daher nennt das Ergebnis kein Perzentil; es stellt deine Zahl neben die typischen Werte der Studien (Yaniv 2004, Studie 1; Logg et al. 2019, Experiment 1A). Die Seite veröffentlicht keine Daten ihrer eigenen Spielerinnen und Spieler.

So funktioniert die Wertung

Gewicht des Ratschlags

(endgültig − erste) ÷ (Ratschlag − erste), das Standardmaß nach Yaniv (2004), begrenzt auf 0 bis 1. Wer stehen bleibt, hat 0, wer den Ratschlag übernimmt, 1, wer sich in der Mitte trifft, 0,5.

Nah dran

Eine endgültige Zählung, die höchstens 15 % von der echten Anzahl abweicht. Die Genauigkeit wird über den mittleren Fehler verglichen: deine ersten Zählungen, deine endgültigen, der Assistent und die Mitte zwischen beiden.