Ti fideresti del robot?

weirdly accurate.

Ti fideresti del robot?

Ti fideresti del robot?

Questo test di fiducia nell’IA usa il metodo giudice–consigliere della ricerca sulle decisioni per scoprire quanto ti affidi al numero di un assistente IA e se affidarti ti rende più preciso. I ricercatori hanno usato questo schema molte volte, tra cui Ilan Yaniv nel 2004, con 30 persone che rispondevano a domande su date storiche, e Logg, Minson e Moore nel 2019, con 202 persone che stimavano pesi da fotografie. Dopo l’ultimo tagliere, il tuo risultato mette il tuo numero accanto al loro.

Questo test porta lo stesso schema su un piano di lavoro in cucina. Su ciascuno dei nove taglieri uno strofinaccio si solleva per pochi secondi, 3 all’inizio e 1,7 alla fine, sopra mirtilli, zollette di zucchero, chicchi di caffè e altre piccole cose sempre più numerose e più piccole. Tu imposti il tuo conteggio, l’assistente IA dà il suo, e puoi spostare il tuo o tenerlo prima che venga svelato il numero vero. Il tuo peso del consiglio si calcola come in Yaniv (2004): quanto ti sei spostato, come quota della distanza tra il tuo primo conteggio e quello dell’assistente. Il risultato mostra questo numero accanto agli studi e ti dice se affidarti all’assistente ha migliorato o peggiorato le tue risposte.

Non è un test di personalità. Nove taglieri sono un campione piccolo, e gli studi usavano altri compiti (pesi da fotografie, date storiche, previsioni), quindi il confronto con loro è approssimativo e non c’è un percentile. Mentre giochi non viene chiamato nessun modello di IA: l’assistente gira nella pagina e niente di quello che inserisci viene caricato.

Cosa misura il test

Una cosa sola: quanto ti avvicini alla risposta di un assistente IA e che effetto ha sulla tua precisione.

Il compito

  • Nove taglieri, dai mirtilli ai grani di pepe: ognuno contiene più cose e più piccole, e l’occhiata si accorcia da 3 secondi a 1,7
  • Lo schema giudice–consigliere della ricerca sulle decisioni: la tua prima stima, il conteggio dell’assistente, la tua stima finale
  • Imposti il conteggio con un cursore; quando l’assistente parla, il suo numero e il tuo primo conteggio restano segnati sullo stesso cursore
  • Il numero vero dopo ogni tagliere; una risposta finale entro il 15% conta come vicina

Il tuo risultato

  • Il tuo peso del consiglio: quanto ti sei avvicinato all’assistente, da 0% (hai tenuto il tuo conteggio) a 100% (hai preso il suo numero)
  • Un nome per il modo in cui hai usato l’assistente, e tutti e nove i taglieri su un’unica scala: il tuo primo conteggio, quello dell’assistente, il tuo finale e quello vero
  • Chi è finito più vicino alla verità: i tuoi primi conteggi, i tuoi finali, l’assistente o semplicemente fare ogni volta a metà
  • I riferimenti degli studi, mostrati dopo l’ultimo tagliere: quanto le persone si avvicinavano a un consiglio negli studi giudice–consigliere, e allo stesso consiglio presentato come quello di un algoritmo
  • Una scheda da condividere e un link di sfida che dà a un amico gli stessi nove taglieri

Prima di iniziare

  • Circa due minuti; gratis, senza registrazione
  • Funziona su telefono o computer con grafica 3D (WebGL): trascina la manopola, tocca − e + oppure usa i tasti freccia; l’audio è facoltativo
  • Niente di quello che inserisci viene caricato; un link di sfida porta i tuoi numeri dentro il link stesso, dopo il simbolo #

Domande sulla fiducia nell’IA

Questo test è gratuito? Devo registrarmi per vedere il risultato?

Sì, è gratuito e non serve registrarsi: niente account, niente email, niente pagamento. Il tuo risultato compare su questa pagina appena finisci, e puoi condividerlo o rigiocare subito.

Le persone si fidano più dei consigli dell’IA che di quelli umani?

La scheda dei risultati risponde dopo i tuoi nove taglieri, con gli esperimenti di Logg, Minson e Moore del 2019. Davano alle persone lo stesso consiglio, presentato a volte come quello di un algoritmo e a volte come quello di altre persone, in compiti come stimare pesi da fotografie (202 persone), mettere in ordine canzoni e prevedere l’attrazione romantica, e misuravano quanto ogni etichetta le spostava. I numeri aspettano la fine perché conoscerli prima cambierebbe quanto peso dai all’assistente.

Come mi valuta il test di fiducia nell’IA?

Il test di fiducia nell’IA usa il peso del consiglio, la misura standard degli studi giudice–consigliere: quanto il tuo conteggio finale si è spostato dal primo verso quello dell’assistente, come quota della distanza tra i due. Tenere il tuo conteggio vale 0%, prendere quello dell’assistente vale 100%. I taglieri su cui eri già d’accordo con l’assistente non vengono contati.

Qual è un peso del consiglio normale?

I valori tipici compaiono nella scheda dei risultati accanto al tuo peso del consiglio, quando hai finito i nove taglieri. Vengono dallo studio di Ilan Yaniv del 2004, in cui 30 persone risposero a 15 domande su date storiche e poi videro la stima di un’altra persona, e dalla sintesi della ricerca fatta da Logg e colleghi nel 2019. La pagina li tiene da parte perché avere un numero a cui puntare cambierebbe quello che fai.

L’assistente IA di questo test è una vera IA?

No. Mentre giochi non viene chiamato nessun modello di IA: l’assistente del test di fiducia nell’IA è uno script che gira nella pagina, e niente di quello che inserisci viene caricato. La scheda dei risultati spiega esattamente come sono stati fissati i suoi conteggi quando hai finito tutti e nove i taglieri, perché saperlo prima cambierebbe il modo in cui lo tratti.

Su quali ricerche si basa il test di fiducia nell’IA?

Il test di fiducia nell’IA usa lo schema giudice–consigliere della ricerca sulle decisioni, con la misura del peso del consiglio di Ilan Yaniv (2004). La scheda dei risultati si basa anche su Logg, Minson e Moore (2019), Dietvorst, Simmons e Massey (2015, 361 persone), Parasuraman e Manzey (2010) e Soll e Larrick (2009), e dopo l’ultimo tagliere ti dice cosa ha scoperto ciascuno. I riferimenti completi sono in «Da dove vengono i numeri».

Conviene fare la media tra la mia risposta e quella dell’IA?

Il test di fiducia nell’IA lascia a te questa scelta, perché il modo in cui combini i due numeri è proprio ciò che misura. Alla fine, la scheda dei risultati mostra come sarebbe andata facendo a metà su ogni tagliere, rispetto ai tuoi primi conteggi, ai tuoi finali e all’assistente, e cosa dice sulla media la ricerca di Soll e Larrick del 2009 su come si rivedono i giudizi.

È un test di personalità?

No. Il test di fiducia nell’IA registra come hai usato un assistente su nove taglieri da contare. Gli studi con cui viene confrontato usavano altri compiti, come pesi da fotografie, date storiche e previsioni, quindi il confronto è un riferimento approssimativo e non una classifica.

Da dove vengono i numeri

Non esistono dati sulla popolazione per il peso del consiglio in un compito di conteggio come questo, quindi il risultato non dà un percentile; mette il tuo numero accanto ai valori tipici degli studi (Yaniv 2004, studio 1; Logg et al. 2019, esperimento 1A). Il sito non pubblica i dati dei propri giocatori.

Come funziona il punteggio

Peso del consiglio

(finale − primo) ÷ (consiglio − primo), la misura standard di Yaniv (2004), limitata tra 0 e 1. Restare fermo vale 0, adottare il consiglio vale 1, incontrarlo a metà strada vale 0,5.

Vicina

Un conteggio finale entro il 15% del numero vero. La precisione si confronta con l’errore medio dei tuoi primi conteggi, dei tuoi finali, dell’assistente e del punto a metà strada.