Confiarias no robô?

weirdly accurate.

Confiarias no robô?

Confiarias no robô?

Este teste de confiança na IA usa o método juiz–conselheiro da investigação sobre decisão para descobrir quanto te apoias no número de um assistente de IA e se isso te torna mais preciso. Os investigadores já usaram este desenho muitas vezes, entre eles Ilan Yaniv em 2004, com 30 pessoas a responder a perguntas sobre datas históricas, e Logg, Minson e Moore em 2019, com 202 pessoas a estimar pesos a partir de fotografias. O teu resultado põe o teu número ao lado do deles depois da última tábua.

Este teste leva o mesmo desenho para uma bancada de cozinha. Em cada uma das nove tábuas, um pano levanta-se durante alguns segundos, 3 no início e 1,7 no fim, por cima de mirtilos, cubos de açúcar, grãos de café e outras coisas pequenas que são cada vez mais numerosas e mais pequenas. Dás a tua contagem, o assistente de IA dá a dele e podes mudar a tua ou mantê-la antes de ser revelada a contagem real. O teu peso do conselho é calculado como em Yaniv (2004): quanto te moveste, como fração da distância entre a tua primeira contagem e a do assistente. O resultado mostra esse número ao lado dos estudos e diz-te se confiar no assistente melhorou ou piorou as tuas respostas.

Não é um teste de personalidade. Nove tábuas são uma amostra pequena, e os estudos usaram outras tarefas (pesos a partir de fotografias, datas históricas, previsões), por isso a comparação com eles é aproximada e não há percentil. Enquanto jogas, nenhum modelo de IA é chamado: o assistente funciona na própria página e nada do que introduzes é enviado.

O que o teste mede

Uma só coisa: quanto te aproximas da resposta de um assistente de IA e o que isso faz à tua precisão.

A tarefa

  • Nove tábuas, dos mirtilos aos grãos de pimenta: cada uma tem mais coisas e mais pequenas, e o relance encolhe de 3 segundos para 1,7
  • O desenho juiz–conselheiro da investigação sobre decisão: a tua primeira estimativa, a contagem do assistente, a tua estimativa final
  • Dás a tua contagem com um cursor; depois de o assistente falar, o número dele e a tua primeira contagem ficam marcados no mesmo cursor
  • A contagem real depois de cada tábua; uma resposta final a menos de 15% dela conta como próxima

O teu resultado

  • O teu peso do conselho: quanto te aproximaste do assistente, de 0% (ficaste com a tua contagem) a 100% (adotaste o número dele)
  • Um nome para a forma como usaste o assistente, e as nove tábuas numa só escala: a tua primeira contagem, a do assistente, a tua final e a verdadeira
  • Quem ficou mais perto da verdade: as tuas primeiras contagens, as tuas finais, o assistente ou simplesmente dividir a diferença ao meio de cada vez
  • Os pontos de referência dos estudos, mostrados depois da última tábua: quanto as pessoas se aproximavam de um conselho nos estudos juiz–conselheiro, e do mesmo conselho apresentado como vindo de um algoritmo
  • Um cartão para partilhar e uma ligação de desafio que dá a um amigo as mesmas nove tábuas

Antes de começares

  • Cerca de dois minutos; gratuito, sem registo
  • Funciona num telemóvel ou num computador com gráficos 3D (WebGL): arrasta o botão, toca em − e + ou usa as setas do teclado; o som é opcional
  • Nada do que introduzes é enviado; uma ligação de desafio leva os teus números dentro da própria ligação, depois do sinal #

Perguntas sobre confiança na IA

Este teste é gratuito? Preciso de me registar para ver o resultado?

Sim, é gratuito e não há registo: sem conta, sem email, sem pagamento. O teu resultado aparece nesta página assim que terminas, e podes partilhá-lo ou jogar outra vez de imediato.

As pessoas confiam mais nos conselhos da IA do que nos de outras pessoas?

A folha de resultados responde a isso depois das tuas nove tábuas, com base nas experiências de Logg, Minson e Moore de 2019. Deram às pessoas o mesmo conselho, apresentado ora como vindo de um algoritmo, ora de outras pessoas, em tarefas como estimar pesos a partir de fotografias (202 pessoas), ordenar canções e prever atração romântica, e mediram quanto cada rótulo as fazia mudar. Os números ficam para o fim porque conhecê-los antes mudaria o peso que dás ao assistente.

Como é que o teste de confiança na IA me pontua?

O teste de confiança na IA usa o peso do conselho, a medida padrão dos estudos juiz–conselheiro: quanto a tua contagem final se afastou da primeira em direção à do assistente, como fração da distância entre as duas. Ficar com a tua contagem vale 0%; adotar a do assistente vale 100%. As tábuas em que já estavas de acordo com o assistente não contam.

Qual é um peso do conselho normal?

Os valores típicos aparecem na folha de resultados ao lado do teu próprio peso do conselho, quando acabas as nove tábuas. Vêm do estudo de Ilan Yaniv de 2004, em que 30 pessoas responderam a 15 perguntas sobre datas históricas e depois viram a estimativa de outra pessoa, e da síntese da investigação feita por Logg e colegas em 2019. A página guarda-os porque ter um número a que apontar mudaria o que fazes.

O assistente de IA deste teste é uma IA a sério?

Não. Enquanto jogas, nenhum modelo de IA é chamado: o assistente do teste de confiança na IA é um script que corre na própria página, e nada do que introduzes é enviado. A folha de resultados explica exatamente como foram definidas as contagens dele depois de acabares as nove tábuas, porque sabê-lo antes mudaria a forma como o tratas.

Em que investigação se baseia o teste de confiança na IA?

O teste de confiança na IA usa o desenho juiz–conselheiro da investigação sobre decisão, com a medida do peso do conselho de Ilan Yaniv (2004). A folha de resultados recorre também a Logg, Minson e Moore (2019), Dietvorst, Simmons e Massey (2015, 361 pessoas), Parasuraman e Manzey (2010) e Soll e Larrick (2009), e diz o que cada um descobriu depois da tua última tábua. As referências completas estão em «De onde vêm os números».

Devo fazer a média entre a minha resposta e a da IA?

O teste de confiança na IA deixa essa escolha contigo, porque a forma como combinas os dois números é precisamente o que ele mede. No fim, a folha de resultados mostra como se teria saído dividir a diferença ao meio em todas as tábuas, comparado com as tuas primeiras contagens, as tuas finais e o assistente, e o que a investigação de Soll e Larrick de 2009 sobre a revisão de juízos diz sobre fazer a média.

Isto é um teste de personalidade?

Não. O teste de confiança na IA regista como usaste um assistente em nove tábuas de contagem. Os estudos com que é comparado usaram outras tarefas, como pesos a partir de fotografias, datas históricas e previsões, por isso a comparação é uma referência aproximada e não uma classificação.

De onde vêm os números

Não há dados populacionais sobre o peso do conselho numa tarefa de contagem como esta, por isso o resultado não dá percentil; põe o teu número ao lado dos valores típicos dos estudos (Yaniv 2004, estudo 1; Logg et al. 2019, experiência 1A). O site não publica dados dos seus próprios jogadores.

Como funciona a pontuação

Peso do conselho

(final − primeira) ÷ (conselho − primeira), a medida padrão de Yaniv (2004), mantida entre 0 e 1. Ficar onde estavas é 0, adotar o conselho é 1, encontrá-lo a meio caminho é 0,5.

Próxima

Uma contagem final a menos de 15% da contagem real. A precisão é comparada pelo erro médio das tuas primeiras contagens, das tuas finais, do assistente e do ponto intermédio.