¿Confiarías en el robot?
Este test de confianza en la IA usa el método juez–consejero de la investigación sobre decisiones para averiguar cuánto te apoyas en el número de un asistente de IA y si apoyarte en él te vuelve más preciso. Los investigadores han usado este diseño muchas veces; entre ellos, Ilan Yaniv en 2004, con 30 personas que respondían preguntas sobre fechas históricas, y Logg, Minson y Moore en 2019, con 202 personas que estimaban pesos a partir de fotos. Tu resultado pone tu número junto al suyo después de la última tabla.
Este test lleva el mismo diseño a una barra de cocina. En cada una de las nueve tablas, un trapo se levanta unos segundos (3 al principio y 1,7 al final) sobre arándanos, terrones de azúcar, granos de café y otras cosas pequeñas que son cada vez más numerosas y más chicas. Tú das tu cuenta, el asistente de IA da la suya y puedes mover la tuya o dejarla antes de que se revele la cuenta real. Tu peso del consejo se calcula como en Yaniv (2004): cuánto te moviste, como fracción de la distancia entre tu primera cuenta y la del asistente. El resultado muestra ese número junto a los estudios y te dice si apoyarte en el asistente mejoró o empeoró tus respuestas.
No es un test de personalidad. Nueve tablas son una muestra pequeña, y los estudios usaron otras tareas (pesos a partir de fotos, fechas históricas, pronósticos), así que la comparación con ellos es aproximada y no hay percentil. Mientras juegas no se llama a ningún modelo de IA: el asistente funciona dentro de la página y nada de lo que ingresas se sube.
Qué mide el test
Una sola cosa: cuánto te acercas a la respuesta de un asistente de IA y qué efecto tiene eso en tu precisión.
La tarea
- Nueve tablas, de los arándanos a los granos de pimienta: cada una tiene más cosas y más pequeñas, y el vistazo baja de 3 segundos a 1,7
- El diseño juez–consejero de la investigación sobre decisiones: tu primera estimación, la cuenta del asistente y tu estimación final
- Das tu cuenta con un control deslizante; cuando el asistente habla, su número y tu primera cuenta quedan marcados en el mismo control
- La cuenta real después de cada tabla; una respuesta final a menos del 15% de ella cuenta como cercana
Tu resultado
- Tu peso del consejo: cuánto te acercaste al asistente, de 0% (te quedaste con tu cuenta) a 100% (tomaste su número)
- Un nombre para la forma en que usaste al asistente, y las nueve tablas en una sola escala: tu primera cuenta, la del asistente, tu final y la real
- Quién quedó más cerca de la verdad: tus primeras cuentas, tus finales, el asistente o simplemente partir la diferencia cada vez
- Los puntos de referencia de los estudios, que aparecen después de la última tabla: cuánto se acercaba la gente a un consejo en los estudios juez–consejero, y cuánto al mismo consejo presentado como de un algoritmo
- Una tarjeta para compartir y un enlace de reto que le da a un amigo las mismas nueve tablas
Antes de empezar
- Unos dos minutos; gratis, sin registrarte
- Funciona en un celular o una computadora con gráficos 3D (WebGL): arrastra la perilla, toca − y + o usa las flechas del teclado; el sonido es opcional
- Nada de lo que ingresas se sube; un enlace de reto lleva tus números dentro del propio enlace, después del signo #
Preguntas sobre la confianza en la IA
¿Este test es gratis? ¿Tengo que registrarme para ver mi resultado?
Sí, es gratis y no hay nada que registrar: ni cuenta, ni correo, ni pago. Tu resultado aparece en esta página en cuanto terminas, y puedes compartirlo o volver a jugar al momento.
¿La gente confía más en los consejos de la IA que en los de otras personas?
La hoja de resultados responde a eso después de tus nueve tablas, con los experimentos de Logg, Minson y Moore de 2019. Dieron a la gente el mismo consejo, presentado unas veces como de un algoritmo y otras como de otras personas, en tareas como estimar pesos a partir de fotos (202 personas), ordenar canciones y predecir la atracción romántica, y midieron cuánto movía a cada uno cada etiqueta. Las cifras esperan hasta el final porque conocerlas antes cambiaría cuánto peso le das al asistente.
¿Cómo me puntúa el test de confianza en la IA?
El test de confianza en la IA usa el peso del consejo, la medida estándar de los estudios juez–consejero: cuánto se movió tu cuenta final desde tu primera cuenta hacia la del asistente, como fracción de la distancia entre ambas. Quedarte con tu cuenta vale 0%; tomar la del asistente, 100%. Las tablas en las que ya coincidías con el asistente no se cuentan.
¿Cuál es un peso del consejo normal?
Las cifras típicas aparecen en la hoja de resultados junto a tu propio peso del consejo, cuando terminas las nueve tablas. Vienen del estudio de Ilan Yaniv de 2004, en el que 30 personas respondieron 15 preguntas sobre fechas históricas y luego vieron la estimación de otra persona, y del resumen de la investigación que hicieron Logg y sus colegas en 2019. La página las guarda porque tener un número al que apuntar cambiaría lo que haces.
¿El asistente de IA de este test es una IA de verdad?
No. Mientras juegas no se llama a ningún modelo de IA: el asistente del test de confianza en la IA es un script que funciona dentro de la página, y nada de lo que ingresas se sube. La hoja de resultados explica exactamente cómo se fijaron sus cuentas cuando terminas las nueve tablas, porque saberlo antes cambiaría cómo lo tratas.
¿En qué investigación se basa el test de confianza en la IA?
El test de confianza en la IA usa el diseño juez–consejero de la investigación sobre decisiones, con la medida del peso del consejo de Ilan Yaniv (2004). La hoja de resultados también se apoya en Logg, Minson y Moore (2019), Dietvorst, Simmons y Massey (2015, 361 personas), Parasuraman y Manzey (2010) y Soll y Larrick (2009), y cuenta qué encontró cada uno después de tu última tabla. Las referencias completas están en «De dónde salen los números».
¿Debería promediar mi respuesta con la de la IA?
El test de confianza en la IA deja esa decisión en tus manos, porque cómo combinas los dos números es justo lo que mide. Al final, la hoja de resultados muestra cómo le habría ido a partir la diferencia en cada tabla frente a tus primeras cuentas, tus finales y el asistente, y qué dice sobre promediar la investigación de Soll y Larrick de 2009 sobre cómo revisamos nuestros juicios.
¿Es un test de personalidad?
No. El test de confianza en la IA registra cómo usaste a un asistente en nueve tablas para contar. Los estudios con los que se compara usaron otras tareas, como pesos a partir de fotos, fechas históricas y pronósticos, así que la comparación es una referencia aproximada, no una clasificación.
De dónde salen los números
No hay datos de población sobre el peso del consejo en una tarea de contar como esta, así que el resultado no da percentil; pone tu número junto a los valores típicos de los estudios (Yaniv 2004, estudio 1; Logg et al. 2019, experimento 1A). El sitio no publica datos de sus propios jugadores.
- Yaniv (2004), Organizational Behavior and Human Decision Processes — Receiving other people’s advice: Influence and benefit
- Logg, Minson & Moore (2019), Organizational Behavior and Human Decision Processes — Algorithm appreciation: People prefer algorithmic to human judgment
- Dietvorst, Simmons & Massey (2015), Journal of Experimental Psychology: General — Algorithm aversion: People erroneously avoid algorithms after seeing them err
- Parasuraman & Manzey (2010), Human Factors — Complacency and bias in human use of automation: An attentional integration
- Soll & Larrick (2009), Journal of Experimental Psychology: Learning, Memory, and Cognition — Strategies for revising judgment
Cómo se calcula la puntuación
Peso del consejo
(final − primera) ÷ (consejo − primera), la medida estándar de Yaniv (2004), limitada entre 0 y 1. Quedarte donde estabas es 0, adoptar el consejo es 1 y encontrarte a mitad de camino es 0,5.
Cercana
Una cuenta final a menos del 15% de la cuenta real. La precisión se compara con el error promedio de tus primeras cuentas, tus finales, el asistente y el punto medio.