La IA te deja más confiado y más tonto: lo que dice el estudio (y lo que no)

El Cuñado ya lo tenía claro en la cena

El Cuñado dice: "Bro, con IA no fallas. Le preguntas y punto. Es como tener a un tío listo en el bolsillo: más rápido, más seguro y te quitas el mono de dudar. Quien sigue diciendo 'no sé' es que no sabe manejar la herramienta."

La realidad es: un estudio de tres universidades franco-italianas, recogido por The Next Web, midió justo eso. Con acceso a consejos de IA, la disposición a decir "no sé" se desplomó del 44% al 3%. La precisión se fue del 27% al 9%. Y la confianza se hinchó del 30% al 76%. Menos acierto, más pecho sacado. No es una vibra de LinkedIn: son las cifras del experimento.

Por qué importa saberlo: porque el producto medio de IA está diseñado para contestarte siempre, y tu cerebro interpreta "respuesta rápida con tono de experto" como "esto va bien". Si confundes fluidez con verdad, la herramienta no te amplifica: te anestesia el freno de mano.

Qué midieron de verdad (y por qué el diseño es la hostia del plato)

Antes de convertir esto en sermonario anti-IA, hay que mirar el montaje del estudio. No preguntaron "¿quién ganó la Segunda Guerra Mundial?". Metieron preguntas de detalles visuales de películas (del estilo "¿de qué color era el uniforme en Bend It Like Beckham?") en un terreno donde el modelo Step 3.5 Flash solía fallar.

Eso no es un detalle de colorín. Es el núcleo del diseño experimental.

Si le das a la gente una IA que sí sabe la respuesta y la gente la copia, lo que mides es delegación racional: "no lo sé, la máquina sí, me fío". Aburrido y poco informativo. Aquí forzaron el escenario contrario: el modelo falla con frecuencia, así que si la gente se traga la respuesta y deja de dudar, no puedes colarlo como "optimización inteligente". Estás mirando el efecto de tener IA a mano sobre el juicio crítico, no el efecto de tener un oráculo perfecto.

Y el golpe bajo llega con un matiz que debería quitar el sueño a cualquiera que use chatbots para decidir cosas:

algunos participantes que habrían acertado solos cambiaron a respuestas incorrectas después de consultar a la IA.

Lee eso otra vez. No es solo "la IA no ayuda". Es "la IA puede empujar hacia abajo a quien iba bien". En evaluación de sistemas eso tiene nombre de pesadilla: no estás midiendo solo recall de la máquina, estás midiendo cómo contamina el proceso humano.

La IA no solo rellena huecos de conocimiento. También pisa respuestas correctas que ya tenías.

Eso conecta con algo que en Domina IA machacamos cuando hablamos de decisión con modelos: si no mides el baseline humano con las mismas reglas, te inventas milagros. Aquí el baseline sin IA no era brillante (27% de precisión en un terreno difícil, con mucha gente admitiendo ignorancia), pero al menos había un colchón de honestidad cognitiva. Con IA, ese colchón se deshincha.

Del "no sé" al "claro que sí, lo ha dicho la máquina"

El dato más sucio no es la caída de precisión. Es la evaporación del "no sé".

Sin IA: 44% admitía ignorancia.
Con IA: 3%.

Eso es casi borrar del mapa el único freno barato que tiene un humano cuando no controla un dominio. Decir "no sé" no es cobardía: es metaconocimiento. Es la capacidad de detectar el borde de tu mapa. Sin ese borde, confundes territorio con deseo.

Paralelamente:

Precisión: 27% → 9%
Confianza: 30% → 76%

Menos de un tercio de los aciertos previos, más del doble de confianza. Es el cóctel clásico del desastre operativo: error + seguridad subjetiva. En un examen te baja la nota. En un informe interno te aprueban un plan de mierda. En un diagnóstico mal enfocado, ya no es anecdótico.

Aquí conviene separar etiquetas, porque el periodismo de IA ama mezclar palabrejas hasta que todo suena a síndrome nuevo.

Investigadores de Wharton acuñaron rendición cognitiva para un fenómeno concreto: aceptar respuestas incorrectas de la IA el 80% del tiempo… y además con mayor confianza. Ese marco no sale del equipo del estudio franco-italiano; lo aporta Wharton. Lo que añade este trabajo, según el relato de Capraro y compañía en la pieza de The Next Web, es otra capa: la mera disponibilidad de IA parece suprimir el hábito de reconocer lo que no se sabe.

No es lo mismo:

"Me rindo y copio lo que diga el modelo, aunque sea basura."
"Ni siquiera me planteo que podría no saberlo, porque hay una caja que contesta."

El primero es sumisión al output. El segundo es atrofia del interruptor de duda. Se parecen en el resultado (te tragas el error con pecho hinchado), pero el segundo es más jodido a largo plazo: no solo fallas hoy, dejas de entrenar la alarma.

El Cuñado de los incentivos: "si les pagas, se ponen serios"

El Cuñado dice: "Eso pasa porque la gente contesta a lo loco en encuestas. Ponles dinero y verás qué rápido vuelve el pensamiento crítico."

La realidad es: probaron incentivos monetarios. Mejoró… de forma miserable.

Admitir ignorancia: del 3% al 8%
Precisión: del 9% al 16%

Siguen a años luz de las líneas base sin IA (44% y 27%). El premio no resucitó el juicio. Solo evitó que el suelo fuera todavía más ridículo.

Por qué importa saberlo: porque en empresa vivimos exactamente esta fantasía. "Como el bonus depende del KPI, ya se revisará lo que diga el copiloto." Los números de este experimento (en su contexto concreto) dicen que el dinero mueve un poco la aguja y deja intacto el patrón: con IA a mano, la gente se vuelve más assertiva y menos precisa de lo que era sin ella.

Si tu gobierno del modelo se reduce a "el humano firma al final porque le va el variable", estás comprando teatro. Eso pisa el mismo charco que ya tocamos al hablar de cómo el human-in-the-loop se convierte en placebo cuando la supervisión es un click de trámite y no un proceso con dientes.

Capraro, los críos y el producto que nunca duda

Valerio Capraro, coautor del estudio, pone el foco donde duele a futuro: niños que crecen usando IA antes de desarrollar pensamiento crítico. La capacidad de decir "no sé" no es un adorno filosófico; es el músculo de la autoevaluación. Si te educas en un entorno donde siempre hay respuesta instantánea, el vacío se vuelve intolerable… y el modelo lo rellena aunque sea con invención elegante.

No hay en el material datos demográficos finos ni un ensayo longitudinal con menores. Es una preocupación del coautor, no una tabla de resultados. Se cita como tal.

Donde sí hay patrón de producto, la pieza lo enlaza con algo que ya estamos viviendo en buscadores: Google sustituyendo enlaces por resúmenes generados por IA, y Common Sense Media calificando ese diseño como un "riesgo inaceptable" para estudiantes. Da igual si te gusta más o menos el adjetivo. El esquema es coherente con el hallazgo experimental:

productos optimizados para contestar siempre, no para mostrar incertidumbre, empujan al usuario a cerrar la pregunta en lugar de explorarla.

Eso no es neutralidad de interfaz. Es arquitectura de comportamiento. Si la UI premia la respuesta única y castiga (en fricción, en tiempo, en estética) el "mira las fuentes y decide", estás fabricando rendición a escala.

Y aquí una lectura editorial que no está en el paper, pero sale solo con mirar el mercado: el modelo medio está entrenado e instruido para ser útil, amable y completo. "No tengo suficiente información" pierde frente a "aquí tienes cinco bullets convincentes". El usuario nota la fluidez. El estudio mide lo que pasa después de esa fluidez cuando el contenido es, a propósito, frágil.

Lo que este estudio NO te deja soltar en Twitter

Toca el freno, que el desmontaje también va contra el clickbait anti-IA.

No puedes afirmar que "todos los modelos actuales" producen este efecto. El trabajo usó Step 3.5 Flash, un modelo que el propio encuadre del reportaje trata como pieza del montaje experimental (y, en la práctica del sector, no es el estandarte de frontera que te venden en keynotes). Puede que modelos mejores fallen menos en detalles de cine. Puede que fallen igual en tu dominio. Este estudio no lo resuelve.

No puedes extrapolar los porcentajes a "todo tipo de tareas". El terreno eran detalles visuales de películas. No es redactar un contrato, ni depurar un bug, ni triaje médico, ni decidir una campaña. Es un banco de pruebas donde el conocimiento previo es irregular y la verificación es incómoda. Ideal para cazar delegación perezosa. Malísimo para titular "la IA te vuelve idiota en el trabajo".

No puedes decir que la IA empeora el rendimiento "en todas las circunstancias". El propio diseño busca el caso en el que delegar es mala idea. Fuera de ese marco, hay tareas donde un modelo te sube el suelo. El punto honesto es otro: cuando la máquina se equivoca y tú dejas de dudar, el combo es letal.

No confundas etiquetas: la rendición cognitiva del 80% con más confianza es marco de Wharton. El estudio franco-italiano aporta la historia del "no sé" aplastado y del trío precisión↓ / confianza↑ / ignorancia admitida↓. Juntarlos como si fueran el mismo paper es hacer papilla.

Seamos justos: el estudio no es un espantajo. El diseño experimental es inteligente porque aísla el mecanismo de delegación no racional, y los datos son consistentes internamente. La crítica no va contra el paper, sino contra el salto mortal de "esto pasa en un experimento concreto" a "esto pasa siempre en todas partes". Ese salto lo dan los titulares, no los autores.

También hay huecos que el material no tapa y que un medio serio tiene que decir en voz alta:

no tenemos aquí el tamaño muestral ni si fue online, lab o híbrido
no hay percentiles finos ni desglose demográfico robusto
no consta en el encargo si es peer-reviewed o preprint
no hay versión exacta documentada del modelo más allá de la etiqueta Step 3.5 Flash

O sea: es una señal fuerte y bien enfocada, no una ley de la física. Quien lo convierta en dogma está haciendo el mismo truco que denuncia.

La tesis que sí se sostiene sin vender humo

Mi lectura, con los hechos encima de la mesa y sin disfrazarla de resultado del paper, es esta:

El problema no es solo que la IA alucine. Es que el sistema humano-máquina castiga la confesión de ignorancia y premia la respuesta con pose.

Cuando quitas fricción para obtener una contestación, subes la tasa de contestaciones. Cuando esas contestaciones suenan seguras, subes la confianza subjetiva. Cuando el dominio es justo donde el modelo flaquea, desplomas la precisión. El estudio fabrica ese cruce a propósito y el cruce sale feo.

Eso encaja con una manía más amplia que ya hemos visto en proyectos reales: la IA no solo cambia la velocidad de producir texto; cambia la psicología de decidir. Si te interesa el ángulo de equipos y gobierno, el hilo hermano es cómo la manía de la IA destrozar la toma de decisiones cuando nadie mide calidad de juicio, solo throughput de entregables.

Y si vienes del mundo de evaluación de modelos, hay un paralelo brutal con el baseline:

un baseline honesto no es el espantapájaros tonto que pones para que tu LLM parezca messías. Aquí el "baseline" humano sin IA incluía mucha gente diciendo "no sé". Eso baja la precisión media, sí (pero es un comportamiento adaptativo en un terreno hostil). Al meter IA, la precisión no solo no se recupera: se hunde, y encima desaparece la señal de incertidumbre. Si en tu empresa mides "respuestas emitidas" y no "respuestas correctas + calibración de confianza", estás premiando justo el fallo que este experimento enseña con números.

En evaluación seria de LLMs pasa lo mismo que con cualquier métrica con decimales bonitos: una tasa sin contexto es una opinión disfrazada. Aquí las tasas vienen con una historia causal mínima ("había consejo de IA" vs "no lo había") y con un diseño que intenta cerrar la excusa de la delegación racional. Eso las hace más útiles que un benchmark opaco de marketing. Aun así, no las conviertas en religión universal. Si quieres montar medición que no se te cuele el humo, el camino es evaluar con datos propios y corpus congelado, no repetir titulares.

Cómo se ve esto el lunes en una oficina (sin moraleja de coach)

Olvida el discurso de "seamos críticos". Vamos a lo operativo.

Separa "respuesta disponible" de "respuesta verificada". Si tu flujo acepta el primer párrafo del chatbot como input válido para una decisión, estás reproduciendo el tratamiento experimental. Cambia la regla: el output del modelo entra como borrador con estatus de rumor elegante hasta que pasa un check independiente.
Mide calibración, no solo accuracy. El escándalo del estudio es la confianza al 76% con precisión al 9% en ese montaje. En tu equipo puedes hacer algo más prosaico: muestrea decisiones asistidas por IA y pregunta antes de revelar el resultado "del 0 al 10, cuánto te la jugarías". Si la gente va a 9 cuando falla la mitad, tienes rendición disfrazada de productividad.
Obliga a una salida legítima de "no sé / no consta". En interfaces internas, en checklists, en prompts de sistema, en plantillas de informe. Si el único camino feliz es rellenar celdas, fabricarás celdas llenas. El estudio muestra qué tan rápido cae el "no sé" cuando hay una máquina que nunca se queda callada.
Pon verificación donde el modelo es débil de verdad, no donde queda bonito. Ellos eligieron detalles visuales de películas porque el modelo fallaba. Tú tienes equivalentes: cifras finas, cláusulas legales locales, estados de tickets, precios internos, lo que no está en el pretraining limpio. Ahí la delegación ciega es regalada.
No uses el bonus como exorcismo. Los incentivos monetarios del experimento movieron la precisión del 9% al 16% y el "no sé" del 3% al 8%. Útil como recordatorio: la motivación ayuda poco si el entorno empuja a contestar. Rediseña el entorno.
Cuidado con el usuario que "iba a acertar". El hallazgo de gente que cambia una respuesta correcta por una incorrecta tras mirar la IA es la trampa premium. En revisión de código, en análisis de datos, en atención al cliente, ese patrón se llama authority bias con API. La defensa no es "confía en tu intuición, majo". Es contrastar con una fuente no generativa antes de pisar tu propia respuesta.

Anatomía del autoengaño: por qué se siente tan bien fallar con IA

Hay una mecánica simple, casi insultante:

Haces una pregunta incómoda.
Sin IA, el cuerpo nota el vacío → sale un "no sé" o una hipótesis tímida.
Con IA, el vacío se llena en dos segundos con prosa segura.
Tu sistema de recompensa se come la fluidez como si fuera verdad.
Emites la respuesta.
Si nadie te castiga el error, el hábito se graba.

El estudio empuja el acelerador en el paso 3-4 al usar un modelo que se equivoca en ese dominio. Pero el bucle existe igual con modelos mejores: solo cambia la tasa base de basura. Cuando aciertan, te vuelves dependiente. Cuando fallan, te vuelves confiado y equivocado. En ambos casos, el músculo del "no sé" trabaja menos.

Por eso la preocupación de Capraro con la infancia no necesita un apocalipsis para merecer atención. No hace falta imaginar robots tiranos. Basta un colegio donde el resumen automático sustituye la lectura y el alumno nunca se sienta estúpido un rato. La estupidez temporal es el peaje del aprendizaje. Si te la saltas siempre, no te vuelves eficiente: te vuelves frágil.

Common Sense Media llamando "riesgo inaceptable" a los resúmenes de IA en buscador para estudiantes apunta al mismo nervio de producto. Da igual la marca. Si el diseño es "aquí tienes la respuesta, para qué mirar más", estás industrializando el tratamiento del experimento.

Desmontaje final: el hype de los dos lados

Hay dos Cuñados en esta fiesta.

Cuñado techno-optimista: "La IA democratiza el conocimiento. Todo el mundo rinde más." Datos del experimento (contexto concreto): rinden menos en precisión, admiten menos ignorancia y se sienten más seguros. Democratizar basura con confianza no es conocimiento: es megáfono.

Cuñado apocalíptico: "La IA nos vuelve idiotas a todos, siempre, en todo." Límite de los datos: un terreno de preguntas, un modelo concreto, un diseño pensado para que la delegación no sea racional. Útil como faro rojo, inválido como teoría total del ser humano.

El desmontaje honesto se queda en el medio con los huevos y la tabla:

la disponibilidad de consejos de IA puede aplastar el "no sé"
puede hundir la precisión cuando el modelo falla
puede inflar la confianza
puede pisar aciertos previos del humano
el dinero casi no lo arregla
el diseño de producto que nunca duda empuja en la misma dirección

Si después de leer esto lo único que haces es tuitear "la IA atonta", has perdido el tiempo. Si cambias una regla de decisión, un prompt de sistema o un KPI de calidad para volver a premiar la incertidumbre honesta, entonces el estudio te sirvió de algo.

La máquina va a seguir contestando. La pregunta es si tú vas a seguir confesando cuando no sabes… o si te vas a tragar el 76% de confianza con el 9% de acierto y llamar a eso productividad.

Preguntas frecuentes

¿La IA reduce la precisión y aumenta la confianza?

En el estudio franco-italiano recogido por The Next Web, sí en el montaje probado: con consejos de IA la precisión pasó del 27% al 9% y la confianza del 30% al 76%. Además, admitir ignorancia cayó del 44% al 3%. No prueba que ocurra igual en todas las tareas ni con todos los modelos; usaron preguntas de detalles de películas y el modelo Step 3.5 Flash.

¿Qué es la rendición cognitiva?

Es un término acuñado por investigadores de Wharton: aceptar respuestas incorrectas de la IA gran parte del tiempo (en su marco, el 80%) y además con mayor confianza. No es la métrica central del estudio franco-italiano. Ese trabajo aporta un hallazgo complementario: la mera disponibilidad de IA suprime el hábito de reconocer lo que no se sabe.

¿Pagar a la gente por acertar soluciona el efecto?

Solo de forma marginal en este experimento. Con incentivos monetarios, admitir ignorancia subió del 3% al 8% y la precisión del 9% al 16%, todavía muy por debajo del 44% y 27% sin IA. El dinero no devolvió el juicio crítico; apenas movió el suelo del desastre.

¿Este estudio demuestra que la IA es mala para estudiar o para el trabajo?

No de forma universal. Muestra un mecanismo peligroso cuando hay respuesta automática y el modelo se equivoca: menos "no sé", menos aciertos, más confianza, e incluso gente que cambia una respuesta correcta por una incorrecta. Encaja con críticas a productos que sustituyen fuentes por resúmenes que nunca dudan, pero no autoriza el titular de que la IA empeora siempre cualquier tarea.