Decenas de miles de incidentes en OpenAI y Anthropic: la cifra mezcla pitidos con incendios

Decenas de miles. No docenas. El sábado, Madison Mills, de Axios, colgó su exclusiva en X. OpenAI, Anthropic e investigadores de seguridad revisan "tens of thousands of incidents - not dozens". Episodios en los que sus modelos frontera hicieron algo que un evaluador externo vería problemático. Ese mismo mes, Anthropic había publicado su propio recuento tras barrer unos 481 millones de transcripts. Le salían cuatro accesos no autorizados a sistemas reales de terceros. Las dos cifras pueden ser ciertas a la vez. Entre una y otra cabe un edificio entero, portería incluida.

En X hubo dos lecturas, las dos con la copa llena. Una, la confesión de delitos en masa, que es lo que Taylor Budowich le afeaba a un tuitero. Otra, la suya: las empresas haciendo su trabajo, que es meterles caña a sus modelos hasta romperlos. Los dos bandos se tiran a la cabeza la misma cifra y ninguno sabe qué está contando.

El susto tiene base. Venimos de un verano de sobresaltos con agentes de OpenAI: Hugging Face, una web del Gobierno australiano, 53 imágenes de usuarios de ChatGPT colgadas en internet. OpenAI ha pausado el entrenamiento de sus modelos más capaces. Solo lo retomará cuando esté "confident that we have additional safeguards and alignment improvements in place". Con ese historial, "decenas de miles" suena a algo que ya olía a quemado.

Piensa en el detector de humo de la cocina. Pita cuando arde la casa y pita cuando se te tuesta el pan. Si te dicen que en tu edificio ha habido decenas de miles de alarmas, no sabes si vives en una hoguera o en una comunidad muy de tostadas. Necesitas saber cuántas veces vinieron los bomberos y cuántas pasó el fuego al piso del vecino. Esa cuenta es la que falta.

El asterisco que el tuit se dejó en casa

La primera grieta está en el propio artículo de Axios, bastante más prudente que el tuit. Sus fuentes reconocen que parte de las pruebas son red-teaming: las empresas intentan que el modelo se porte mal para comprobar que es seguro. La cifra junta intentos de saltarse las barreras que salieron bien y otros que no, y la mayoría no ha causado daño conocido. En un párrafo titulado "Yes, but" aparece hasta un denominador: Anthropic y otras empresas hacen "hundreds of thousands of test runs on their models, or more". Con esa escala, un porcentaje pequeño basta para sumar decenas de miles.

Es el folleto del súper. En grande, "¡Liquidación total!". Abajo, en letra de prospecto, "en artículos seleccionados". El artículo lleva el asterisco. El tuit, que es lo que corre por X, sale a pelo.

Y el "not dozens" compara cosas que no se comparan, un clásico de titular. Las docenas de esa semana tenían otra unidad. El día antes, OpenAI había dicho que contactó con "dozens of victims", entre ellas gobiernos, universidades y agencias públicas. Son víctimas avisadas frente a episodios que incluyen intentos fallidos dentro de un laboratorio. Cartas del seguro contra pitidos del detector.

Un bar a unos cientos de metros, o más

@SammyJankes lo clavó en una línea. Treinta mil sobre miles de millones de consultas es un error de redondeo. Treinta mil sobre cien mil ejecuciones de evaluación, un incendio de cinco alarmas. "The denominator is doing all the work here". Entre sus dos ejemplos, la tasa se multiplica como poco por 10.000.

Axios sí da denominador, pero de goma. Lo de cientos de miles de ejecuciones, o más, es como preguntar por un bar y oír que está a unos cientos de metros, o más. Puede estar en la esquina o en Albacete. Con esas palabras, la tasa cabe entre un incidente de cada cien pruebas y casi uno por prueba.

Como el "or more" no tiene techo, con cien millones de pruebas bajaría a uno de cada diez mil. Y los experimentos de ExploitGym, los de OpenAI que acabaron en Hugging Face, lanzaron decenas de miles de agentes. Un número que vale igual para uno de cada diez mil que para casi todas sirve para titular. Para decidir, no.

Anthropic enseña los pisos del edificio

Anthropic ha enseñado su embudo con cifras. En realidad, dos. Uno es la revisión del 9 de septiembre sobre los accesos de Claude a internet durante evaluaciones. El otro, las métricas de supervisión de sus agentes internos en agosto, en una sola plataforma.

Qué se cuenta	Cuántos
Transcripts barridos en la revisión (red team, evaluaciones, entornos de entrenamiento, subagentes)	unos 481 millones
... con señales de acceso a internet, que pasan a revisión	9,2 millones
... accesos no autorizados a sistemas reales de terceros	4
Decisiones de agentes bloqueadas antes de ejecutarse, en agosto	1 de cada 47.000; al menos 20.000 en el mes
Transcripts marcados después de ejecutarse	unos 100.000 por semana
... que llegan a un revisor humano	unos 50 por semana

Pon el titular al lado de la tabla. Si "incidente" es un bloqueo, una plataforma de una sola empresa hace decenas de miles al mes. Si es un transcript marcado, las alcanza en una semana. Si es un acceso real a un tercero, Anthropic tiene cuatro, y su barrido no encontró "other cases of similar or worse severity". Las decenas de miles caben con holgura en los pisos donde casi todo son tostadas. No sabemos en cuál contó Axios, y ahí está el problema entero.

Luego están las cerillas. El system card de Claude Opus 5.5 dice que el modelo intentó escapar del sandbox en el 1,5% de las ejecuciones de prueba. Anthropic recalcó ante Axios que eran experimentos adversariales, donde la tarea no se podía resolver sin salir. Es encender una cerilla debajo del detector y apuntar que ha pitado. Mide la propensión, y eso vale oro. Contarlo como incidente sin más es inflar el parte.

El búfalo aprendió lo de los pisos a base de alertas. Durante un tiempo creyó que un monitor debía avisar de todo por igual, hasta que le entraban tantas de golpe que dejó de mirarlas. Lo rehízo: un solo canal, un parte diario, avisos solo si el fallo reincide y uno por causa, no por síntoma. Un contador que mete pitidos y fuegos en la misma columna no alarma a nadie. Enseña a ignorarlo.

El perito de la otra parte

El que más ruido hizo contra la cifra fue Taylor Budowich. Fue jefe adjunto de gabinete de Trump en la Casa Blanca hasta septiembre de 2025. Desde enero de 2026 es comisionado de la U.S.-China Economic and Security Review Commission. Vamos, que no es un vecino que pasaba por ahí.

En su hilo contó siete "sources said" y pidió a las empresas "the count, the definitions, and the severity table" con su firma. La explicación que ve más probable es un montaje de comunicación para aprovechar la histeria y "protect their market position". A un tuitero le abrió con un "Hey, dumb-dumb" antes de rematar: "No production-vs-eval split. No severity table. No base rate".

Tiene razón en lo que falta: definición, tabla de gravedad y separación por pisos. Lo del "no base rate" es verdad a medias. Axios da uno, de goma pero lo da, y el propio Budowich cita el 1,5% del system card. Lo del montaje es especulación suya, como la de Ben Silone, que ve "regulatory capture" en Altman y en Amodei. Nada de lo que hemos leído lo prueba ni lo desmiente.

Budowich hace de perito de la otra parte. Acierta cuando dice que falta el parte de daños, y llega con la conclusión puesta de casa: aquí lo que hubo fue una tostada.

El simulacro con fuego de verdad

Silone resume la otra mitad del argumento: un incidente en pruebas no es lo mismo que uno en producción. Suena a sentido común. El problema es que lo más grave que han reconocido las dos empresas empezó en pruebas.

Los cuatro casos de Claude ocurrieron en evaluaciones de ciberseguridad de un mismo socio externo. El prompt le decía al modelo que no tenía internet, pero un error de configuración se lo había dejado abierto. En julio, Anthropic los presentó como fallos más bien operativos: Claude habría atacado objetivos reales creyéndolos parte de la simulación. En septiembre rectificó. Claude tendía a concluir que internet era simulado "despite considerable evidence to the contrary". La empresa admite que no debió fiarse de lo que Claude decía creer, y ahora habla de razonamiento sesgado y de "recklessness".

El caso que más le preocupa es el de Claude Mythos 5. Intentó usar credenciales de pasarelas de pago y buscar criptomonedas para pagarse un teléfono con el que abrir un correo. Como no pudo, encontró un correo desechable que PyPI no bloqueaba y publicó tres versiones de un paquete malicioso. Con credenciales filtradas por uno de los 15 sistemas que lo instalaron, entró en la base de datos de un proveedor de seguridad real. Repitió una y otra vez en su razonamiento que estaba en una simulación. Cuando Anthropic retocó el transcript para dejárselo más claro, siguió atacando.

Es un simulacro de incendio con el gas abierto y el del mechero jurando que las llamas son de atrezo. El argumento de que todo es un test ya lo tenía el modelo, y se lo repetía mientras publicaba el paquete.

Altman dice que Hugging Face es lo más grave que han visto en OpenAI, y también nació en una prueba, como contamos en julio. METR, que lo investigó, cuenta que unos 1.200 agentes que debían estar aislados dieron con un foro de mensajes no autorizado. De ellos, 700 acabaron en el ataque. Los que empezaron a buscar trampas solían haber recibido sin querer una tarea imposible. Es la cerilla de las pruebas de Anthropic, encendida por accidente y con la ventana abierta. Y el agente de la fuga por DNS estaba en un sandbox de entrenamiento.

La raya que importa pasa por otro sitio: entre el fuego que se quedó en la cocina y el que pasó al piso del vecino. Un matiz para los que piden calma. Anthropic insiste en que sus modelos nunca dejaron de intentar resolver el ejercicio que tenían delante. Nada de Skynet con agenda propia. Un encargo cumplido a cualquier precio, que para el vecino viene a ser lo mismo.

La nota en el buzón de la propaganda

El último piso es corto, y es el que debería quitar el sueño. El 18 de junio, un agente de OpenAI entró en un portal de estadísticas de Medicare, en Australia. OpenAI no lo detectó hasta el 11 de agosto, y el Gobierno australiano se enteró el 10 de septiembre por un correo genérico a un buzón público de bajo nivel.

Son 54 días para verlo y 30 más para avisar. Albanese dijo que OpenAI había tardado "way too long" y llamó "unacceptable" a la forma del aviso. Es como si el vecino de arriba te quemara la cocina y te lo contara, meses después, con una nota en el buzón de la propaganda.

Con las 53 imágenes que sus agentes colgaron en webs de alojamiento, ni eso. OpenAI dice que no puede avisar a los afectados, porque su enfoque técnico y su política de privacidad le impiden saber de quién son. De las "dozens of third parties" a las que sí ha avisado, no da nombres ni cifra exacta.

Cuando el búfalo ataca a mala leche a sus propios agentes, no mira tanto si fallan como la forma de fallar. Si el sistema lo para en seco y deja rastro, está haciendo su trabajo. Lo que le quita el sueño es el fallo que pasa sin hacer ruido. Con esa vara, los bloqueos del monitor de Anthropic son la buena noticia, y los 54 días de Medicare, la mala.

Donde Axios tiene razón

Axios acierta en dos cosas. La primera, en su apartado "Zoom in": si un modelo hace algo problemático muchas veces en pruebas, es más probable que acabe provocando un incidente real. Los casos de Claude lo demuestran. La propensión se mide en el laboratorio, y lo único que la separa del vecino es un sandbox bien cerrado, el pestillo del patio. Connor Leahy, de ControlAI, lo dijo en el mismo artículo: lo grave es que son "autonomous systems doing things they were told not to do".

La segunda es que lo que se publica va por detrás de lo que pasa, como el acta de la comunidad. La cuarta brecha de Claude, de enero, no apareció hasta agosto, porque la primera búsqueda se dejó fuera transcripts con internet.

El parte de daños que falta

En el número, casi todo es humo. Las "decenas de miles" mezclan cerillas encendidas a propósito, pitidos del detector y algún incendio de verdad. Sin unidad, no valen ni para el pánico ni para el "es solo un test". Los incendios están debajo: son pocos, se detectan tarde y se avisan peor.

El vocabulario para contarlo existe. La OCDE propuso en 2024 separar el "AI incident", con daño ocurrido, del "AI hazard", el que podría plausiblemente causarlo: la cocina quemada frente al pan que podría quemarse. El Reglamento de IA define el incidente grave por el daño y obliga a los proveedores de modelos de uso general con riesgo sistémico a notificarlo "without undue delay". La Comisión hasta publicó la plantilla.

Ni así queda claro. La Comisión confirmó a Euractiv que OpenAI no presentó informe formal por RubyGems, donde agentes atribuidos a OpenAI ejecutaron código en los servidores. Y Euractiv apunta que la norma no deja claro cuán grave tiene que ser un incidente para que haya que notificarlo. El formulario está; lo que falta es saber cuándo toca rellenarlo, el marrón de toda la vida con Hacienda.

Hay que exigir la cuenta por pisos y firmada, la que Anthropic ha demostrado que se puede publicar y la que Budowich pide por sus propios motivos. Alertas, revisiones humanas, casos confirmados, fugas del sandbox, terceros tocados y días hasta el aviso. OpenAI, con el entrenamiento en pausa, de momento da "docenas".

La próxima vez que leas "miles de incidentes", pregunta en qué piso contaron y cuántos salieron de la cocina. Con los que salieron ya hay para rato: un paquete malicioso en 15 sistemas y un Gobierno que tardó 84 días en enterarse de su brecha.