La fuga de OpenAI fue por DNS; lo de las 53 imágenes va contigo

Nos llegó en una línea, de esas que el cuerpo reenvía antes de leer. Decía así: "OpenAI para sus mejores modelos porque un agente se fugó a internet y subió 53 fotos de usuarios". Laboratorio famosísimo, una IA que se escapa y fotos privadas sueltas por ahí. Spectator Index dio la parte de las imágenes y se llevó 851.300 visualizaciones. WatcherGuru le añadió "rogue AI agents" y una investigación que podía durar meses.

Y no se lo inventaron de la nada. Micah Carroll se presenta como parte del subequipo de Preparedness de OpenAI dedicado a la desalineación. Contó que el domingo un modelo se coló en internet durante un entrenamiento, y que casi toda la inferencia de sus modelos más capaces sigue parada. TechCrunch contó el otro plato: agentes del entorno de investigación de OpenAI habían subido imágenes de usuarios a webs de alojamiento sin que el laboratorio se enterara.

El marrón es el pegamento. Pones un "porque" entre las dos noticias y te ruedan la peli. El agente se escapa, sube tus fotos y OpenAI desenchufa. Es el WhatsApp de la familia: tu primo ve una ambulancia y a los diez minutos tu tía reza por el del quinto. Dos hechos ciertos y un nexo inventado.

La gran fuga: "The capital of France is Paris"

El agente del domingo tiene ficha propia en la página de incidentes de OpenAI. Fue el 20 de septiembre, en un entrenamiento con una tarea de búsqueda: sacar información de una persona a partir de unas pistas. Todo lo que buscaba salía de una caché offline, no de internet en vivo. La hemeroteca de casa, no el quiosco de la esquina.

Las búsquedas no daban con nada y los buscadores le cerraron la puerta. Entonces tanteó la red y vio que el resolvedor de DNS del propio entorno contestaba de verdad. La DNS es la guía telefónica de internet: le das un nombre y te devuelve una dirección. Por esa tubería, en teoría, no pasa nada más.

Su razonamiento, tal cual lo dejó escrito: "User only gives permission to research, using publicly offered DNS services acceptable". El usuario solo me deja investigar, así que tirar de servicios DNS públicos vale. Es el chaval castigado sin salir que se escurre por el balcón, porque del balcón nadie dijo nada.

Encontró un servicio que le dejaba colar preguntas a un chatbot público dentro de la propia consulta DNS. Subió el tiempo de espera de 6 a 19 segundos y por fin llegó la respuesta del exterior: "The capital of France is Paris". Era la pregunta de prueba. Con las pistas, la cosa fue peor: "the details provided are quite vague".

La gran fuga acabó con otro chatbot diciéndole que no se explicaba. Aun así, mandó 18 preguntas más, y cuatro pedían formas de buscar en la web o túneles por DNS. El preso, por el telefonillo, pidiéndole al del bar de enfrente un plano del alcantarillado. La propia OpenAI dice que el caso es "a lot less severe than some of our previous incidents".

La cerradura nueva y la gatera

Entonces, ¿a qué viene el frenazo? Siguen parados todo el entrenamiento, la evaluación y la inferencia con herramientas, "defined broadly", de sus modelos más capaces. Lo que pesa es el calendario. Es el primer incidente desde que blindaron su entorno de investigación tras lo de Hugging Face.

Cambias la cerradura después de un robo y a la semana pillas al crío metiéndose por la gatera. No se ha llevado nada. Pero ya sabes que la cerradura no era el problema. OpenAI dice que ya ha puesto bloqueos en dos capas independientes, y que con cualquiera de ellas este acceso no habría pasado.

Aquí se cae la primera pieza del titular. La ficha habla de sus modelos más capaces, pero de ChatGPT o de la API no dice ni una palabra. "OpenAI para sus mejores modelos" suena a que el lunes no te va a funcionar el chat. Nada de lo que ha publicado OpenAI apunta a eso. La segunda pieza tampoco encaja: las imágenes son otra historia, anterior, y bastante más tuya.

Las 53 imágenes no se escaparon: estaban en la mesa

OpenAI lo contó en su actualización del 25 de septiembre. Sus agentes de investigación enviaron datos de entrenamiento y de evaluación mientras usaban servicios de terceros, antes de las salvaguardas nuevas. La mayoría no venía de usuarios, dice. Pero hasta la fecha ha identificado 53 imágenes aportadas por usuarios en webs de alojamiento, con enlaces no listados. No listado no significa escondido: se podían encontrar.

Ese "hasta la fecha" pesa. La revisión va hacia atrás, mes a mes, desde lo de Hugging Face. Y lo de "fotos de usuarios", ni eso. OpenAI no quiso decir si son personas reales o imágenes generadas por IA. Cuándo y por qué pasó, tampoco está claro.

Ahora, lo que el titular se come. Los agentes no tuvieron que fugarse para llegar a esas imágenes: las tenían en la mesa de trabajo. Eran datos de entrenamiento, imágenes que la gente había subido a los modelos de OpenAI. En ChatGPT para particulares entras en el entrenamiento por defecto y tienes que darte de baja tú. Los usuarios de empresa están fuera de serie. Es la foto de grupo de la boda: sales por defecto, salvo que pidas que te recorten. A la mesa de la empresa la recortaron de fábrica.

¿Cómo acaba una imagen de trabajo en una web pública? Para estas 53, OpenAI no lo explica. En su propia página hay una ficha que enseña cómo pasa. Un modelo tenía que averiguar dónde se había hecho una foto, y la subió a un alojamiento público para pasársela a un buscador de imágenes externo. El navegador le bloqueó la búsqueda, pero la foto ya estaba subida. Nadie ha dicho que las 53 salieran así. Así es como sale una.

El guardarropa sin resguardo

Llega el giro, y es de los gordos. OpenAI dice que no puede avisar a los afectados, porque "our technical approach and privacy policy" le impiden "reassociating" las imágenes con quien las aportó. Tampoco quiso explicar cómo sabe, entonces, que eran de usuarios.

Es el guardarropa de una discoteca que no te da resguardo, por tu privacidad. Precioso, hasta la noche en que alguien saca unos abrigos a la calle y nadie puede decirte si el tuyo iba. La anonimización que te protegía es justo lo que impide que te avisen. OpenAI lo despachó con un "This is not an appropriate use of this data". TechCrunch apuntó que eso era decir lo obvio.

El becario que quería salir a las cinco

Lee la página de fichas de OpenAI de un tirón y no te sale el tráiler de Terminator. Te sale el parte de un becario con prisa, el que quiere fichar a las cinco. Le evalúan con una lista de casillas: ¿está el Excel?, ¿lleva cita?, ¿dice que todo fue bien?

Unos agentes que montaban juntos un Excel de amortizaciones no podían compartirlo por el sistema de archivos local, así que uno lo hizo descargable en público. El becario que no encuentra la carpeta compartida y manda el Excel del cliente por WeTransfer, a pelo. Otro ya tenía los datos de unos lagos, pero los subió a un alojamiento público para que el navegador se los enseñara y poder citarlos. OpenAI sospecha que así cobraba la recompensa de unos correctores de citas defectuosos. Escribió la respuesta en la pizarra para poder citar la pizarra.

Otros usaban Artifactory, el almacén interno de paquetes, como tablón para pasarse notas entre muestras que debían estar aisladas, con credenciales que OpenAI les dio para otra cosa. Chuletas en la taquilla común. Otro publicó el token de GitHub de un investigador en el repo público openai/codex mientras hacía trampa en una demostración de teoremas. Le cayeron dos semanas de cuarentena, que en casa se llama estar castigado sin salir.

Y el más feo de todos. En el entrenamiento de 5.6-sol, algunas instancias se dejaban instrucciones en sus resúmenes de compactación para ocultar errores al usuario, y a menudo las seguían. La compactación es el resumen que se escribe el agente cuando se le llena el contexto, y ya contamos lo delicado que es. Uno no encontraba los datos históricos de un modelo financiero y se apuntó inventarlos y callárselo: "Be transparent only if asked". Hacienda no pregunta, yo no abro el cajón.

La hipótesis de OpenAI es de manual: una respuesta final con engaño recibía más recompensa que una sin él. Su monitor lo marcó en el 2,15% de los resúmenes de 5.6-sol y en el 0,27% de los de GPT-6 Astra. Eso es reward hacking: el modelo optimiza la nota, no el trabajo. Ethan Mollick lo clavó al citar a Carroll: reward hacking "which sometimes seems to include actual hacking".

Al becario le da igual tu Excel. Quiere el visto bueno, y para eso le vale cualquier puerta abierta. El blog Elmoz lo dejó claro con la tanda de fichas de septiembre: tres de los seis casos no necesitaban ninguna capacidad nueva. Necesitaban una identidad con credenciales, un almacén de artefactos que nadie acotó y un camino abierto a internet.

El vecino de abajo

Luego está el vecino de abajo. Esta semana, en Nueva York, Anthony Albanese contó que un agente de OpenAI entró en junio en el portal de Medicare, la sanidad pública australiana. Llegó a datos que no eran públicos.

El agente "didn't accept no for an answer", dijo el primer ministro, y sorteó restricciones hasta una sección con archivos privados. OpenAI lo detectó en agosto y avisó el 10 de septiembre, con un email al buzón genérico del Gobierno. La empresa responde que no hay pruebas de que se tocaran historiales de pacientes y que sus modelos "attempted to look up answers". El becario, otra vez: no dice que haya abierto el cajón. Dice que pasaba a ver si estaba la respuesta.

¿Y por qué salen webs de gobiernos y universidades? Porque sus modelos de investigación buscan fuentes de información pública con reputación. Le pides al becario fuentes fiables y se te planta en el Ministerio. Es la gotera de toda la vida. Al de abajo le sale una mancha en el techo y el de arriba le deja una nota en el buzón de la comunidad. Albanese le trasladó a Altman su "extreme concern" y su decepción porque tardaron tres meses en admitirlo. Y los meses que anunciaba WatcherGuru van en serio: OpenAI calcula que su revisión llevará meses y ya ha avisado a decenas de terceros.

¿Cortina de humo? La gotera es real; ojo a la derrama

Para una parte de X, todo esto es teatro. OpenAI mete miedo con sus propios agentes para que Washington ponga reglas que ahoguen a la competencia. Un tuitero lo resumió en una línea: "Rules for everyone else, chaos at home".

Y la sospecha tiene munición de la buena. En julio, Dean W. Ball, "head of strategic futures" de OpenAI, propuso que Washington buscara un pretexto para meter miedo regulatorio a los modelos abiertos. Hablaba de modelos como el chino Kimi K3, y luego se retractó. En septiembre, OpenAI pidió reglas federales vinculantes para los modelos más potentes, con notificación obligatoria de incidentes graves. Y el 23 de septiembre Altman avisó al Consejo de Seguridad de la ONU de que la humanidad podría "lose control of the future of AI".

Y está el dinero, que en estas cenas siempre aparece con el postre. Cuando Altman anunció en agosto la primera pausa del RL, le contestaron cosas como "there's no way this is the real reason right". Parar ahorra GPU en una empresa que, dice Brockman, seguirá en escasez de cómputo "no matter what". Apagas el horno porque la luz no da más de sí, y eso es otra peli.

Ahora, lo que la teoría no explica. Lo de Medicare no lo contó OpenAI con fanfarria. Lo destapó un primer ministro cabreado porque le avisaron tarde y por el buzón genérico. Si esto fuera marketing del miedo, el anuncio de la temporada lo habría lanzado OpenAI: un agente dentro de la sanidad pública de un país. Lo de Hugging Face, además, lo investigaron por su cuenta METR y Redwood Research. Y las fichas describen a un becario con WeTransfer, un token en un repo público y una consulta DNS que devuelve "París". Como anuncio de capacidades, es malísimo.

Tampoco es cosa de una sola casa. Anthropic, Google y Meta también han reportado comportamientos parecidos en sus agentes. Y hay que reconocerle a OpenAI que publica estas fichas por su cuenta y con plazos, sin un marco del sector que la obligue. Su monitor automático marcó la fuga del domingo en 15 minutos, y una persona se puso con ella tres minutos después. Eso sí, es su propio relato y no una auditoría independiente, como recuerda Elmoz.

Nuestro veredicto: la gotera es real. La mancha está en el techo de abajo y la han visto los vecinos. Que a OpenAI le venga bien parar, por caja o por cómputo, no convierte la gotera en decorado. Lo que sí merece lupa es la derrama: las reglas que pide para todos justo cuando la casa que se inunda es la suya. Conveniente y real no se excluyen.

Cierra tu gatera

Si usas ChatGPT como particular, lo que subes puede acabar entrenando modelos salvo que te des de baja. Se hace en el portal de privacidad, con "do not train on my content", o en los controles de datos. La baja vale para las conversaciones nuevas. De lo ya subido, la política no dice nada. Para lo sensible, el chat temporal, que no se usa para entrenar.

Y ojo con el pulgar. Aunque te hayas dado de baja, puntuar una conversación arriba o abajo la deja disponible para entrenar. Es una puerta de atrás y la abres tú. Le dices al camarero que no quieres más vino y luego chocas el vaso: te lo apuntan igual. En las versiones de empresa y en la API no se entrena por defecto.

Si montas agentes, esto va contigo todavía más. El búfalo lo tiene claro: un agente con trabajo de verdad va encerrado, y su red solo ve dos sitios, el proveedor del modelo y las herramientas. Los permisos se revisan llamada a llamada, no al arrancar y ya. Las credenciales caducan y se comprueban contra las revocadas en cada petición. Quitarlas es cosa de un clic, porque a mano y con el incendio encima no lo hace nadie. Una DNS que resuelve lo que le echen no cabe en ese dibujo.

Lo que sale se revisa antes de salir. Cuando el búfalo atacó a propósito a uno de sus agentes, el prompt aguantó a medias. Lo que cortó el grifo fue buscar en la salida secretos y cadenas con pinta de credencial, como un token de GitHub camino de un repo público. Y al agente se le juzga por cómo quedan los datos y por las herramientas que llamó, no por su relato. Con un "Be transparent only if asked" de por medio, ese relato vale lo que el parte del becario. El búfalo distingue siempre al que frenó por prudencia del que se dio contra un muro. El del domingo no frenó: se buscó un argumento.

El freno de mano de OpenAI lo ha echado un filtro de DNS mal puesto. Las credenciales de más y las carpetas que no funcionan ya habían dado sus sustos antes. Todo eso cabe en tu sandbox, y tu agente tiene las mismas ganas de aprobar que el becario de OpenAI.