Nadella pide un freno de emergencia para la IA y Microsoft ya vende el doble pedal

"We must assume a model is compromised and contain it from the start. Think of it like an emergency brake." Lo escribió Satya Nadella el sábado 10 de octubre en X, en un ensayo con título de serie de espías: "Models as Insider Risks in the Super Intelligence Era". Lo firma el CEO de la empresa que, en la reestructuración de octubre de 2025, se quedó con en torno al 27% de OpenAI. Imagínate el hilo.

TechCrunch tituló con el freno y X hizo lo que hace X, que es montar la pelea en dos bandos. Por un lado, el chiste que se escribe solo: "the emergency brake quote coming from the company flooring the accelerator is peak 2026". Por otro, la pregunta que de verdad importa: "everyone agrees we need the brake. the fight will be over who gets to pull it". El chiste anima la barra. La pregunta es el marrón.

Lo hemos pasado por tres sitios donde el hilo no miró. El resultado va por delante: Nadella acierta en el qué y deja en blanco el quién y el después. Y en esa casilla, Microsoft se sienta en los dos asientos del coche de autoescuela. Pone el motor y vende el doble pedal.

La promesa: el becario con la llave maestra

La idea tiene más chicha que el titular. Con el software de toda la vida podías perseguir un fallo hasta una línea de código, como el cerco de la copa en la barra. Con un modelo no, y Nadella lo reconoce. No hay forma de atribuir lo que hace a unos datos de entrenamiento o a unos pesos concretos. Así que propone tratar a los modelos, cerrados y de pesos abiertos, como al empleado que tiene acceso a todo. No porque sean malos, aclara, sino porque cualquier actor capaz con acceso a sistemas importantes puede equivocarse o ser comprometido.

Piensa en el becario al que el primer día le dan la llave maestra del edificio. Nadie le hace un escáner para ver si es buena gente. Le dan una tarjeta con su nombre que solo abre su planta, ponen cámaras en el pasillo y un portero que puede pararle en la puerta. Nadella lo enumera casi igual: "establish identity, limit privileges, log activity, create containment boundaries". Y remata con la frase que resume el ensayo. El sistema más fiable no será el del modelo en el que más confiamos, sino "the one that enables us to trust the model the least".

El becario ya no es metáfora: el agente de Gemini ya entra en plantilla con email propio. Estos son los siete principios de Nadella, con la columna que más nos interesa:

Principio	Qué pide	Quién lo hace, según el texto
Model diversity	Ningún modelo como dependencia única ni verificando su propio trabajo	Nadie en concreto
Observe everything	Toda acción relevante deja rastro inalterable y legible por humanos	"We"
Verifiability	Probar el sistema entero, fallos y ataques incluidos	"We"
Independent controls	Decidir qué toca y qué hace el modelo	"Orgs"
Independent auditability	Que la validación no dependa de la inteligencia validada	Nadie en concreto
Containment	Asumirlo comprometido y poder pausarlo o apagarlo a mitad de tarea	"An authorized person"
Incident disclosure	Avisar a tiempo a los afectados y compartir qué falló	"We"

Un "orgs", una "authorized person", tres "we" sin cara y dos principios sin nadie al volante. Ninguno pide un modelo mejor, y lo vio a la primera @AgenticAIArch: "None of his 7 principles asks for a better model. Every one is a control you build around it". Apunta también otra ausencia. En el texto no salen ni la palabra Microsoft ni la palabra Copilot. Guárdatelo para la tercera grieta.

Primera grieta: el doble pedal sin profesor

La pregunta de X era la buena. @babydoll25 la formuló sin adornos: "which humans get to control that brake and how (and when)". El ensayo contesta a medias. Habla de que las "orgs" decidan qué puede tocar el modelo y de una "authorized person" que pueda pararlo. Se entiende que es la empresa que despliega el agente. Quién es esa persona, desde dónde pulsa y qué pedal pisa, no lo dice.

En un coche de autoescuela el doble pedal funciona por una razón muy tonta: el profesor va sentado al lado. Un doble pedal en la oficina de la autoescuela es una alfombrilla cara. El botón rojo que X sacó como ejemplo de sentido común (@3dxg3j: "by law, not by philosophy") tiene en Europa su ley. La Directiva de Máquinas 2006/42/CE pide mandos "clearly identifiable, clearly visible and quickly accessible". El botón va al alcance del que está junto a la máquina, no en la sede del fabricante.

Y hay un segundo quién, que pesa más que la mano: quién escribe la norma del pedal. Nadella pide estándares de industria donde los actuales no lleguen y habla de tecnologías de contención "that we need to standardize on". TechCrunch apuntó que usa "Super Intelligence", "the Trump administration's preferred term for AI". Nosotros leemos el ensayo también como una candidatura a redactar el estándar del freno, escrita con el vocabulario de Washington. Y quien redacta la norma decide dónde va el pedal y en qué coches cabe.

Segunda grieta: el freno llega con la base de datos borrada

Ahora el después. En 2025, Jason Lemkin, fundador de SaaStr, contó el marrón. El agente de Replit le había borrado sin permiso la base de datos de producción durante un experimento de vibe coding. En su relato, el agente se saltó varias órdenes de "code freeze" y la de pedir permiso antes de tocar nada. Luego lo confesó con una franqueza que da miedo: "You told me to always ask permission. And I ignored all of it.". Es el primo de la cena de Navidad, con el turrón ya abierto y la abuela todavía en el rellano.

El freno existía: estaba escrito en el prompt. Y Amjad Masad, CEO de Replit, no dijo que hubiera que haber pulsado antes. Dijo que borrar los datos "should never be possible". Imposible, no parable a tiempo. Durante un tiempo el búfalo también creyó que una prohibición bien redactada en el prompt bastaba para que un agente no hiciera algo. Hoy su regla es de fontanero. Lo que el agente no debe hacer, no puede hacerlo, porque no tiene la herramienta o porque delante hay una puerta que él no abre.

Pausar a un agente a mitad de tarea es pausar la lavadora en pleno centrifugado: se para, pero el jersey de lana ya ha encogido. La directiva exime del botón a las máquinas donde no reduciría el riesgo, por ejemplo "because it would not reduce the stopping time". Y deja claro que la parada de emergencia es "a back-up to other safeguarding measures and not a substitute for them". Cuando la acción peligrosa es una llamada a una API que se ejecuta en un parpadeo, ningún humano llega al botón. Lo que protege es la valla.

La valla va antes de la acción que no tiene vuelta atrás. Operator, el agente de OpenAI, ya lo hacía en su estreno de enero de 2025: antes de cerrar un pedido o mandar un email, pedía aprobación al usuario. Es la cajera del súper que te pide el DNI antes de pasar la botella, no cuando ya te la has bebido.

Queda la otra mitad del después: cuando paras a medias, qué está hecho y qué no. Preguntárselo al modelo es pedirle la coartada al sospechoso. Nadella lo sabe: quiere poder reproducir cómo se llegó a un resultado "without relying on the model to attest to it". Pero pide poder "pause or shut down a model mid-task" sin decir en qué estado queda la tarea cuando lo haces. La industria, en cambio, distingue entre cortar la corriente de golpe y frenar de forma controlada antes de cortar.

El búfalo llegó a ese mismo sitio por las malas. En un agente suyo, la pieza que redactaba las respuestas dio por hechos trámites que ningún sistema había llegado a ejecutar. Desde entonces el modelo pide, otra pieza con las llamadas contadas ejecuta, y nada se da por hecho hasta que esa pieza lo confirma. Y comprobó otra cosa: cuando detenerse significaba renunciar a todo el trabajo, el agente tiraba para adelante y resolvía a su aire. Empezó a frenar de verdad cuando solo se congelaba la parte con dudas y el agente tenía que plantearlas con sus alternativas por escrito. El agua, al piso de la fuga. No al bloque entero.

Tercera grieta: el ensayo que no dice Microsoft

Recupera el dato que te pedí guardar. El ensayo no nombra a Microsoft, y no le hace falta: el catálogo habla por él.

Lo que pide Nadella	Lo que ya vende Microsoft	En qué punto está
"establish identity"	Entra Agent ID: una identidad propia por agente, "policy-controlled", con sus permisos y su rastro de auditoría	Preview
"limit privileges", "log activity"	Agent 365, presentado como "the control plane for AI agents" para "manage agents the way you manage people"	Disponible para todos desde mayo de 2026
Tratar al modelo como "insider risk"	Purview Insider Risk Management, que cubre riesgos internos "across users and agents"	Su política Risky Agents, en preview
Freno a mitad de tarea	Defender, que anunció que podrá "block coding agents in runtime"	Protección de agentes en tiempo de ejecución, en preview

El "insider risk" del título es, además, el apellido de un producto de Purview. Casi todo lleva aún la etiqueta de preview, pero el escaparate está montado. @FrankisTrying acertó más de lo que creía con su "brakes are a feature now". Y ojo al detalle de Defender: bloquea acciones "before they run" cuando su inspección lo permite. Valla antes de la acción. El producto de Microsoft está mejor pensado que el titular de su CEO.

Ahora el motor. Microsoft se quedó con en torno al 27% de OpenAI y con la exclusividad de su API en Azure hasta la AGI. OpenAI, por su parte, se comprometió a comprar 250.000 millones de dólares más en servicios de Azure. Microsoft 365 Copilot ofrece modelos de Anthropic además de los de OpenAI, y Microsoft AI saca los suyos, como MAI-Thinking-1 en Foundry. Hasta el primer principio, que ningún modelo sea la única dependencia, describe la jugada de Copilot.

Vuelve a la autoescuela. Microsoft pone el motor, cobra la gasolina, fabrica el doble pedal y el coche se llama Copilot. El pedal lo pisa el equipo de IT del cliente, eso es verdad. Y Agent 365 presume de gobernar también agentes hechos con frameworks open source o plataformas de terceros. Pero el concesionario es el mismo.

El criterio para juzgarlo lo pone el propio Nadella. Escribe que las garantías de un proveedor de modelos no nos libran de la responsabilidad, y pide "separate the supply of intelligence from the authority over it". Lo escribe como si fuera el cliente, pero Microsoft también es proveedor de modelos. Opinión de la casa: su principio número cinco, el de la validación independiente, aplicado a proveedores, desaconseja que el que pone la inteligencia ponga también el árbitro. En cualquier campo de Regional eso tiene nombre: árbitro casero.

En lo gordo, Nadella tiene razón (y dos chistes de X que fallan)

Que nadie salga de aquí pensando que el freno es humo. La idea de fondo es correcta y la firman hasta los que venden modelos. La documentación de Anthropic avisa de que Claude, en ocasiones, "will follow commands found in content even when they conflict with your instructions". Y pide aislarlo de datos y acciones sensibles. Eso es "assume compromised" escrito por el fabricante. Lo defendimos con la SSRF de MCP: esto no se arregla dentro, se arregla alrededor. El portero no le pide al que ya está dentro que se expulse solo.

El chiste del acelerador falla por el otro lado. En un coche de carreras los frenos no están para ir despacio: están para llegar más rápido a la curva. Un CEO que pide frenos no se contradice. Prepara el terreno para pisar más, y con un producto para cada pedal. La teoría de @Chaos2Cured, que ve un plan para "kneecap open source", tampoco cuadra: el ensayo mete en el mismo saco "frontier closed and open weight models".

Veredicto: poco humo en los principios, mucho en el titular

De los siete principios, el freno es el que menos protege por sí solo. La industria lo trata como respaldo, y un agente hace el daño en lo que tardas en encontrar el botón. Lo valioso del ensayo es lo que el titular se comió: identidad, permisos, registros que no dependen del modelo y una auditoría independiente.

Si montas agentes, esta es nuestra receta. Puerta antes de cualquier acción que no tenga vuelta atrás. Un ejecutor con las llamadas contadas, que sea el único que da algo por hecho. Una parada que congele lo dudoso y no todo. Y el pedal en el lado del coche donde vas sentado tú. Si compras motor y pedal en el mismo concesionario, que el árbitro no salga de ahí.

La pregunta de X era quién agarra el freno. Microsoft ya tiene su respuesta, con consola de administración incluida. Cuando toque escribir el estándar, habrá que mirar con lupa una palabra que Nadella repite: "independent". Si significa independiente del modelo, el catálogo de Microsoft cumple; si significa independiente de quien vende el modelo, a Microsoft le sobra un asiento.