Auto-mejora recursiva: la IA no se rebela, simplemente dejamos de saber apagarla
Anthropic confirma que Claude escribe ya más del 80% de su propio código. No es Terminator. Es algo más peligroso: una pendiente suave que nadie vigila porque cada paso parece razonable.
En este artículo
El Cuñado dice: "La IA se va a rebelar de golpe como Terminator y un día nos tiene a todos bajo control sin que podamos hacer nada."
La realidad es: El peligro no llega con ojos rojos ni música de Hans Zimmer. Llega cuando llevas seis meses sin saber hacer tú solo lo que hace la máquina. Y para cuando te das cuenta, dar marcha atrás cuesta más de lo que nadie está dispuesto a pagar.
Por qué importa saberlo: Porque la narrativa del robot asesino nos mantiene mirando el horizonte equivocado mientras la pendiente real ya lleva meses inclinándose bajo nuestros pies.
El escenario que nadie vigila porque parece demasiado aburrido
Olvida a Skynet. El mecanismo real tiene nombre de pila: Ivan. Es un ingeniero que un lunes añade un gestor de contexto a su asistente de IA porque así el sistema recuerda el hilo de las conversaciones anteriores sin perder el norte. El miércoles siguiente conecta un optimizador de prompts porque genera mejores instrucciones que él. Al mes, activa ejecuciones en paralelo para acelerar los ciclos. Cada decisión es razonable. Cada paso ahorra tiempo. Nadie en ninguna reunión levanta la mano para decir que hay un problema.
Eso es la auto-mejora recursiva (RSI, por sus siglas en inglés): un proceso iterativo donde el sistema mejora su propio funcionamiento, no de golpe, sino en incrementos pequeños que individualmente no justifican una alerta de seguridad. El problema no es cada paso. Es la suma de todos cuando nadie lleva la cuenta de cuánto conocimiento operacional ha migrado del humano al flujo automatizado.
En junio de 2026, Anthropic publicó un artículo identificando señales tempranas de RSI en sistemas reales. No es un paper de ciencia ficción. Es una empresa que fabrica los modelos describiendo lo que ya ve en su propia casa.
"La auto-mejora recursiva no es inevitable, pero podría llegar antes de lo que la mayoría de las instituciones están preparadas." , Marina Favaro y Jack Clark, Anthropic (Time, junio 2026)
Los datos que Anthropic publicó sobre sí misma y que deberían ponerte nervioso
Aquí es donde la cosa se pone interesante, porque los datos más relevantes de este debate no vienen de un paper externo: vienen de Anthropic hablando de sus propias métricas internas.
Según datos publicados en Time el 29 de junio de 2026, Claude escribe ya más del 80% del código que se integra en los sistemas de Anthropic. No el 80% de las sugerencias. El 80% del código fusionado. Sus propios investigadores principales dejaron de escribir código hace meses, delegando toda la codificación a Claude. Esto no es anecdótico: es la empresa más vocal en materia de seguridad de IA describiendo cómo su propio equipo ya no mantiene el músculo operacional en esa área.
El segundo dato es aún más revelador: la duración de las tareas que los modelos pueden completar de forma autónoma se duplica cada cuatro meses. Hace aproximadamente un año, esa tasa de duplicación era de siete meses. La aceleración es medible y está documentada por la propia Anthropic.
La métrica no especifica con precisión qué constituye exactamente una "tarea autónoma", lo que hace difícil comparar contra benchmarks externos. Pero la dirección del dato es incontestable: los sistemas hacen cada vez más cosas solos, cada vez más rápido, y el ritmo de ese proceso se está acelerando.
Y el modelo más avanzado de Anthropic antes de los controles de exportación, Mythos 5, había demostrado capacidad para realizar ciberataques de extremo a extremo de forma autónoma, sin asistencia humana. No como demostración de laboratorio con guardrails artificiales: como capacidad operacional real del sistema.
Por qué la Casa Blanca se metió en esto y qué pasó con Fable 5 y Mythos 5
El 12 de junio de 2026, la Casa Blanca emitió una directiva de control de exportaciones prohibiendo el acceso a los modelos Fable 5 y Mythos 5 de Anthropic para todos los nacionales extranjeros. El alcance de la prohibición era específico: nacionales extranjeros, incluidos muchos de los propios investigadores de Anthropic que trabajan en suelo estadounidense.
Anthropic respondió cerrando esos modelos por completo.
Si quieres leer el contexto completo de esos 19 días de restricciones y el levantamiento posterior, lo tenemos desarrollado en el artículo sobre los controles de exportación de Anthropic y lo que ese episodio revela sobre la gobernanza real de la IA.
Lo que importa aquí es el patrón: una empresa que lleva años siendo la más vocal sobre los riesgos existenciales de la IA estaba construyendo modelos con capacidades ofensivas autónomas mientras simultáneamente pedía al mundo que frenara. Eso no es hipocresía necesariamente. Es la tensión real del sector: si tú no lo construyes, lo construye otro con menos escrúpulos. Pero la tensión existe, y fingir que no existe es exactamente el tipo de humo que este medio no vende.
El pedal de freno que no existe y el que sí podría existir
Jack Clark usó una analogía en CNN que resume el problema mejor que cualquier paper: la industria de la IA solo tiene acelerador. No hay pedal de freno.
Es una metáfora de entrevista, no una propuesta formal de ingeniería. Pero capta algo real: no existe ningún mecanismo internacional vinculante que permita ralentizar el desarrollo coordinadamente cuando aparece una señal de riesgo. Y Anthropic lo sabe mejor que nadie, porque ellos mismos han pedido públicamente una ralentización o pausa coordinada globalmente en el desarrollo de los modelos más avanzados, comparándola con los acuerdos históricos de control de armas.
El timing de ese llamamiento, sin embargo, merece una nota: coincidió con los preparativos de Anthropic para una salida a bolsa orientada a recaudar capital significativo para infraestructura de IA. No afirmamos que una cosa causara la otra. Pero señalarlo es parte del trabajo.
Stuart Russell, en su columna del Guardian del 17 de junio de 2026, va más lejos que la pausa. Aboga por un régimen de licencias similar al de la energía nuclear o la aviación: estándares mínimos de seguridad verificables antes de poder construir y liberar sistemas de IA de frontera. La diferencia es importante: una pausa es un botón de emergencia temporal; un régimen de licencias es infraestructura regulatoria permanente.
El contraargumento existe y no es de ignorar: una pausa unilateral cede terreno a competidores menos cautelosos y retrasa beneficios económicos reales. La viabilidad de aplicar cualquier acuerdo de este tipo entre jurisdicciones con intereses geopolíticos distintos es, en el mejor de los casos, complicada. Russell lo sabe. Pero la ausencia de mecanismo no es argumento para no construirlo.
Un CEO de IA, cuya identidad no se revela en las fuentes disponibles, le dijo a Russell que no espera una regulación seria hasta que ocurra un "desastre a escala Chernóbil". Varios CEOs del sector han declarado públicamente que la creación de inteligencia sobrehumana tiene una probabilidad comparable al riesgo de una ruleta rusa de causar la extinción humana. Que la misma gente que hace esas declaraciones siga construyendo sin parar no es una contradicción que pueda resolverse con buenas intenciones.
Las tres señales de alerta que sí son medibles (y que nadie mide)
El problema de la narrativa del Terminator es que desplaza la conversación hacia lo espectacular e ignora lo operacional. Las señales tempranas de pérdida de control reversible no son dramáticas. Son aburridas y cuantificables:
La automatización empieza a corregirse a sí misma sin intervención humana. El sistema identifica errores en su propio output y los ajusta dentro del flujo, sin que ningún humano valide el ajuste.
La cobertura de revisión manual cae. Cada mes, el porcentaje de decisiones del sistema que alguien revisa es menor. No porque nadie lo haya decidido. Porque el volumen crece y el equipo no escala al mismo ritmo.
Los procesos para gestionar incidentes dependen de la misma capa de asistente que deberían evaluar. Cuando el sistema que usas para diagnosticar un fallo es el mismo que podría estar fallando, has cerrado el bucle de revisión.
Cuando estas tres señales se dan a la vez, el costo de reversión se dispara. No porque el sistema se resista activamente. Sino porque nadie mantuvo el conocimiento operacional fuera del flujo automatizado. La irreversibilidad no es un estado binario que se activa en un momento concreto: es un gradiente que se deteriora silenciosamente.
Lo que propone el marco operacional no es un manifiesto anti-IA. Es un cuadro de métricas: rastrea la profundidad de dependencia, mide la tasa de anulaciones humanas, cuantifica cuánto conocimiento crítico vive exclusivamente dentro del flujo del asistente. Si esos números se deterioran juntos durante seis meses seguidos, tienes un problema de reversibilidad. No de alineación existencial. De reversibilidad.
La distinción importa porque el problema de reversibilidad es tratable con ingeniería y proceso. El problema de alineación existencial requiere soluciones que todavía no existen. Confundirlos paraliza la respuesta práctica.
La tesis que ninguna fuente dice explícitamente pero que los datos dibujan sola
Hay una tensión real entre las distintas fuentes de este debate que vale la pena nombrar.
Por un lado, Anthropic documenta métricas internas de dependencia creciente (80% del código, duplicación de tareas autónomas cada cuatro meses) y pide una pausa global. Por otro, sigue construyendo modelos con capacidades ofensivas autónomas como Mythos 5, prepara una salida a bolsa que requiere crecimiento, y sus propios investigadores han dejado de escribir código. Las dos posiciones son simultáneamente ciertas y mutuamente incómodas.
La lectura más honesta no es que Anthropic sea hipócrita ni que sea la única empresa responsable del sector. Es que el incentivo estructural de cualquier empresa en este mercado hace casi imposible ser el primero en frenar de verdad, independientemente de lo que su dirección crea sobre los riesgos. El primero que para pierde cuota. Y nadie quiere ser el que para.
Eso es exactamente el problema que Russell describe cuando pide un régimen de licencias: no confiar en la buena voluntad de los actores individuales, sino crear la infraestructura que cambie los incentivos del sistema. Igual que la aviación no mejoró su seguridad porque las aerolíneas fueran virtuosas, sino porque la regulación hizo que estrellarse fuera más caro que cumplir estándares.
Incluso una auto-mejora parcial podría tener resultados impredecibles. Los mecanismos de seguridad, según Anthropic, no maduran al mismo ritmo que las capacidades. Eso no requiere catastrofismo para tomárselo en serio. Requiere métricas, proceso y la honestidad de admitir que el músculo operacional que delegas a la máquina no lo recuperas gratis.
Ivan no vio el problema venir. Lo construyó él mismo, un lunes a la vez, tomando decisiones razonables.
Preguntas frecuentes
¿Qué es exactamente la auto-mejora recursiva (RSI) en IA?
La auto-mejora recursiva (RSI) es el proceso por el cual un sistema de IA modifica iterativamente su propio funcionamiento para volverse más capaz, sin que cada mejora requiera intervención humana directa. No es una explosión de inteligencia repentina: es un ciclo gradual donde cada iteración hace más eficiente la siguiente. Anthropic documentó señales tempranas de este proceso en junio de 2026, aunque aclara que la RSI plena aún no se ha alcanzado.
¿Cuánto código de Anthropic escribe ya Claude?
Según datos publicados por Anthropic en Time (junio 2026), Claude escribe más del 80% del código integrado en los sistemas de la empresa. Sus investigadores principales han dejado de escribir código ellos mismos, delegando esa función al propio modelo. La duración de las tareas que Claude puede completar de forma autónoma se duplica cada cuatro meses, frente a los siete meses de duplicación registrados aproximadamente un año antes.
¿Por qué Anthropic pidió una pausa en el desarrollo de IA si ellos mismos siguen construyendo?
Anthropic argumenta que la RSI podría llegar antes de que las instituciones estén preparadas para gestionarla, y pide una ralentización coordinada globalmente comparable a los acuerdos históricos de control de armas. La tensión con su propio ritmo de desarrollo refleja el dilema estructural del sector: el primer actor que frena unilateralmente cede terreno a competidores menos cautelosos. Stuart Russell propone resolver esto con un régimen de licencias obligatorio, no con voluntarismo individual.
¿Qué pasó con los modelos Fable 5 y Mythos 5 de Anthropic?
El 12 de junio de 2026, la Casa Blanca emitió una directiva de control de exportaciones que prohibía el acceso a Fable 5 y Mythos 5 para nacionales extranjeros, incluidos investigadores de la propia Anthropic. La empresa respondió cerrando esos modelos por completo. Mythos 5 había demostrado capacidad para realizar ciberataques de extremo a extremo de forma autónoma. No se dispone de información verificada sobre si el cierre fue definitivo o temporal.
Fuentes
- Will it take a ‘Chernobyl-scale disaster’ for us to regulate AI? | Stuart Russell
- Recursive Self-Improvement is the Human Skill We Need in the AI Age
- Anthropic Calls for Global Pause on AI Development Amid Rising Concern Over Self-Improving Models
- Anthropic urges AI industry to develop 'brake pedal' as self-improving systems approach
