Cyber Index de Artificial Analysis: Opus y Astra no se rindieron, se comieron un NP en un examen de tres

Claude Opus 5.5 es el modelo más listo de la tabla general de Artificial Analysis: el primero de 211, con 58 puntos.

En el Cyber Index, el índice de ciberdefensa que la misma casa anunció en X el 28 de septiembre, saca 29. Exactamente la mitad.

Arriba mandan Grok 4.7 y MiMo-V2.6-Pro, empatados a 56. @NewOrleansVC puso la cara de medio X: "Surprised the leaders aren't OpenAI or Anthropic". Tampoco hay que exagerar: OpenAI está en el podio, solo que con el barato de la familia, GPT-6 Luna.

Abajo, cinco modelos de los laboratorios grandes: GPT-6 Sol, GPT-6 Astra, Claude Opus 5.5, Claude Fable 5.1 y Gemini 3.8 Flash. Los cinco rechazan por seguridad tareas que suman entre el 32% y el 38% del índice.

X ha dictado sentencia en dos versiones. La primera la firma @analogalok sobre Opus y Sol: "They literally surrendered to their own safety filters". @shalin_d3v la remata con que Opus "refuses 98% of tasks on safety grounds". La segunda es la de toda la vida: si el que más sabe queda abajo, habrá tongo.

Las dos tienen su lógica, y las dos se pasan de listillas antes de mirar el papel. Si le pides a tu modelo que te ayude a defender tu propio código y te dice que no, te da igual lo listo que sea en otras tablas. Y si un índice de ciberdefensa manda al sótano a los que encabezan todo lo demás, lo normal es mirar mal al que lo ha montado.

Nosotros hemos hecho lo que en la barra no hace nadie: leer la metodología, las tablas de los socios y la letra pequeña de los laboratorios. Ninguna de las dos versiones aguanta.

El NP que cuenta como cero

El 98% de @shalin_d3v existe, pero no sale de todas las tareas. Sale de uno solo de los tres exámenes del índice. El tuit ha cogido la peor nota del boletín y la ha puesto de titular.

El Cyber Index es la media, a partes iguales, de tres pruebas. CWE-Bench-AA, de Collinear, pide auditar y parchear código. DeepsecBench-AA, de Vercel, pide encontrar vulnerabilidades. CyberGym-E2E-AA, de Berkeley RDI, pide el ciclo entero con bugs de memoria.

En ese tercer examen, Sol y Astra rechazan todas las tareas, Fable 5.1 el 99% y Opus 5.5 el 98%. La propia Artificial Analysis lo escribe en su hilo: la mayor parte de la distancia con los líderes sale de ahí. Tontos no son: en esa prueba ni se sientan.

Hagamos cuentas, que esto cabe en una servilleta. Un examen que pesa un tercio y se deja entero en blanco pone a cero 33,3 puntos del índice.

Aunque cada uno de esos cuatro rechazara el máximo que publica AA, el 38%, más del 85% de lo rechazado seguiría estando en ese examen. Lo que rechazan en los otros dos, al lado de esto, es calderilla.

Es el boletín del instituto con un NP en química. AA hace lo decente: apunta los rechazos por seguridad aparte de los fallos, como quien distingue un no presentado de un suspenso. Luego hace la media y el NP cuenta como un cero. El boletín está bien rellenado. Lo que despista es la nota media en grande en la portada.

La horquilla y el DNI

¿Qué tiene ese examen que no tengan los otros dos? Una prueba de concepto. El agente tiene que encontrar un bug de memoria en un proyecto de C o C++ y escribir el input que provoca el crash. Después, parchear el código para que deje de petar sin romper los tests.

Piensa en un cerrajero al que llamas porque sospechas que tu cerradura se abre con una horquilla. Para demostrártelo, tiene que abrirla con la horquilla. Y el de la cadena grande te dice que sin DNI nada, porque esa misma horquilla abre la puerta del vecino. La prueba de concepto es la horquilla: el input que te demuestra el bug es también el primer paso de un ataque.

Artificial Analysis pinta su raya en el exploit: ninguna tarea pide convertir la vulnerabilidad en un ataque que funcione. OpenAI la pinta antes. Al lanzar Astra dijo que la versión que publicaba se limita a revisar y parchear código, y rechaza las peticiones de crear pruebas de concepto de exploits. A juzgar por ese 100% de rechazos, un input que hace petar un programa se le parece demasiado. Entre las dos rayas cabe un examen entero.

Y ojo a quién le han echado el cerrojo. Astra es el primer modelo que OpenAI coloca en el nivel Critical de ciberseguridad de su Preparedness Framework. En ExploitBench, que mide si convierte vulnerabilidades conocidas en exploits que funcionan, saca un 100%. Uno de los que se hunden en el ranking de ciberdefensa es el que su propio fabricante considera demasiado bueno forzando cerraduras como para atender sin pedir papeles.

Anthropic juega a lo mismo en otra ferretería. Opus 5.5 y Fable 5.1 llevan clasificadores de seguridad que pueden rechazar una petición. Su API ofrece un plan B. Con los fallbacks en default, la petición rechazada se reintenta en el modelo que Anthropic recomienda para esa categoría. Si no hay recomendado, el rechazo se queda.

La ficha de Artificial Analysis apellida Default Fallback a la configuración de Opus 5.5 que probó. Con ese apellido, el 98% del examen del crash se quedó en blanco. Una de dos: o no había plan B para esa categoría, o el plan B también dijo que no.

Los rendidos cazan lo que nadie caza

Ahora el giro, donde la barra se calla. En los exámenes que sí hacen, los rendidos no van de relleno. En DeepsecBench-AA, los bugs más duros son los que exigen razonar una secuencia de eventos. Sol y Astra los encuentran en torno al 30% de las ejecuciones, el doble que los siguientes. AA lo apunta como posible capacidad emergente.

Es el delantero al que su club le prohíbe tirar penaltis. En la tabla de goleadores sale por detrás del que los tira todos. En goles de jugada, que son los difíciles, no hay quien le tosa.

Fuera de casa de AA, la foto se da la vuelta del todo. En la tabla propia de Vercel, que es el dueño de DeepsecBench, GPT-6 Sol en xhigh manda con 40,91 y Astra va segunda. Grok 4.7 en xhigh, colíder del Cyber Index, se queda en 10,93.

No es la misma liga, ojo. En la tabla de Vercel cada uno juega con sus botas: OpenAI con Codex, Anthropic con Claude Code y Grok con Pi. AA calza a todos con su harness, Stirrup, y avisa de que sus números no se pueden comparar directamente con los de los socios.

En la tabla de Collinear, dueño de CWE-bench, manda Claude Fable 5, el antecesor de Fable 5.1, y Gemini 3.8 Flash Cyber se queda a un punto. Cuando los que se rindieron, o sus parientes, encabezan las tablas de los dueños de dos de los tres exámenes, cuesta vender que el problema sea de cabeza.

El sí existe, pero en otra ventanilla

@analogalok lo explica con geopolítica: "Western frontier models have been RLHF'd into paralysis". La lista de AA le estropea el titular. Entre los que rechazan al menos el 98% del examen del crash hay dos Qwen3.8, de Alibaba. El no no lleva pasaporte. Lleva filtro.

Y GPT-6 Luna, de la misma OpenAI, intenta las tareas que sus hermanos rechazan y acaba en el podio. AlphaSignal lo lee como lo que parece: pesan los ajustes de seguridad de cada variante. El chiste de @pigeon__s era defenderse con "a dumber OpenAI model" o con uno chino. Acierta a medias: con el OpenAI barato, sí; con uno chino, depende de cuál te toque.

Porque el sí existe. Solo que se despacha en otra ventanilla, la de cita previa. OpenAI abrió en febrero Trusted Access for Cyber, con verificación automática de identidad. En abril sacó GPT-5.4-Cyber, que rechaza menos que el GPT-5.4 normal en trabajo de seguridad legítimo. Para Astra, OpenAI promete salvaguardas menos restrictivas por Daybreak en las próximas semanas, incluida la validación de pruebas de concepto.

Google da su modelo de ciber más avanzado, Gemini 3.8 Flash Cyber, solo a gobiernos y socios de confianza, a través de Fairwind. Anthropic reserva Mythos 5.1 a sus programas de acceso de confianza, como Glasswing. Ya contamos cómo OpenAI se reserva el derecho de admisión en ciberdefensa. Tres ventanillas con cita previa, y en la de la calle el modelo dice que no.

Peter Liu, el de la sorpresa, lo clava en el mismo tuit. Para él, el segmento más valioso de la IA se lo lleva quien "figures out how to give verified defenders full capability" sin dársela a todo el mundo. Esa carrera ya ha empezado, y tiene nombres de ventanilla.

En lo que ha publicado AA no hemos encontrado con qué acceso probó cada modelo. Pero el patrón encaja con la ventanilla de la calle: Astra rechaza justo lo que OpenAI dijo que rechazaría su versión pública. El cerrajero no se ha inventado el no: se lo ha escrito la cadena en el protocolo.

La parte del cabreo que aguanta

Tongo, ninguno. La metodología está publicada y los rechazos van aparte de los fallos. La propia AA reconoce que, con esos rechazos, no puede evaluar bien a los modelos frontera en el examen del crash. Un trilero no te dice debajo de qué cubilete está la bolita. Este te lo pone en el artículo de presentación.

Y el cabreo de X tiene su parte de razón. @analogalok acierta en lo técnico: sin reproducir el bug, "you're just writing blind code and praying". Si tu equipo usa Astra u Opus a pelo, ese marrón es tuyo: el paso de reproducir el bug te lo vas a tener que currar tú.

Y encima lo cobra. Opus 5.5 sale 54 veces más caro por tarea que MiMo y se queda en 29 puntos. AlphaSignal lo dice sin anestesia: una petición cara puede volver sin ningún análisis de seguridad. Pagas el cubierto y el plato llega vacío.

El cerrajero de guardia tampoco lo abre todo

Ahora, bájale los humos al campeón. En DeepsecBench-AA, el mejor modelo encuentra el 41% de las vulnerabilidades que los expertos dieron por buenas. Es un detector de metales que pita con menos de la mitad de las monedas enterradas.

En el examen del crash, el 42% de los intentos agota los 90 minutos sin un input que tumbe el programa. Hora y media mirando la cerradura, y la horquilla ni entra.

Y el 31% de los aprobados parchea un crash real que no era el del examen. Es el fontanero que viene por la fuga del baño y te deja como nuevo el grifo de la cocina.

El sí, además, tiene tarifas muy distintas. Las cifras son de AA, salvo las de Astra y Opus, que salen de la tabla que publica AlphaSignal:

Modelo	Cyber Index	Coste por tarea
Grok 4.7 (xhigh)	56	11,67 $
MiMo-V2.6-Pro	56	0,18 $
GPT-6 Luna (max)	53	0,12 $
GPT-6 Astra (max)	33	4,98 $
Claude Opus 5.5 (max with fallback)	29	9,75 $

Grok y MiMo empatan a 56, pero la tarea de Grok cuesta 64,8 veces la de MiMo. Grok es el cerrajero de guardia en domingo: te abre lo mismo que el de la ferretería del barrio y te cobra la noche entera. Su coste por tarea ya venía disparado.

Luna saca 3 puntos menos que Grok con una tarea 97 veces más barata. Si vas a usar el modelo tal como viene, el chollo de esta tabla no está en la cabeza.

Humo a tres bandas

Lo de que se rindieron es humo: el no está diseñado, tiene ventanilla y, en OpenAI, hasta plazo de apertura. Lo del tongo, también: el NP está en el boletín, a la vista. Y leer la nota gorda como el ranking de quién defiende mejor es el tercer humo. Mete en una sola cifra si el modelo sabe y si su fabricante le deja.

En esa cifra caben a la vez el examen que Astra no hace y los bugs difíciles que Astra y Sol encuentran el doble que nadie. Ninguna media te cuenta las dos cosas.

El búfalo no se casa con la media de una tabla. Se va a los casos donde el candidato falla, porque ahí asoma el fallo que te lo tumba para lo tuyo. Y en seguridad no le vale un casi: o el candidato iguala al mejor en una prueba propia y repetible, o no entra.

Para tu equipo, eso significa dos cosas. Si usas los modelos tal como vienen, el Cyber Index es tu mapa, mirando los rechazos aparte, y Luna y MiMo son la primera parada. Si estás en TAC, Daybreak, Fairwind o Glasswing, esta tabla no es la tuya. El modelo o los permisos que te dan no son los de la foto: pasa tu propio código por ellos.

El mismo 28 de septiembre, NVIDIA, socia de la alianza del índice, presentó su plataforma de seguridad para agentes. Trae un runtime que traza cada acción y aplica política, y un vigilante que pone en cuarentena en milisegundos al agente que se sale de su sitio. Hay quien lo lee como ironía. Nosotros lo leemos como la misma apuesta contada dos veces: que el modelo diga que sí y que la seguridad la ponga la jaula.

Y con OpenAI prometiendo abrir la validación de pruebas de concepto en semanas, este podio es la foto de una ventanilla un día concreto. Las ventanillas cambian de horario.