Terminal-Bench-Science: GPT-6 Astra gana por una tarea o por doce, según quién arbitre

Artificial Analysis (AA) estrenó el 24 de septiembre su tabla de Terminal-Bench-Science 0.1, y el podio se tituló solo, sin esperar a la repetición. GPT-6 Astra (max) se planta en un 63,3%, y Claude Opus 5.5 (xhigh) en un 61,9%. En unas horas, el hilo de X se llenó de gente con la calculadora en la mano. Cuth preguntaba si ese punto de ventaja estaba por encima del ruido. El ingeniero kartik bhardwaj protestaba porque la media de tres intentos alisa la varianza que importa en un laboratorio. Leo Lu recordaba que cada dominio descansa en 8 a 19 tareas. Y un tal Roder despachaba la geopolítica en una línea: los modelos chinos son "basically just cheaters".

La promesa tiene su lógica: Terminal-Bench-Science mete al agente en una terminal con 70 flujos de trabajo de investigación real, de cinco dominios, elegidos entre 920 propuestas. El verificador corre en un sandbox aparte, así que el modelo no puede tocar a su corrector. Es corregir en otra aula: el alumno entrega y no puede ni asomarse a la mesa del profesor. La nota es aprobado o suspenso, a pelo, sin medio punto por buena letra. Y AA lo vendió con una frase que suena a garantía: el benchmark discrimina bien entre modelos y entre niveles de esfuerzo.

Así que hemos puesto el podio al lado de las otras tablas del mismo examen, y Astra gana en todas. Lo que no aguanta es por cuánto.

Una tarea de setenta

Empecemos por la pregunta de Cuth: AA promedia tres intentos por tarea, así que su tabla sale de 210 intentos. El 63,3% de Astra son 133 aciertos y el 61,9% de Opus, 130. La ventaja son tres intentos, el equivalente a una tarea de setenta. Si un solo flujo de trabajo cambia de bando, el podio se da la vuelta, como la foto de la boda si un primo se cambia de silla.

¿Es ruido? Lo contesta el fabricante del segundo. En la nota de Opus 5.5, Anthropic escribe que a estos niveles los márgenes de los benchmarks se han vuelto una guía menos fiable de las diferencias reales. Y en la letra pequeña fija el error estándar de este examen en ±3,5 a 5 puntos por modelo. La ventaja de Astra en AA es entre 0,28 y 0,40 veces uno solo de esos errores. Es una foto finish con el móvil temblando: la llegada está más apretada de lo que el objetivo es capaz de distinguir.

AA avisa en su metodología de que las evaluaciones sueltas pueden tener intervalos más anchos que su índice general. Su tabla de Terminal-Bench-Science no enseña barras, y el titular se escribió como si las hubiera, que es donde la están cagando.

El búfalo se ha encontrado este empate en sus propios bancos de pruebas: dos modelos de primera fila igualados en todas las comprobaciones. El informe dijo empate, sin ganador, y los separó lo que costaban. Su regla es aburrida y correcta, y por eso no cabe en un titular. Cuando repites poco, cada porcentaje va con su horquilla, y si las horquillas se pisan, decir que no hay forma de separarlos también cuenta como resultado.

Cuatro árbitros, un mismo examen

Si el ruido fuera el único problema, bastaría con repetir más. El marrón gordo llega al poner las otras tablas al lado. En agentes, el modelo es el piloto y el arnés es el coche: el programa que le da las herramientas, ejecuta sus comandos y decide cuándo parar. Cada árbitro le presta un coche distinto y luego se pone a discutir al piloto.

Árbitro	Coche (arnés)	GPT-6 Astra	Claude Opus 5.5	Ventaja de Astra
Artificial Analysis	mini-swe-agent, el mismo para todos	63,3%	61,9% (xhigh)	1 tarea
Snorkel AI	el de fábrica: Codex y Claude Code	68,1%	63,3% (max)	3,4 tareas
Nota de Anthropic	el suyo; la cifra de Astra es la de OpenAI	64,6%	58,7% (max)	4,1 tareas
vals.ai	Terminus 2, el mismo para todos y un solo intento	65,71%	48,57% (max)	12 tareas

Astra gana con los cuatro árbitros, por una tarea, por tres, por cuatro o por doce. La propia vals avisa de que sus números no son comparables con la tabla oficial, que empareja a cada modelo con su agente de casa. Y espera quedar por debajo, porque el agente de cada fabricante está afinado para su modelo. Snorkel sienta a GPT en Codex y a Claude en Claude Code, cada uno con el coche de casa. AA y vals les dan a todos el mismo utilitario. Con su coche de fábrica, Opus 5.5 saca un 63,3%, y con el utilitario de vals se queda en un 48,57%.

Y no es cosa solo de Opus. Fable 5.1 va del 34,29% en vals al 40% en Snorkel y al 52,6% en la nota de Anthropic, cada vez con un coche distinto.

Con el mismo coche y otro circuito, la clasificación hasta se da la vuelta. En vals, Terminal-Bench 2.1, el examen de terminal y software, se corre con el mismo Terminus 2 y la misma configuración que el de ciencia. Ahí Opus 5.5 va por delante de Astra por 0,37 puntos, con el pedal en high. En el de ciencia, con ese mismo coche, Astra le saca doce tareas.

Y el concursante trae suplente. AA lo apunta como "Claude Opus 5.5 (Adaptive Reasoning, Xhigh Effort, Default Fallback)". Anthropic explica en su nota que, con las salvaguardas de producción activas, las tareas de biología en las que saltan las termina Claude Opus 5. En vals, el primo del banquillo puso una tarea, y contando como fallo lo que terminó él, Opus 5.5 baja del 48,57% al 47,14%. En la tabla de AA no consta cuántas veces saltó, y en un podio que se decide por una tarea no es un detalle.

La barra que se encoge sola

Snorkel sí pone barras en su tabla, ±3,2 para Astra y ±3,3 para Opus 5.5, y las hemos reproducido fila a fila. Salen del error estándar de una proporción sobre 210 intentos, como si fueran 210 tareas distintas, y cuadran en las dos pestañas de dominio que hemos comprobado.

Pero son 70 tareas hechas tres veces, y los tres intentos de una misma tarea comparten su dificultad. Es como si el CIS llamara tres veces a los mismos 70 vecinos del portal y vendiera esas llamadas como una encuesta de 210. Tomando la tarea como unidad, que es la cota alta, la barra de Astra pasa de ±3,2 a ±5,6. En vals, que corren un intento por tarea, ya la calculan así: ±6,02 para Opus 5.5. Y aun con las barras estrechas de Snorkel, los 4,8 puntos de ventaja de Astra son poco más de un error estándar. Emparejar tarea por tarea podría apretar la cuenta, pero exige el resultado de cada tarea, y no lo hemos encontrado en ninguna de las cuatro tablas.

Aquí kartik tiene razón, y es la crítica más seria del hilo. El pass@1 medio dice cuántas veces acierta el agente, no si acierta siempre las mismas. Imagina dos agentes con un 50%: uno resuelve siempre la misma mitad de las tareas y falla siempre la otra. El otro resuelve cualquier tarea una vez sí y otra no. En la tabla empatan, pero en el laboratorio al primero le das su mitad y te vas a comer, y al segundo hay que revisarle todo. Un becario que acierta dos de cada tres veces es un becario al que hay que revisarle tres de cada tres.

Lo de Leo Lu ya lo había escrito AA en el mismo tuit del lanzamiento: las notas por dominio son ruidosas, con 8 a 19 tareas cada uno. En un dominio de 8 tareas, cada una vale 12,5 puntos. En la pestaña de ciencias físicas de Snorkel, Opus 5.5 le gana a Astra por 60,8% a 58,8%. Son dos puntos, lo que vale un solo intento en un dominio de 17 tareas. Si alguien te vende que Opus 5.5 es "el de física", te está vendiendo un intento.

La perilla vale veintiséis tareas

La bomba no la puso ningún crítico: la soltó la propia AA en el segundo tuit del hilo, una hostia en la mesa que casi nadie ha comentado. Opus 5.5 pasa del 24% con esfuerzo low al 62% con xhigh, unos 38 puntos, con 5x de diferencia en el coste por tarea. En tareas, son unas 26 de 70. Entre los dos primeros, la marca vale una tarea; dentro del mismo Opus, la perilla vale veintiséis.

Sigamos con el coche: la perilla de esfuerzo es el acelerador, cuánto deja pensar al modelo antes de actuar. Opus 5.5 en low es un Ferrari en segunda, el coche bueno con el cambio capado. En max, que en teoría es pisar a fondo, saca un 59%, por debajo del 62% de xhigh: unas dos tareas menos. Más gasolina y peor vuelta, y con estas barras puede ser ruido, pero basta para no poner max por defecto. GPT-6 Sol cuenta lo mismo: 27 puntos de low a max, a unas 7,5 veces el coste por tarea.

¿Sale a cuenta pisar? En xhigh, cada tarea intentada cuesta cinco veces más, pero como resuelve muchas más, cada tarea resuelta sale a 1,94 veces lo que en low. Si cada tarea que el agente no saca te cuesta una tarde de un investigador, pagar casi el doble por resultado bueno tiene poca discusión.

La otra pregunta de Cuth, el coste por tarea completada, tiene respuesta en Snorkel, que publica el gasto total de cada evaluación. Astra sale a 34,94 dólares por intento resuelto y Opus 5.5 a 36,65: en torno a un 5% de diferencia, una miseria al lado de lo que mueve la perilla. Opus quema 3,78 veces los tokens de Astra y paga casi lo mismo, porque cada token le sale más barato. Es la película del precio por millón que ya contamos con Grok 4.7. El "60% barato" de Cuth no está en el podio. El barato de verdad es DeepSeek V4.1 Flash: 11,69 dólares por intento resuelto, casi tres veces menos que Astra, resolviendo un 15,7%.

Los chinos, a examen sorpresa

Queda el palo de Roder, que va sin anestesia: "Chinese models are benchmark-optimized models, with no exceptions". Los números de los chinos aquí son malos, eso es verdad, y no hacía falta el tuit para verlo. En AA, los mejores de pesos abiertos son GLM-5.3 (max), un 10%, y DeepSeek V4.1 Flash (max), un 9%, a más de 50 puntos de los líderes.

Pero mira quién se sienta en la misma fila, que es donde el tuit se queda sin fuelle. En Snorkel, DeepSeek V4.1 Flash saca un 15,7%, por delante de Grok 4.7 (14,3%), Gemini 3.8 Flash (12,4%) y Opus 4.8 (10,5%), el Opus de mayo. En vals, GLM 5.3 se queda en un 4,29% gastando 24,91 dólares por tarea, y GPT-5.6 Luna, de OpenAI, en un 5,71%. La raya del examen deja a un lado a los tres modelos punteros de OpenAI y Anthropic. Al otro lado caen todos los demás, Pekín y California incluidos.

Roder dice que los chinos se saben las preguntas de los exámenes de siempre, y puede ser. Pero en el examen sorpresa, por debajo del DeepSeek barato, suspenden Opus 4.8, Grok 4.7 y GPT-5.6 Luna, y a esos nadie les registra el estuche. Hundirse en un examen nuevo encaja con haber estudiado solo los viejos y con algo más soso, saber menos ciencia. Esta tabla no zanja la acusación: haría falta el mismo modelo con el mismo coche, en un examen viejo y en uno nuevo, al lado de americanos de su tamaño. Lo que sí se ve es que hasta ese 10% depende del coche. DeepSeek V4.1 Flash saca un 9% con el arnés de AA y un 15,7% con Codex en Snorkel.

Donde AA acierta

Toca ser justos: lo de que el benchmark discrimina bien es cierto donde importa. En las cuatro tablas gana Astra y Opus 5.5 queda segundo. Fable 5.1 es tercero en Snorkel, en vals y en la nota de Anthropic, y AA lo sitúa a unos 20 puntos de los dos primeros. Debajo hay un barranco: en vals, 14 de 27 modelos se quedan en un 4,29% o menos y cuatro sacan cero. Funciona como la selectividad de toda la vida: no te dice quién es el mejor alumno de España, pero sí quién entra en Medicina.

También separa generaciones: en el anuncio del 27 de agosto, el mejor era Claude Opus 5 con un 30%. Cuatro semanas después, en la tabla de Snorkel, Astra saca un 68,1%. El examen se calibró para poner en apuros a los modelos más nuevos, y en un mes el techo se le ha ido a más del doble. Sus autores lo veían venir, y lo montaron como benchmark continuo, que añade tareas y retira las saturadas en cada versión.

Perilla antes que bandera

Veredicto: Terminal-Bench-Science 0.1 es una buena selectividad y un mal podio. Separa a dos modelos, tres con Fable 5.1, del resto, con una claridad que pocos benchmarks tienen, y separa perillas y generaciones. Lo que no puede decirte es si Astra es mejor que Opus 5.5. La distancia entre los dos cabe en cualquier barra honesta, y con el coche pasa de una tarea a doce.

Si vas a montar agentes para trabajo científico, la lista corta son esos dos, y entre ellos decide lo que controlas tú. Primero el coche: prueba con el arnés que vas a usar de verdad, porque de un arnés a otro el mismo Opus 5.5 cambia de liga. Después el pedal, que mueve más tareas que la marca y cuesta casi el doble por tarea resuelta al subir de low a xhigh.

El búfalo lo hace siempre en ese orden. Primero mide hasta dónde llega la configuración más cara, y luego va quitando potencia hasta la más barata que no se despega del listón. El modelo es una línea de configuración más, con un suplente elegido por él por si el barato se cae. Y no se fía de la media: busca en qué tipo de tarea se estrella el barato. Con 8 a 19 tareas por dominio, esa respuesta no sale de esta tabla; sale de tu propio banco de pruebas, repitiendo más las tareas difíciles que las fáciles.

Antes de elegir bandera, elige coche y pedal. Y a quien te venda el podio, pídele el dato que no hemos visto en ninguna de las cuatro tablas: cuántas tareas pasa el agente tres de tres.