Astra vs Fable 5.1: 62,7% o 99,9%, según el harness

62,7% y 99,9% no son la misma nota

ARC Prize examinó a Astra en ARC-AGI-3 y no devolvió una nota. Devolvió dos. Con el Standard Harness, 62,7%. Con el OpenAI Provider Adapter, 99,9%. Lo recoge kie.ai el 4 de septiembre de 2026. El adaptador conserva el estado de razonamiento opaco entre peticiones: el modelo se lleva el borrador de una llamada a la siguiente, en vez de entrar a cada request con la pizarra limpia. El harness estándar se la borra. Casi 37 puntos de diferencia salen de esa regla, no de un milagro de arquitectura.

Las dos cifras no son intercambiables. Una parte de la discrepancia con los 99,9% que reporta OpenAI sale de ahí.

Coronar a Astra o a Fable 5.1 con un titular es, en este punto, un error de diseño. Fable 5.1 destaca por código idiomático y por pegarse a las convenciones. Astra destaca por autonomía y por uso de herramientas. El rendimiento de Astra se mueve tanto con el harness que cualquier cifra hay que leerla con el protocolo de evaluación al lado. Ya vimos cómo los índices y el marketing de Astra no cuentan la misma película. El hilo de ML deja el mecanismo a la vista.

En el repo, cada uno tira para un lado

Un autor en r/MachineLearning (hilo recogido en safereddit) enfrentó a Claude Fable 5.1 y a OpenAI Astra en tareas reales de ML. Misma casa, mismo coding-conventions.md impuesto a los dos. No era un leaderboard. Era un pipeline que alguien iba a mantener.

Fable 5.1 se ciñó mejor a esas convenciones. El código salió más idiomático y más legible. El informe de análisis superó la rúbrica de evaluación del autor: ejecutó una ablación del pipeline de preprocesamiento, destapó un paso caro que no aportaba nada y señaló una discrepancia en el ranking de clasificación. Ablación, en cristiano: ir apagando piezas del tubo para ver cuáles mueven el resultado. Encontrar un paso que cuesta dinero y no aporta es el tipo de hallazgo que te baja la factura de compute, no un visto bueno para quedar bien.

Astra fue a otra guerra. Usó los subagentes preconstruidos del autor. El notebook-reviewer detectó y arregló un bug real de tokenización (word-loss a final de frase) y dejó un test de regresión. Fable 5.1 no llamó a los subagentes disponibles y se pasó el fallo. La contrapartida está en el diff: en partes del código de Astra el autor tuvo que esforzarse para entender qué hacía y por qué.

Autonomía que llama a herramientas, frente a código que un compañero puede leer. Eso no sale en un solo índice.

OpenAI mide un salto. Los terceros, un empujón

Artificial Analysis, citado por kie.ai, otorga a Fable 5.1 un Intelligence Index de 66 frente a 61 de Astra, y lidera también el Coding Agent Index con 70 frente a 67. Cinco puntos y tres puntos. Es el principal contrapeso independiente a las cifras de OpenAI, y no corona a nadie: Fable por delante, por poco.

En Terminal-Bench Science 0.1, la comparativa de OpenAI da a Astra un 64,6% frente al 52,6% de Fable 5.1, con un coste API estimado un ~31% menor para Astra. Doce puntos de hueco y más barato, según el banco que se examina a sí mismo. Cline sitúa a Astra líder en Terminal-Bench por solo 1,9 puntos sobre Fable 5.1, sin ajustes completos publicados. El mismo nombre de bench, dos historias. Una te vende un cuerpo de ventaja. La otra, un suspiro de diferencia y sin hoja de cálculo.

El 31% de coste más bajo no es un precio de catálogo: es una estimación de OpenAI en ese bench. Útil como pista, insuficiente para armar tu factura. Sumar el 64,6% de OpenAI con el 99,9% del adaptador y restarle el Intelligence Index de Artificial Analysis es aritmética de marketing.

A 2 de septiembre Astra no estaba lanzado

La guía de atalupadhyay.wordpress.com, del 2 de septiembre de 2026, fija el recorte temporal: Astra no estaba lanzado. OpenAI confirmó el nombre el 1 de agosto. El 7 de agosto dijo que no podía descartar capacidades ciber "críticas" bajo su Preparedness Framework. El 18 de agosto describió el frenazo antes de cualquier lanzamiento: pausa de RL (dejan de optimizar el modelo con recompensas), aislamiento de cargas y de red, monitoreo a nivel de token.

Eso cambia el objeto que estás comparando. Fable 5.1 ya corría en el experimento y ya salía en los índices de terceros. Astra, en esa fecha, todavía pasaba por aislamiento y por una pausa de entrenamiento. La autonomía del notebook-reviewer puede ser real y, a la vez, un producto que aún no puedes meter en el CI con la misma cara. El umbral Critical no es un adorno de blog: es la razón de ese freno.

La trampa está en tratar el 99,9% del adaptador como si fuera el Standard Harness. En leer Terminal-Bench Science 0.1 y no mirar los 1,9 puntos de Cline. En enamorarte del subagente que caza el word-loss y heredar un módulo opaco. En quedarte con el código limpio de Fable 5.1 y descubrir tarde el bug de tokenización porque el modelo no llamó al revisor que lo habría pillado.

Elige por el flujo que ya tienes. Convenciones, diffs legibles, un informe que se pone a hacer ablaciones: Fable 5.1. Herramientas, subagentes, un test de regresión que aparece solo: Astra, con la cifra leída en el harness que vas a usar tú, no en el que guarda el razonamiento entre llamadas.

El 99,9% vende. El 62,7% es el que se parece a un examen sin chuleta.