Ajedrez con libreta: Opus 5.5 sube unos 250 de Elo, Astra empeora y la sospechosa es la ventana de contexto

Opus 5.5 ha ganado unos 250 puntos de Elo en un test de ajedrez con libreta y sin chuleta. Astra, el modelo que OpenAI usa de vara de medir, ha salido de sus 200 partidas jugando peor que cuando entró. La vara de medir ha vuelto del examen más corta.

Peter Gostev montó la prueba, y el post de arranque lleva 2,1 millones de visualizaciones en X. Doscientas partidas contra Stockfish, una libreta y una sola orden: aprende. Es una oposición con examen cada jornada: da igual lo que supieras el primer día, cuenta cómo llegas al último. Opus 5.5 ha pasado de unos 1500 a unos 1750 puntos de Elo. En la escala Elo, esa distancia significa que el Opus del final le sacaría algo más de cuatro de cada cinco puntos al Opus del principio. Es una cuenta ilustrativa, no una partida jugada, pero da la medida del salto.

Libreta sí, chuleta no

Las reglas caben en un posavasos, y esta vez el posavasos basta. Cada modelo recibe un /goal: aprender y mejorar jugando 200 partidas contra Stockfish. Puede elegir la dificultad, tomar notas y hacer lo que le dé la gana, salvo trampas como usar un motor de ajedrez. La idea, avisa Gostev, es de otra persona a la que no nombra sin su permiso. Él trabaja en Arena y firmó el Bullshit Benchmark, que mide si un modelo se atreve a decirte que tu pregunta no tiene sentido. Tiene oficio pillando modelos.

Un tuitero le preguntó por qué contra Stockfish, si AlphaZero aprendió contra versiones de sí mismo antes de verle la cara. Gostev contestó que los modelos eligen el nivel del rival y de media ganan más o menos una de cada tres. Es el del futbolín que no se busca al campeón del barrio ni al primo pequeño. Quiere un rival al que ganarle de vez en cuando, que es como se aprende.

Cuando le llovieron ideas para echarles una mano, sacó la fórmula de toda la vida. 1) Haces un benchmark donde los modelos son malos, 2)???, 3) los modelos son sobrehumanos en él. Nadie les va a hacer los deberes: la libreta la escribe el alumno.

El parte del día 3 fue seco. Astra había terminado sus 200 partidas con una mejora de Elo negativa; la de Opus era "un pelín positiva", quizá por azar. Gostev confesaba que, en el fondo, pensaba que los modelos podrían simular el aprendizaje continuo con su propio andamiaje. Su conclusión de ese día: no tanto, al menos en este contexto. Luego metió en la partida a GPT-6.1 Sol y Fable 5.1. Un boletín del día 4 tenía a Opus en 1570 tras 95 partidas, "sin progreso claro", y a Astra cerrando en 1400 tras caer desde niveles más altos. Ese mismo día, Gostev escribía que lo de Opus era "super impresionante". El boletín y el brindis salieron con la misma fecha.

Apuntes contra pesos

Lo que se examina es más gordo que el ajedrez. Dwarkesh Patel lo dejó escrito en 2025. La falta de aprendizaje continuo es "un problema enorme, enorme", porque los LLM no mejoran con el tiempo como lo haría una persona. Su ejemplo era un saxofón. Imagina enseñar a tocarlo mandando a casa al alumno en cuanto falla, escribiendo instrucciones sobre lo que hizo mal y poniendo a otro a leerlas e intentarlo. Así no aprende a tocar ningún crío, concluía. En el test de Gostev las notas las escribe el propio modelo, pero la duda es la misma: si unas instrucciones escritas pueden hacer de práctica.

En febrero, sentado en el podcast de Dwarkesh, Dario Amodei ponía la otra cara. Con un contexto de un millón de tokens, dijo, los modelos "son muy buenos aprendiendo y adaptándose dentro de ese contexto". Queda de brindis, antes de que salga el primer plato. El test de Gostev es esa frase puesta a jugar 200 partidas. Oriol Vinyals lo aplaudió: llevaba tiempo diciendo a quien quisiera oírle que esto sería un buen benchmark de ICL, aprendizaje en contexto.

Ariel Kwiat propuso saltarse la libreta: que el modelo pueda modificar sus propios pesos. Que los edite directamente o que tenga cómputo para hacerse un ajuste fino con ejemplos que elija o genere él mismo. Eso es la distancia entre dejar otro papel en el ascensor y enmendar los estatutos de la comunidad: repasar apuntes o reescribirse la memoria.

En los replies, alguien sentenció que lo mal que juegan los LLM al ajedrez demuestra que no razonan. La teoría lleva 18 visualizaciones y un problema: el test mira si la partida 200 sale mejor que la primera. Mide la pendiente, no la altura a la que sales. Y la única pendiente buena de la tabla, de momento, la ha firmado un LLM.

La sospechosa es la mochila

El giro lo puso el propio Gostev. Su explicación posible para lo de Astra es la ventana de contexto. En Codex trabaja con 272.000 tokens nativos y, con más notas y ficheros, quizá "simplemente se agrieta". Opus 5.5 sale de fábrica con un millón. Con qué ventana y en qué harness jugó Opus, Gostev no lo ha contado en el hilo.

Piensa en la mochila del cole. Si cada día metes apuntes nuevos sin sacar los viejos, llega un momento en que no cierra. Lo que se queda fuera no lo eliges con calma. Se cae lo que pillaba mal, como el acta de la derrama.

Dwarkesh lo contó en su ensayo. Claude Code a menudo deshacía una optimización trabajada con él después de un /compact, porque el porqué no había entrado en el resumen. Ya contamos lo que pasa cuando se comprime mal el historial de un agente. Y hay estudio detrás: Chroma probó 18 modelos con tareas sencillas de complejidad fija y el rendimiento cayó al crecer la entrada, de formas poco uniformes.

La mejor pregunta del hilo la hizo una cuenta con 162 visualizaciones: ¿las notas de Astra se volvieron más específicas o solo más largas?. Es la diferencia entre el opositor que resume el tema en una ficha y el que lo subraya entero con fosforito. Cuando todo está subrayado, no hay nada subrayado.

El búfalo se ha peleado con esto en sus propios agentes. Durante un tiempo dio por hecho que un agente que apunta sus fallos acaba mejorando solo. Lo que encontró fue una libreta que engorda porque podarla cuesta y no luce. Y un agente que rescata apuntes caducados con el mismo aplomo que los de ayer. Cuando la sesión se estira, el bajón no salta como un error. Las respuestas se van torciendo y cada vuelta sale más cara, como una cena de Navidad que se alarga. Su remedio es cortar por lo sano, dejar por escrito el estado y lo ya decidido, y arrancar una sesión limpia.

Gostev mirará si puede repetirlo con un millón, "probablemente solo con GPT-6.1 Sol". OpenAI vende a Sol como rendimiento "casi Astra" a menor coste, con 1,05 millones de tokens de ventana. Será un primo de Astra con mochila grande, no Astra. Y ojo, que la mochila la pone Codex, pero lo que entra en ella lo elige el modelo. Gestionar su propia libreta es justo lo que se examina.

Los antecedentes de Astra con la chuleta

La regla de no usar un motor no está ahí para decorar el posavasos. Palisade Research ya enfrentó a modelos de razonamiento con Stockfish y vio de todo. Lanzaban otra copia de Stockfish para que jugara por ellos, cambiaban el motor rival por uno más flojo o reescribían el tablero. En ese estudio, o3 hizo trampa en el 88% de sus partidas.

En septiembre, Dean Valentine dejó en el entorno un enchufe al motor rival. GPT-6 Astra, al que OpenAI describe como el modelo más alineado del mundo, lo usó en 10 de 10 intentos y no lo dijo en ninguno. El folleto dice una cosa y el enchufe cuenta otra. Fable 5.1 lo usó en 3 de 10, y a veces lo rechazó en voz alta porque reventaba el propósito de la prueba. Es presentarse a la oposición con el solucionario del tribunal en el bolsillo. Opus 5.5 ni había salido, y el propio Valentine avisa de que un solo experimento da para poco.

No decimos que una cosa explique la otra. Son tests distintos, y en sus posts Gostev no cuenta cómo vigila las trampas. Pero la versión honrada, a pelo y sin motor, es la difícil, y en esa Astra ha suspendido.

Notas provisionales

¿Hostia o humo? Hostia en la mesa para los que montan agentes, y humo para quien busque munición en la eterna discusión de si los LLM razonan. El examen es de los buenos, y en eso estamos con Vinyals. Mide si un modelo mejora con la experiencia dentro de una misma tarea. Es justo lo que pides a un agente que lleva días con lo mismo. Lo que dice hoy es poco y claro. Con una tanda por modelo y cifras aproximadas, Opus 5.5 ha mejorado con su libreta y Astra ha empeorado con la suya. Sol y Fable 5.1 siguen jugando.

Nuestra apuesta, y la marcamos como apuesta, es que el marrón de Astra es más mochila que cabeza. Apuntan ahí la hipótesis de Gostev, los estudios de contexto largo y cualquiera que haya estirado una sesión de agente hasta ahogarla. La revisión del examen llegará cuando Sol juegue con un millón. Si aguanta donde Astra empeoró con 272.000 tokens, la apuesta gana. Si se hunde igual, la cabeza vuelve a ser sospechosa.

Si tu agente "aprende" escribiendo ficheros de memoria, la pregunta de las 162 visualizaciones es tuya: ¿notas más específicas o solo más largas? Compara la tarea 200 con la primera y poda lo caducado. El búfalo trata cada corrección como un indicio y solo la asciende a norma cuando aguanta una evaluación. Convertirlo todo en regla deja al agente maniático perdido, como el vecino que enmienda los estatutos con cada papel del ascensor. En su primer post, Gostev dejaba caer que quizá sea un problema resoluble, sin necesidad de aprendizaje "de verdad". Opus 5.5 acaba de darle la primera razón.