Olmo-core 3: el billón de parámetros es un simulacro y el 2,7x, contra sí mismo

El titular de AlphaSignal, el mismo 1 de octubre del anuncio, fue este: "Ai2 Rebuilds OLMo-Core 3 to Train Trillion-Parameter AI 2.7x Faster". O sea, que Ai2 ha rehecho su infraestructura para entrenar IA de un billón de parámetros 2,7 veces más rápido, y encima con el código abierto. Si llevas un laboratorio universitario con cuatro GPUs y mucha fe, eso suena a que te ha tocado el Gordo. Ai2 lo cuenta pensando justo en ti. Dice que el coste de entrenar modelos grandes deja fuera a muchos investigadores académicos y laboratorios pequeños.

La promesa tiene su lógica, y por eso hay que desmontarla con cuidado, no a hostia limpia. Un modelo MoE (mixture of experts) es una feria con decenas o cientos de casetas, los expertos, y cada visitante, cada token, solo entra en unas pocas. En la configuración de 1,2 billones con la que Ai2 ha medido el rendimiento, cada token pone a trabajar menos de un 5% de los parámetros. Sale barato por visitante. La pega es que la feria entera tiene que estar montada en la memoria de las GPUs. Y alguien tiene que cruzar el recinto, que aquí es un clúster entero, para dejar a cada visitante en su caseta.

Ese paseo cuesta, y el paper de Megatron-Core sobre MoE lo cuantifica sin poesía. En arquitecturas como DeepSeek-V3, con los expertos repartidos por varios nodos, un intercambio de tokens sin optimizar puede comerse hasta el 60% del tiempo de entrenamiento. Ai2 dice que Olmo-core 3 está hecho para cerrar ese agujero. Hasta aquí se aplaude, y con razón. El marrón es el titular.

El 2,7x no ha visto un billón ni en foto

Antes de seguir, las cifras del anuncio en limpio. Todas las ha medido Ai2 en sus propias pruebas, y cada una sale de un sitio distinto:

La cifra	Dónde se midió	Contra qué	Qué te dice
2,7x de throughput: 52.000 frente a 19.400 tokens/s por GPU	MoE de 47.000 millones, 8 B300, prueba preliminar	Su propia implementación anterior, con FSDP	Cuánto ha mejorado frente a su versión vieja
Menos de un 5% de caída al pasar de 8 a 128 expertos	De 4.600 a 47.000 millones de parámetros, unos 3.200 millones activos	La misma configuración con 8 expertos	Que añadir casetas apenas frena la feria
Alrededor de un 21% más con MXFP8; memoria pico de 103 a 95 GiB	4 B300, trabajo repartido por igual entre expertos	BF16	Consumo homologado
858 TFLOP/s por GPU, máximo observado	1,2 billones de parámetros, 512 B300, routing aleatorio	Nada	Que la estructura aguanta, no que haya modelo
2,38 billones de parámetros	Test corto de capacidad con DeepEP v2	Nada	Que caben más casetas un rato

El 2,7x sale de la primera fila: un MoE de 47.000 millones en ocho GPUs. Ni un billón ni 512 GPUs. Y el sistema anterior es la propia implementación MoE de Ai2, no la de ningún competidor. Usaba FSDP (fully sharded data parallelism) configurado para reunir los pesos del modelo y volver a repartirlos en cada lote pequeño de datos. En la feria, eso es montar y desmontar las casetas cada tarde. Olmo-core 3 deja a cada experto quieto en su GPU, y son los tokens los que caminan hasta él. Normal que vuele: entre otras mejoras, ha dejado de hacer la mudanza a diario.

Ganarle a tu yo del año pasado tiene mérito, pero es un amistoso contra tu propio filial. El titular coge ese resultado y lo planta encima de la foto de la cuarta fila, que es otro partido. Para ser justos, el cuerpo de la nota de AlphaSignal sí precisa que el 2,7x es en un MoE de 47B sobre ocho B300. La costura está en el titular, que es lo único que lee medio internet.

Un billón de visitantes repartidos con bombo

Vamos con esa cuarta fila, la de la foto grande. Ai2 dice haber probado Olmo-core 3 en una configuración de 1,2 billones de parámetros sobre 512 B300. En la frase siguiente avisa de que esas pruebas usaron routing aleatorio para medir el rendimiento del sistema, no la calidad de un modelo entrenado.

Routing aleatorio quiere decir que a los visitantes los reparte un bombo de lotería, no sus ganas. Sirve para comprobar que los pasillos aguantan y que las casetas caben en el recinto. No dice nada de la feria cuando media ciudad quiere entrar en la de los churros. No hay un modelo entrenado y evaluado que puedas usar. Y los 858 TFLOP/s son el mejor momento observado, no la media de la jornada.

El búfalo siempre mira lo mismo en una GPU: el rato que pasa trabajando de verdad, no cuántas salen en la foto. Quinientas doce B300 es la foto. Para leer el rato falta un dato que el post no da: en qué precisión numérica se midió ese máximo. No es pedantería. En una B300, el techo teórico es de 4.500 TFLOP/s densos en FP8 y de 2.250 en BF16, lo recoge la ficha de SemiAnalysis. Sin ese dato, es la caseta que presume de cuántas tira por hora sin decir si son cañas o tercios.

Lo de los 2,38 billones aún es más fino. Ai2 llegó a esa configuración probando DeepEP v2, una forma alternativa de mover datos entre expertos. Y la describe como un test corto de capacidad, no como un entrenamiento completo. Es montar más casetas un rato para ver si caben, y recogerlas antes de que llegue nadie. RuntimeWire añadió que el anuncio no acredita ninguna reproducción independiente, ni da el coste de cómputo, la energía o la duración de estas pruebas.

Consumo homologado

La tercera fila es la que mira el que paga la factura. MXFP8, un formato numérico que usa menos bits, subió el throughput de entrenamiento alrededor de un 21% frente a BF16. Condiciones: cuatro B300, el trabajo repartido de forma uniforme entre los expertos, y MXFP8 encendido solo en las partes del sistema donde más ayudaba.

Eso es consumo homologado: el que sale en el banco de pruebas y nunca en la A-3 un viernes de agosto. El reparto uniforme es justo lo que el routing real no regala. El paper de Megatron-Core cuenta el desequilibrio de carga entre los muros del MoE, con unos expertos saturados mientras otros miran. Cuánto queda de ese 21% cuando la de los churros tiene cola, el post no lo dice.

Un vecino que ya ha entrado en la cocina tampoco se ha tirado a por esa cifra. Marin es un proyecto abierto de investigación en modelos fundacionales, con colaboradores de Stanford CRFM y Open Athena. El mismo 1 de octubre abrió una issue para medir los kernels de Olmo-core 3 contra su propia ruta MoE. Va a por los de BF16. La adopción de MXFP8 la sigue teniendo aplazada por dudas de estabilidad.

El campeón al que nadie reta

Ahora la grieta gorda. Ai2 nombra en su post a Megatron-Core, de NVIDIA, como la opción establecida para entrenar MoEs grandes. Y en la frase siguiente presume de mejora sobre su propia implementación anterior. En el post no hay ninguna comparación directa con Megatron-Core, ni con TorchTitan, ni con DeepSpeed. Tampoco aparece en las coberturas del informe técnico que hemos leído, y el informe en sí no lo hemos podido descargar. Es anunciar que el equipo ha pegado un estirón desde la temporada pasada sin jugar ni un partido contra el líder.

¿Y si comparamos nosotros, a pelo? NVIDIA presume de récord mundial con Megatron-Core: 1.648 TFLOP/s por GPU en un pre-entrenamiento de DeepSeek-V3 en 256 GPUs de sus racks GB300 NVL72. Ponlo al lado del máximo de Ai2 y el titular se escribe solo. Sería el mismo apaño de AlphaSignal, con todo cambiado a la vez. Otro modelo: DeepSeek-V3 contra una configuración de un billón largo repartida con bombo. Otro hierro: racks de 72 GPUs unidas por NVLink contra unas B300 cuya red el post no detalla. Y ninguno de los dos posts dice en qué precisión se midió su cifra. En un MoE, por dónde viajan los tokens lo es casi todo. No lo hagas.

Tampoco es manía de Ai2. En ese mismo post del récord, NVIDIA vende un throughput por GPU unas tres veces mayor en una sola generación. Lo saca comparando el GB200 con una versión temprana de su software contra el GB300 con la última. Dos cosas cambiadas a la vez y una sola cifra. Ya desmontamos otro 4x de NVIDIA que era del sistema y no del modelo. Compararse con uno mismo es el deporte nacional del sector, y el titular solo recoge la copa.

La cocina, con los platos quemados a la vista

Ahora lo que aguanta, que es bastante. Para empezar, Ai2 coloca el billón en la segunda frase de su post, que para algo es un anuncio. Pero las advertencias del routing aleatorio y del test corto también están, unas líneas más abajo. Hasta Unite.AI, cuya pieza firma un analista generado por IA (lo dicen ellos), lo vio en el informe técnico. Su resumen lo deja dicho: las cifras titulares son referencias de sistema, y no una curva de escalado controlada ni una promesa de tiempo hasta calidad. El humo lo ha puesto el titular.

Segundo, el mecanismo hace lo que promete. La segunda fila de la tabla es la buena noticia. Añadir expertos sin tocar los que usa cada token multiplicó por 10,22 la capacidad total, y la velocidad de entrenamiento cayó menos de un 5%. La feria se llena de casetas y casi ni se entera. Esa es la gracia de dejar a los expertos quietos.

Tercero, la cocina está abierta de verdad, sin la letra pequeña de tantas licencias de pesos abiertos. El código va con licencia Apache 2.0, y la versión 3.0.0 salió el 1 de octubre en PyPI como ai2-olmo-core. Incluye la PR #844, la que trae el nuevo sistema MoE con paralelismo de expertos. Esa PR añade configuraciones para arquitecturas tipo Qwen3-MoE, GPT-OSS y Nemotron, y la misma versión sube los scripts de referencia del informe técnico. Si tienes las GPUs, puedes intentar repetir sus pruebas.

Y cuarto, lo mejor del anuncio no son los números, sino la lista de cosas que salieron mal:

• Token gerrymandering. Una puntuación pensada para premiar que los tokens se repartan bien entre expertos podía mejorar mientras el trabajo real se desequilibraba. Es la hoja de Excel del encargado: todas las casetas, parejas, mientras en la de los churros hay cola hasta la noria.
• Bajar el learning rate a los expertos porque ven menos tokens no mejoró los resultados en la familia de modelos que probaron. Menos raciones en el plato, y bajar el fuego no salvó la cena.
• Las GPUs tardan distinto según los valores que procesan, aunque las matrices tengan las mismas dimensiones. De ahí sacan que comparar rendimiento exige los mismos valores de entrada, no solo las mismas formas. Mismo vaso, y la consumición puede ser otra.
• Solapar comunicación y cómputo en streams separados no siempre aceleró, y en algunas pruebas ralentizó el entrenamiento entero. El resumen de Unite.AI cuenta que también descartaron sacar activaciones a la CPU, porque el enlace con el host no daba abasto. Y tiraron dos esquemas de solapamiento que le disputaban la GPU a los expertos.

El tercer punto debería ir grapado a cualquier benchmark de GPUs, y Marin ya lo aplica. Su issue pide usar los mismos operandos, con la misma semilla, en todas las variantes que compara. Y avisa de que un resultado sin mejoras útiles también vale. El búfalo lo aprendió con un benchmark casero de modelos. Cuando se leyó las conversaciones una a una, vio que casi todos los marrones los ponía el aparato de medir y no los modelos. Uno de esos fallos no avisaba de nada y daba por buenas conversaciones que se habían quedado cortadas. Por eso, a nuestro juicio, un laboratorio que enseña cómo le engañaron sus propias métricas aporta más que uno que enseña récords.

Cuánto humo había

El humo está en el titular. Ninguna prueba de Ai2 muestra un billón de parámetros entrenado 2,7 veces más rápido. El 2,7x es un MoE de 47.000 millones contra su propia versión vieja, y el billón es una feria repartida con bombo. La sustancia está en la cocina: un sistema MoE abierto, con licencia Apache 2.0, los scripts de referencia del informe y los platos quemados a la vista.

Si entrenas MoEs, instálalo y enfréntalo a Megatron-Core en tu hierro, con tu routing y con los mismos valores de entrada, que es la lección que ellos mismos enseñan. Esa comparación no la hemos encontrado publicada en ningún sitio. Si no entrenas nada, quédate con la regla: cuando leas que algo se ha probado a un billón de parámetros, pregunta con qué routing. Si es con bombo, es una prueba de carga, no un modelo.

El examen gordo lo tiene Ai2 pendiente. Su próximo Olmo será un MoE, y aspira a que sea el más capaz que ha hecho, con su mayor dataset y su contexto más largo. El post no le pone fecha. Cuando salga, sabremos si la feria funciona con gente de verdad.