Nvidia Groq 3 LPX: las GPUs no sirven para el decode interactivo

El Cuñado dice: "Bro, las GPUs de Nvidia lo pisan todo. Entrenar, inferir, lo que le eches. Quien habla de otra arquitectura es un resentido que no llegó al CUDA."

La realidad es: el 24 de agosto de 2026, en Hot Chips, Nvidia anunció que Groq 3 LPX ya está en producción completa. Un acelerador de inferencia a escala de rack, co-diseñado con Vera Rubin NVL72, montado sobre 256 LPU (Language Processing Units) de arquitectura SRAM-first, determinista y sin caché de hardware. La receta que Groq, la empresa, lleva años vendiendo contra las GPUs.

Por qué importa saberlo: el producto es de NVIDIA. "Groq" y "LPU" se usan bajo licencia de Groq, Inc. Nebius es el primer cloud en adoptarlo vía Nebius Token Factory; Groq planea ser adoptador temprano después. Quien sirva chat, agentes o decode con batches pequeños acaba de recibir, por escrito, el mapa del punto ciego.

Lo que Nvidia acaba de documentar

En el blog de interactividad Nvidia explica el trade-off sin maquillaje. A batches muy pequeños, alta interactividad, el coste fijo de coordinar el tensor parallelism, la first bit latency, puede igualar o superar el tiempo que ahorras partiéndolo.

Traducción de bar: tensor parallelism es rajar un tensor entre varios chips para que calculen a la vez. Tiene peaje. Ese peaje se paga igual si el batch es de 1 o de 128. Cuando el lote es grande, el peaje se diluye. Cuando el usuario está esperando el siguiente token, el peaje es el plato.

Las GPUs de Nvidia están afinadas para throughput con batches gordos. Esa es su religión desde que CUDA se comió el entrenamiento. Para las rutas más sensibles a latencia, Nvidia dice ahora que ese hardware no es el ideal.

No es un tweet de un analista. Es el fabricante del silicio estrella reconociendo el agujero.

SRAM, compilador y 96 enlaces C2C

Cada LPU Groq 3 trae 500 MB de SRAM gestionada por compilador. No hay caché de hardware que adivine qué va a hacer falta: el compilador coloca pesos, activaciones y estado KV on-chip. Los modelos grandes se parten entre LPU por capas.

Cifras por LPU, del blog técnico de arquitectura:

• 150 TB/s de ancho de banda de memoria on-chip
• 2,5 TB/s de ancho de banda scale-up bidireccional
• 96 enlaces C2C (chip-a-chip) a 112 Gbps cada uno
• unidad de trabajo: vectores de 320 bytes
• MXM para multiplicación-acumulación densa
• SXM para movimiento estructurado de datos (permutación, rotación, transposición)

SRAM-first es memoria pegada al cálculo, como tener los platos en la encimera en vez de bajar al trastero cada vez que hace falta un huevo. El trastero, en una GPU, es HBM más una jerarquía de cachés que decide en caliente. Aquí decide el compilador antes de que arranque el token.

El modelo de ejecución es determinista. El compilador programa cómputo, movimiento de datos y sincronización. Un protocolo C2C plesiosincrónico en hardware cancela la deriva de reloj para alinear cientos de LPU como un sistema único. El compilador pre-programa las transferencias C2C ciclo a ciclo: se acaba el arbitraje en tiempo real, baja la first bit latency, y cómputo y comunicación se solapan a granularidad de esos vectores de 320 bytes.

Si te suena a "la GPU ya no manda en este tramo", es que estás leyendo bien.

GPU para la atención, LPU para el resto del decode

Nvidia no tira las GPUs a la basura. El diseño es heterogéneo, y esa es la trampa si alguien te vende que "se acabó CUDA".

La GPU Vera Rubin NVL72 ejecuta prefill y decode attention. El LPX acelera lo más sensible a latencia del decode: capas FFN y expertos MoE. Prefill es masticar el prompt de una vez. Decode es ir soltando tokens. Attention es el "de qué me acuerdo"; FFN es el músculo denso de cada capa; MoE es Mixed-of-Experts, un enjambre de especialistas del que solo se encienden unos pocos.

NVIDIA Dynamo orquesta el bucle de decode disagregado: enruta trabajo entre backends GPU y LPU y mantiene la tail latency estable cuando el tráfico deja de ser un laboratorio bonito. Tail latency es el percentil feo: no la media de la demo, sino lo que le pasa al usuario del 5% peor.

Tres configuraciones de servicio al emparejar LPX con NVL72:

1. Prefill-decode disaggregation: NVL72 hace prefill; LPX hace todo el decode con el KV cache.
2. Attention-FFN disaggregation: NVL72 computa atención y guarda KV en DRAM; LPX ejecuta FFN.
3. External-drafter speculative decoding: LPX corre un draft model pequeño; NVL72 verifica.

KV cache es la libreta de keys y values de los tokens ya vistos. Speculative decoding es mandar a un modelo chico a adivinar el siguiente tramo y que el grande diga sí o no. El patrón es el mismo: cada arquitectura se queda con el tramo donde no hace el ridículo.

La página de producto vende el conjunto como acelerador de inferencia interactiva para IA agéntica. El despiece de verdad está en los blogs técnicos, no en el eslogan.

3.431 tokens/s, con la letra pequeña

Artificial Analysis, tercero, aunque sobre un sistema LPX en data centers de Nvidia, midió Gemma 4 31B, modelo denso de abril de 2026, con el tokenizer o200K_basetokens:

• 100K de contexto: 3.431 tokens/s de salida (mediana)
• 10K de contexto: 3.382 tokens/s (mediana)

La diferencia es +49 tokens/s, un +1,45% al pasar de 10K a 100K. Nvidia atribuye esa planitud a la arquitectura determinista y al paralelismo tensorial: la velocidad apenas se mueve con la longitud de contexto.

Para aterrizar 3.431 tokens/s: 3.431 ÷ 60 = 57,2. Si tomas 60 tokens/s como ritmo de lectura (supuesto de este cálculo, no una medida de laboratorio), cada segundo de generación equivale a 57,2 segundos de lectura humana. En un minuto salen 205.860 tokens. Una página (~500 palabras ≈ 650 tokens) se genera en 0,19 segundos; leerla a ese ritmo llevaría unos 11 segundos.

SPEED-Bench, benchmark open-source de tareas de código, lo midió NVIDIA, no un tercero: mediana 4.767 tokens/s, P80 5.520 tokens/s. El 20% de las tareas pasó de 5.500. El P80 supera a su mediana un +15,8%. No es la misma serie que Artificial Analysis: son tareas distintas, misma unidad.

La nota de prensa redondea a 3.400 tokens/s, lo llama el mejor registro histórico para ese modelo y afirma 4x más capacidad de respuesta que "la plataforma alternativa más cercana". No dice cuál es esa plataforma ni publica la metodología. Claim del fabricante. Si te suena el truco del 4x sin sistema encima de la mesa, ya vimos el patrón en Nemotron 3.5 Lightning.

El 35x que todavía no ha pasado

Nvidia proyecta 35x más throughput de inferencia por megavatio y 10x más oportunidad de ingresos para modelos de billón de parámetros frente a GB200 NVL72. Son proyecciones del fabricante, sujetas a cambio, no mediciones independientes.

No hay precio público del sistema en las fuentes consultadas. Ni en la nota, ni en los blogs, ni en la ficha de producto, ni en Nebius.

Quien compre el relato de "35 veces más por el mismo enchufe" está comprando un Excel de Nvidia, no un bench de terceros.

Nvidia quiere los dos mercados

Nvidia no abandona las GPUs: las deja en prefill y en atención, donde el throughput sigue mandando. Para el decode interactivo se ha puesto en casa la arquitectura del competidor que llevaba años diciendo que las GPUs no eran para esto.

Eso valida el discurso de Groq, y el de Cerebras, sobre inferencia de baja latencia. No convierte a LPX en sustituto de Rubin. Convierte la inferencia interactiva en un mercado que ya no se resuelve con el mismo silicio que entrena.

La empresa que domina el entrenamiento acaba de licenciar la receta del rival para no quedarse fuera del token que el usuario está esperando. El que alquila compute en 2026 ya sabía que el cuello no era solo el chip de entrenamiento; el rack y el token van por calendarios distintos. Ahora el mapa lo firma Nvidia.

Preguntas frecuentes

¿Qué es NVIDIA Groq 3 LPX?

NVIDIA Groq 3 LPX es un acelerador de inferencia de baja latencia de NVIDIA, en producción completa desde el 24 de agosto de 2026 (Hot Chips). Está co-diseñado con Vera Rubin NVL72 y usa LPU de arquitectura SRAM-first. El producto es de NVIDIA; "Groq" y "LPU" se usan bajo licencia de Groq, Inc. Nebius es el primer cloud en adoptarlo vía Nebius Token Factory.

¿Sustituye Groq 3 LPX a las GPUs de Nvidia?

No. El diseño es heterogéneo: las GPU Vera Rubin NVL72 ejecutan prefill y decode attention; el LPX acelera las partes sensibles a latencia del decode, las capas FFN y los expertos MoE. NVIDIA Dynamo reparte el trabajo entre ambos backends. Nvidia mantiene las GPUs donde el throughput gana y pone LPU donde la latencia manda.

¿Cuántos tokens por segundo genera Groq 3 LPX?

Artificial Analysis midió 3.431 tokens/s de mediana con Gemma 4 31B a 100K de contexto, y 3.382 tokens/s a 10K, sobre un sistema LPX en data centers de NVIDIA. SPEED-Bench, medido por NVIDIA, da una mediana de 4.767 tokens/s. La nota de prensa habla de 4x frente a "la alternativa más cercana" sin identificarla: es un claim del fabricante.

¿Cuánto cuesta el NVIDIA Groq 3 LPX?

No consta un precio de venta en las fuentes consultadas. Nvidia sí publica proyecciones de 35x más throughput de inferencia por megavatio y 10x más oportunidad de ingresos frente a GB200 NVL72 para modelos de billón de parámetros; son cifras del fabricante, sujetas a cambio, no mediciones independientes.