World Action Models contra VLA: el "momento GPT-2" de la robótica es verdad, incluida la parte en que todavía no funciona
Un post de junio que ahora rula por r/MachineLearning recoge la etiqueta que Jim Fan, de NVIDIA, le colgó a DreamZero: la robótica ha tenido su "momento GPT-2" y los VLA pueden descansar en paz. Hemos leído el paper, el código, una prueba independiente y lo que hizo NVIDIA después del entierro.
En este artículo
Bautizo y entierro en la misma misa. Jim Fan dirige la investigación en robótica de NVIDIA. En su charla "Robotics End Game" ofició el bautizo de los World Action Models y, sin cambiarse de camisa, el funeral de los VLA. Sus palabras, en el resumen que publicó Eventual: "Let's all take a moment of silence for our dear friend VLAs. They've served us well. Rest in peace. Long live world action models".
El post de junio de Archie Sengupta, el que ahora rula por r/MachineLearning, le cuelga la etiqueta que atribuye al propio Fan. La robótica acaba de tener su "momento GPT-2".
Suena a revolución de las que se cuentan en la barra, y tiene su lógica. Hemos hecho lo que se hace en los velatorios serios: mirar dentro del ataúd. La comparación con GPT-2 resulta ser exacta. El marrón es que sus fans se quedan con los unicornios y se saltan la nota.
El guiri de los sustantivos y el soñador
Un VLA (visión, lenguaje, acción) se fabrica como el menú del día. Coges un modelo de visión y lenguaje entrenado con internet, le atornillas una cabeza que escupe movimientos y lo afinas con demostraciones de robots teleoperados. Los sabores cambian y el bocadillo es el mismo: π0, OpenVLA, GR00T N1, Helix. Fan sostiene que en realidad son "LVA", porque el lenguaje se queda con la mayoría de los parámetros. Su diagnóstico: "great at encoding knowledge and nouns, but not so much at physics and verbs".
Es el guiri de Benidorm con la tarjeta a tope. Domina "cerveza", "paella" y "playa", y no conjuga un verbo. Sabe perfectamente qué es un cordón. Desatarlo ya es otra conversación.
El World Action Model (WAM) le da la vuelta a la receta. DreamZero, el de NVIDIA, tiene 14.000 millones de parámetros montados sobre un modelo de difusión de vídeo. Predice a la vez el vídeo que viene y las acciones del robot. Parte de Wan2.1-I2V-14B, un generador entrenado con vídeo a escala web, así que llega al robot sabiendo cómo evolucionan los objetos y las escenas.
Fan lo vende como un modelo que "dreams a couple seconds into the future and acts accordingly", y mete la letra pequeña, que es donde vive el marrón. "If the video prediction works, the action works. If the video hallucinates, the action fails". Los autores lo reconocen: muchos fallos nacen en la predicción de vídeo, y entonces el robot sigue con fidelidad la trayectoria equivocada que se ha imaginado. Es seguir al tío que conoce un atajo y plantarte en la cocina del bar de al lado, con la fe de quien llega al convite.
La promesa ataca el gran marrón del sector: los datos de robot se fabrican a mano. La teleoperación tiene un techo de 24 horas por robot y día, y Fan calcula que en la práctica se queda en unas 3. Es enseñar a poner cañas guiando la mano del camarero nuevo: funciona, pero el maestro no da para más. Si el robot saca la física de vídeo que ya está grabado, te ahorras media vida con el casco de realidad virtual puesto.
Un examen que puntúa el planteamiento
Vamos a las cifras del funeral. En los robots de AgiBot, en entornos nuevos y con objetos que nunca había visto, DreamZero logra un 62,2% de progreso medio de tarea. El mejor VLA preentrenado se queda en un 27,4%. Más del doble, como subraya el paper.
En tareas que no aparecen en el entrenamiento, como desatar cordones o dar la mano, DreamZero llega al 39,5%. Los autores lo dejan escrito: los VLA se quedan atrás porque tiran de coger y dejar cosas les pidas lo que les pidas. Le pides al guiri que te dé la mano y te contesta "two beers, please".
Ahora la grieta: ese "progreso de tarea", la métrica principal del paper, es una puntuación de finalización parcial y no una tasa de éxito completo. Es el examen de mates en el que te puntúan el planteamiento aunque el resultado esté mal. El robot que agarra el cordón y no lo desata suma puntos. Un 39,5% de progreso medio no equivale a un 39,5% de tareas terminadas.
Y la nota la pone el que se presenta al examen, otro clásico de lo que miden y lo que ocultan los benchmarks. Las pruebas son del equipo de NVIDIA, con 80 intentos por checkpoint repartidos en cuatro robots. El búfalo tiene una regla para leer estas tablas: antes de mirar la mejora, mira quién montó al rival. Aquí a los VLA de referencia los entrenó con los datos de AgiBot el mismo equipo que presenta al ganador. Eso sí, con el mismo tamaño de lote y los mismos pasos, así que el ajuste parece limpio. Entre esos rivales está GR00T N1.6, el VLA de la propia NVIDIA. NVIDIA le gana a NVIDIA y lo celebra NVIDIA.
El VAR que solo sale en la web del club
Hace falta un árbitro de fuera, y existe. RoboArena evalúa políticas de robot en el mundo real de forma distribuida. Los evaluadores eligen tareas y entornos, comparan dos políticas a doble ciego y con esas preferencias se arma un ranking. Aquí el soñador saca pecho: el repo de DreamZero anuncia que es el número uno en RoboArena.
El blog técnico de NVIDIA le pone cifra: 1750 de Elo en el ranking de abril de 2026, por 1622 de π0.5. La cifra sale del resumen que encabeza ese post, firmado "Powered by NVIDIA Nemotron". Lleva un aviso: el contenido generado por IA puede resumir de forma incompleta, verifica lo importante.
Le hemos hecho caso, y no hemos podido. El paper, en la versión que hemos leído, solo menciona RoboArena para decir que publica el código para correrlo. La web de RoboArena no nos ha mostrado el ranking. Hasta que lo enseñe el árbitro, es el gol que confirmó el VAR según la web del club. La crónica la escribió la IA del club, con una nota al pie que dice "compruébalo". Si RoboArena lo confirma, será el mejor argumento del soñador, porque ese árbitro no es de la casa.
El único árbitro externo cuya acta hemos podido leer es una prueba por libre. Alexander Nettekoven enfrentó a DreamZero con π0.5 en una simulación de DROID en Isaac Sim, con 12 tareas y tres episodios por tarea. Su criterio es generoso: cuenta como éxito cualquier comportamiento que corresponda a grandes rasgos a la instrucción, sin mirar la precisión. Es el tío de la boda que te da por aparcado si el coche queda cerca de la iglesia. Este es su marcador:
| Resultado en los 36 episodios | Episodios |
|---|---|
| Acierta DreamZero, falla π0.5 | 8 |
| Acierta π0.5, falla DreamZero | 1 |
| Aciertan los dos | 10 |
| Fallan los dos | 17 |
El soñador gana, y con claridad: cumple en la mitad de los episodios y π0.5 en el 30,6%.
Pero con un criterio así de blando, en el 47,2% de los episodios no aprueba ninguno de los dos. Y es una simulación, no una nave industrial.
Soñar sale caro (y a lo mejor ni hace falta)
Imaginarse el futuro en vídeo antes de mover el brazo se paga en latencia. Para llegar a un control en lazo cerrado de 7 Hz, el equipo de DreamZero tuvo que acelerar la inferencia 38 veces. La web del proyecto avisa, además, de que algunos de sus vídeos se grabaron antes de integrar la optimización final.
La versión que te puedes bajar da otra pista del coste. El código está probado en GB200 y H100, pide como mínimo dos GPUs y las primeras inferencias tardan unos minutos en calentar. Es la caldera de la comunidad un lunes de enero: hasta que no carraspea, nadie se ducha.
Ya en caliente, cada inferencia lleva unos 0,6 segundos en GB200 y unos 3 en H100. No sabemos con qué configuración exacta salen las cifras de la web; sí sabemos lo que pide lo que se descarga.
Y ahora la hostia en la mesa, porque sale del propio bando de los WAM. En marzo, el paper de Fast-WAM hizo la pregunta incómoda: ¿hace falta imaginarse el futuro al actuar, o lo que cuenta es haber visto vídeo al entrenar? Sus autores conservan el vídeo en el entrenamiento y se saltan la predicción del futuro al actuar. Su modelo sigue siendo competitivo con las variantes que sueñan, y lo que de verdad lo hunde es quitarle el vídeo del entrenamiento.
Corre con 190 ms de latencia, más de cuatro veces más rápido que los WAM que imaginan antes de ejecutar. La conclusión de los autores: el valor de predecir vídeo puede estar sobre todo en lo que el modelo aprende al entrenar, no en generar futuros al actuar.
Es el portero que no necesita montarse el penalti en el salón antes de tirarse: le basta con haberse tragado muchos. La imagen que vende los WAM, el robot que sueña antes de actuar, puede ser justo la pieza que sobra.
El difunto tiene licencia comercial
Volvamos al velatorio, que se pone bueno. En el resumen de la charla, entre los VLA que Fan despacha aparecen pi0 y "Nvidia's own GR00T". Pues el 17 de abril de 2026, tres semanas antes de que se publicara ese resumen, NVIDIA había lanzado en acceso anticipado Isaac GR00T N1.7. Lo presentó como un VLA de razonamiento abierto y, por primera vez, con licencia comercial para desplegarlo en producción. Al difunto le habían sacado el permiso de trabajo.
El 7 de julio, 60 días después del resumen, NVIDIA y Hugging Face metieron en LeRobot a GR00T 1.7. NVIDIA lo vende como "the first open and commercially viable robot foundation model". Con él llegó Isaac Teleop, un marco para capturar demostraciones humanas con dispositivos externos. La teleoperación vuelve en el mismo paquete. Era el otro muerto del funeral.
La ficha de GR00T N1.7 en Hugging Face marca 138.497 descargas en el último mes y 265 modelos afinados. Para estar enterrado, el muerto tiene mucha vida social.
Los demás invitados tampoco se han puesto de luto. Allen Ren, investigador de Physical Intelligence, la casa de la serie π, lo despachó en la WAIC 2026 con una frase. "So far I haven't seen anyone produce a more impressive demo than PI's, so VLA is probably not dead yet". Su argumento es una demo, que es justo lo que menos debería convencerte. Lo jugoso es lo que contó antes.
El nuevo π0.7 toma prestadas técnicas de los modelos de lenguaje y de generación de vídeo, entre ellas un codificador de vídeo que comprime el historial. El muerto se está tomando las vitaminas del soñador.
Y AgiBot, cuyo robot G1 sirvió para preentrenar DreamZero, lleva en paralelo una línea VLA y otra WAM con la idea de unificarlas.
El búfalo tiene otra regla para estos volantazos: cuando un laboratorio cambia de cuento tan deprisa, mira primero qué vende. Luego separa la campaña de los datos que trae dentro, que pueden ser buenos. NVIDIA vende las palas a los dos bandos. Su propio resumen reconoce que los WAM cambian más cómputo de entrenamiento y una inferencia más lenta por una posible ventaja de anclaje en lo físico. En otra empresa eso sería una confesión; en la que vende las GPUs, es el catálogo.
Donde el soñador se gana el sueldo
Ahora la parte justa, que la hay y no es pequeña. Los VLA de referencia traían miles de horas de preentrenamiento con robots de distintos tipos, y aun así perdieron contra DreamZero con los mismos datos de AgiBot. En la prueba independiente, el soñador gana ocho duelos por uno. Eso no lo firma ninguna nota de prensa.
Además aprende rápido de material barato. Con 30 minutos de datos de juego, DreamZero se adapta a un robot nuevo, el YAM, y generaliza a objetos que no ha visto. Con vídeo sin acciones, de humanos o de otro robot, mejora más de un 42% relativo en tareas no vistas.
Es el chaval que se ha tragado todos los partidos: no juega como Pedri, pero sabe por dónde va a ir el balón. El vídeo enseña una física que el texto no enseña, y ese mecanismo es real.
Pesos y código están publicados, así que cualquiera con dos GPUs gordas puede comprobarlo sin pedir permiso.
GPT-2, leído entero
OpenAI presentó GPT-2 en febrero de 2019, con 1.500 millones de parámetros. En el mismo anuncio admitía que en preguntas, resúmenes o traducción sus puntuaciones estaban lejos del estado del arte. Lo que demostraba era otra cosa: que esas tareas podían aprenderse sin datos específicos, con datos y cómputo suficientes.
El texto de muestra de los unicornios que hablaban un inglés perfecto lleva al lado una etiqueta: escrito por la máquina, "10 tries". Y hasta el modelo completo soltaba disparates y repeticiones a medida que el texto se alargaba.
Eso es DreamZero, y Fan lo dijo con más honradez que sus fans: no es robusto al 100%, pero acierta la forma del movimiento. Acierta la forma, no la tarea terminada. Progreso parcial en lo nuevo, la mitad de los episodios con examinador blando y vídeos con asterisco. Es una receta, no un producto.
La industria lo sabe. TechCrunch contaba en agosto que los que fabrican cerebros para robots intentan salir de su "GPT-2 era", la expresión de Harry Mellsop, cofundador de Antioch. Théophile Gervet, cofundador y presidente de Genesis AI, pone el listón donde duele: "No customer cares about the general-purpose robot that works at 80% success rate". Para él, el momento ChatGPT de la robótica es manipulación básica que funcione a la primera con una fiabilidad del 80% o más. La cifra que se cita de DreamZero en tareas nuevas ni siquiera es de éxito.
Nuestro veredicto: el momento GPT-2 es verdad, y es menos de lo que suena. Créete el mecanismo: entrenar con vídeo da al robot una física que el texto no le da. Lo sostienen el paper de NVIDIA, una prueba independiente y hasta el paper que le quita el sueño al soñador. No te creas el funeral: el muerto tiene licencia comercial y se está tomando las vitaminas del vídeo. Si hoy tienes que poner un robot a trabajar, lo que NVIDIA ha sacado con licencia para producción es su VLA. Si investigas, DreamZero está abierto y merece tus GPUs.
Para hablar de momento GPT-3 nos faltan tres cosas. Éxito completo en tareas nuevas como cifra principal, el Elo de RoboArena publicado por RoboArena y tiempo real sin dos GPUs de centro de datos. Mientras tanto, Alex Kendall, consejero delegado de Wayve, recuerda que el mayor despliegue de robots del mundo siguen siendo las aspiradoras. Y esas no sueñan.
Fuentes · 17
- webVLAs are dead, long live World Action Models - a summary of Jim Fan's Robotics End Game talk
- webarchiesengupta.com
- primariaWorld Action Models are Zero-shot Policies
- webZero-Shot Policy Comparison of DreamZero and π0.5 | Alexander Nettekoven
- webWorld Action Models are Zero-shot Policies
- webDreamZero: World Action Models are Zero-shot Policies
- primariaRoboArena: Distributed Real-World Evaluation of Generalist Robot Policies
- primariaGitHub - dreamzero0/dreamzero: Code to pretrain, fine-tune, and evaluate DreamZero and run sim & real-world evals
- primariaPretrained to Imagine, Fine-Tuned to Act: The Rise of World-Action Models | NVIDIA Technical Blog
- primariaFast-WAM: Do World Action Models Need Test-time Future Imagination?
- primariaEARLY ACCESS: Isaac GR00T N1.7 - Open Reasoning VLA model for Humanoid Robotics
- primariaNVIDIA and Hugging Face Bring New Models and Frameworks to LeRobot for the Open Robotics Community
- primarianvidia/GR00T-N1.7-3B · Hugging Face
- webWAIC Review 2/4: World Models vs. VLA: Robotics' Next 'ChatGPT Moment' - RobotToday
- webBetter Language Models and Their Implications
- webGPT-2 - Wikipedia
- prensaRobot brain builders are pushing out of their GPT-2 era | TechCrunch
Aprobado por El Búfalo, editor humano responsable.