Jeff, el Jev de marca blanca: vuela en 22 ms, empata solo en la media y se luce cuando lo afinas

Hay titulares que se leen con la factura de la API abierta en otra pestaña. Este es uno: Jeff, "Jev-compatible 0.8B decision models, trained at home, ~30 ms". Un modelo de decisión que habla el mismo idioma que Jev, pesa 1,7 GB, se entrena sin nube y, corriendo en local, contesta en treinta milisegundos. Hoy corre por Hacker News y se entiende el revuelo. Si funcionara como suena, sería el Hacendado perfecto de los modelos de decisión.

Un Jev con dos efes

Jev es el modelo de decisión de TypeSafe. Le plantas una situación y preguntas tipadas (sí o no, elige una opción, pon una nota en una escala) y te devuelve una probabilidad calibrada por opción. Es el examen tipo test de la IA: no redacta el discurso de la boda, marca la casilla y te dice con cuánta seguridad. Está pensado para enrutar, clasificar y decidir en mitad de una aplicación, y se paga por token.

Jeff promete lo mismo con dos efes. Son fine-tunes de Qwen3.5 (0.8B y 2B) y de Gemma 4 E2B que aceptan el mismo formato de petición que Jev. Devuelven una probabilidad por opción en una sola pasada del modelo, sin generar texto ni parsear nada. Mismo envase, otro fabricante: no tiene relación con TypeSafe y parte de AutoJev, la receta abierta de Denis Yarats.

Y hay que decirlo pronto, porque es verdad: el README es de los honrados. Avisa de que un modelo de este tamaño no razona y de que cómo redactes las opciones cambia muchísimo el resultado. Si le pides predecir, acierta lo mismo que echándolo a suertes. El humo no está en la letra pequeña. Está en la grande: en un titular que junta en una línea cosas que no viven juntas.

La velocidad del extremo, los goles del nueve

Lee el titular con ganas y entiendes un 0.8B que hace lo mismo que Jev, y el README remata con un empate en la media. Ese modelo no existe: son dos distintos sentados en la misma silla. El de 0.8B es el rápido, con 28 ms por decisión en un M4 Max.

El que empata es el de 2B: 83,1 de media en cinco benchmarks públicos, frente al 83,0 que publica Jev.

El 0.8B del titular se queda en 79,1. El 2B, en el mismo Mac, tarda 60 ms por decisión, más del doble. Anuncian el fichaje con la velocidad del extremo y los goles del nueve. Los dos juegan en tu equipo, pero no son el mismo tío.

Las ponderaciones de la selectividad

Vale, el 2B empata. ¿Empata en qué? Esta es la tabla del propio README, con las cifras de Jev que el autor toma de lo publicado:

Benchmark	Jeff 0.8B	Jeff 2B	Jev (publicado)
BBH	64,0	68,0	94,3
Financial PhraseBank	96,4	96,3	77,0
JudgeBench	62,6	64,6	78,6
RAGTruth	86,1	88,9	77,3
WinoGrande	68,6	79,0	90,7
Overall publicado	79,1	83,1	83,0
JevBench duro (aparte)	47,6	53,3	73,3

Jeff gana en dos de cinco, Financial PhraseBank y RAGTruth, y pierde los otros tres. En BBH, el de razonamiento, el 2B se deja 26,3 puntos. El autor lo explica sin esconderse: su media sale de clasificación y grounding, que es comprobar si una respuesta se agarra a los documentos que le das. En los de razonamiento se queda muy por debajo.

El búfalo tiene una regla para cuando pone un modelo pequeño al lado de uno grande. La media, a la papelera: lo que importa es dónde patina el pequeño. Y aquí patina en todo lo que huele a pensar, incluido el tramo duro de JevBench.

¿Cómo se empata, entonces, perdiendo tres de cinco? Porque la fila "Overall" no es la media de las cinco. Las cifras cuadran con una media ponderada en la que Financial PhraseBank y RAGTruth, justo los dos que gana Jeff, pesan más de la mitad. Si cada benchmark contara lo mismo, el 2B sacaría 79,36 y Jev, 83,58.

Es lo de las ponderaciones de la selectividad: si unas asignaturas cuentan doble, el mismo expediente entra en Medicina o se queda en la puerta. Ponderar es legítimo, solo que aquí la ponderación decide el empate. Y el README avisa de otro detalle: Jev se midió sobre otra muestra de los mismos benchmarks. Son notas de dos exámenes del mismo temario, no del mismo examen.

Jugar en casa

La cosa sube un escalón en la model card del 0.8B. RAGTruth, uno de los dos benchmarks que sostienen esa media, está en la dieta de Jeff.

De sus 271.000 preguntas de entrenamiento, 15.000 salen del split de entrenamiento de RAGTruth. Y hay confesión: al menos la mitad de cada familia de datos está escrita con el formato del panel con el que luego se le evalúa. Ninguna pregunta del panel entra en el entrenamiento, pero el autor lo dice claro: "matching the format helps the score". Imitar el formato sube la nota.

Es preparar la selectividad con los exámenes de otros años: no te sabes las preguntas, pero sí cómo te las van a poner.

Ojo con el cuento de la trampa, que aquí no la hay. Entrenar con el split de entrenamiento y examinar con otro es de manual. El autor lo publica, cosa que no hace todo el mundo, y un filtro retiró 50 casi duplicados. También se comió el de WinoGrande y ahí pierde igual. Pero el empate del titular se juega, en buena parte, en campo propio. Con qué entrenó Jev, no lo sabemos.

La cata a ciegas

Las tablas se hacen en casa; la cata, en la barra de Hacker News, y allí al vino de la casa le ponen pegas. Un usuario comparó Jeff con Jev en sus casos reales: 70% frente a 94%. Su sentencia, para clasificación: "unacceptable".

Pasado a errores, cinco veces más fallos que Jev. Otro lo puso a clasificar ofertas de empleo (sector, remoto, híbrido o presencial, tipo de jornada) al lado de Jev y de Gemini 2.5 Flash Lite. Sobre el 0.8B: "completely useless". El 2B, mejor, pero seguía fallando el tipo de jornada.

Son testimonios, no mediciones. Alguien contestó con razón que eso vale para su clasificación, no para la de todos, y que la gracia es afinarlo. La réplica: afinar ya lo hacen clasificadores como ModernBERT, y lo que se le paga a Jev es acertar en frío, a pelo, sin afinar nada.

El propio README se hace la cata en casa y le sale rana. El 2B saca más nota que el 0.8B en los benchmarks y juega peor a los videojuegos con los que lo prueban. Sí, lo han puesto a jugar al Doom. El autor lo deja escrito en sus avisos: "Benchmark scores don't predict game play".

Y la joya: el abecedario de Jeff se acaba en la Z. Las opciones se codifican A, B, C y, pasada la Z, AA, AB. La pregunta más larga del entrenamiento tenía 19 opciones, así que nunca aprendió a elegir un código de dos letras. Una opción que caiga ahí no la elige jamás, diga lo que diga. Es un GPS con el mapa de antes de que construyeran tu calle: puede que sea la buena, pero no te va a llevar. Lo destapó un issue del repo. Ahora el servidor rechaza las preguntas de más de 26 opciones y hay modelos reentrenados en camino.

La casa de "entrenado en casa"

Vamos con los 30 ms. Son verdad y hasta se quedan cortos: 22 ms en una RTX PRO 6000 y 28 en un M4 Max, con preguntas cortas y de una en una. El problema es la palabra "casa".

La del autor tiene una RTX PRO 6000 para entrenar y dos DGX Spark para fabricar los datos sintéticos con Qwen3.8-Flash-Next. Tom's Hardware contaba en junio que Nvidia había subido esa GPU a 13.250 dólares, y el DGX Spark salió a 3.999.

Suma 21.248 dólares de cocina, sin contar el MacBook. Casero, sí, como el pan de una panadería con horno de leña. También es pan, pero ese horno no te entra en el piso.

¿Y en una casa sin GPU? En una CPU de 32 hilos, el 0.8B tarda 463 ms por decisión. Jev tardaba 212 ms por llamada en las partidas de Doom publicadas, y eso yendo y volviendo por internet.

O sea: en CPU, el Jev casero tarda más del doble que el de verdad con la red de por medio. No es la misma prueba ni el mismo hardware, pero la escala se entiende sola.

Y la marca blanca tiene otro marrón, que es el gordo: la marca ya es barata. Jev cobra 0,042 dólares por millón de tokens de entrada y la salida es gratis. Un millón de decisiones como las de la prueba de velocidad sale por 8,40 dólares.

Con lo que vale solo la GPU del autor, le pagas a Jev 1.577,4 millones de decisiones. La marca blanca se compra para ahorrar, como el refresco del súper al lado del de marca. Aquí el de marca ya está de oferta permanente, y el ahorro no es argumento.

Si Jeff te conviene, será por otra cosa. Por latencia dentro de un bucle: en el Doom, el 0.8B decide cada jugada en 29 a 49 ms en el Mac. Porque tus datos no salen de tu máquina: Jev en Cloudflare promete retención cero, pero salir, salen. O porque quieres meterle mano.

La parte buena: masa madre

Ahora lo bueno, que lo hay. La velocidad en hardware decente es real. El entrenamiento se hizo sin GPUs en la nube y sin salidas de modelos cerrados en los datos. Los pesos son Apache 2.0 y el código, MIT.

Pero la frase que importa está en medio del repo, no en el cartel: si el zero-shot no te llega, afínalo. Su ejemplo es un fine-tune de navegación por voz con unos 11.000 ejemplos de la propia app y media hora de una GPU.

La precisión en ejemplos que el modelo no había visto pasa del 31,7% al 95,8%.

Es el error dividido por más de 16, con un modelo que sigue decidiendo en unos 40 ms en un M4 Max. Es su medición, sobre su tarea, pero cuadra con el mecanismo: el modelo ya se sabe el formato y solo le faltan tus opciones.

En el hilo alguien lo resumió mejor que nosotros: si hay que afinarlo para tu caso, cambia la categoría del producto. Exacto. En frío, Jeff es una marca blanca floja. Como masa madre es otra cosa: no se come tal cual, se alimenta con tu harina y con media hora de GPU tienes pan. Si te pica, tenemos una guía para afinar en local sin GPU de investigador.

Antes de la masa madre, abre el grifo

El giro tiene su propio giro. Si vas a afinar, es que tienes datos etiquetados. Y si tienes datos etiquetados, en la mesa hay algo más barato que cualquier modelo de decisión: el agua del grifo. Un modelo de embeddings tal cual viene y una regresión logística encima.

Lejos de ser una ocurrencia de foro, así es como MTEB, el benchmark de referencia de embeddings, mide la clasificación. Embebe los textos, entrena una regresión logística con los de entrenamiento y la puntúa en test. En el hilo, un usuario asegura que con esa receta iguala o supera a Jev en clasificaciones básicas como Banking77 o AG News. Y en menos de 1 ms por predicción, aunque en cuanto la tarea pide razonar va bastante peor.

Otro, que ha clasificado con LLM en un montón de proyectos, dice que es muy difícil ganarle a un clasificador lineal sobre embeddings. Con una condición: datos validados en los que confiar. Datos que, remata, necesitas igual para validar Jev. Es la paradoja del zero-shot. Para saber si el traje de alquiler te vale sin probártelo, necesitas el mismo espejo que para encargar uno a medida.

Y no hacen falta montañas de etiquetas. SetFit ya lo enseñó hace años: con 8 ejemplos por clase competía con un RoBERTa Large afinado con 3.000. Ayer contábamos que en tablas ganaba, con matices, el que no entrena; aquí se luce el que entrena con tus datos.

La marca tiene su defensa, y también está en el hilo. Montar y mantener un clasificador propio es medio día o un día de ingeniería; con Jev, treinta segundos de prompt. Eso es lo que se paga: comodidad.

Qué meter en el carrito

Nuestro veredicto: el humo está en el titular, no en el repo. En frío, Jeff no sustituye a Jev en nada que exija pensar, y en lo que no exige pensar le hace la competencia el grifo. Donde sí nos lo llevaríamos a casa es al hueco del medio. Una decisión concreta, con datos etiquetados, que tenga que correr en local o dentro de un bucle donde cada viaje a la API se nota.

El búfalo lo hace siempre en el mismo orden. Primero saca el techo de la tarea con el mejor modelo que tenga a mano. Luego baja de gama hasta dar con el más barato que roce ese techo. Y cambiar de modelo tiene que ser tocar una línea de configuración, con un suplente calentando en la banda por si el barato la lía.

En el carrito queda así. Etiqueta un buen puñado de casos reales y pásaselos a Jev, que cuesta calderilla. Prueba el grifo. Solo si no llega y necesitas local, hazte la masa madre con Jeff. Y como Jeff habla el mismo formato que Jev, el suplente ya viene enchufado. Lo mejor de esta marca blanca resulta ser el envase.