Jev, 7.500 millones después: fuera de casa rinde como un LLM de gama media, a precio de saldo

El 15 de septiembre, TypeSafe salió del sigilo con 40 millones de dólares de seed y un modelo que no escribe ni una frase. Veinticuatro días después ya había levantado 870 millones a una valoración de 7.500, en una ronda que lidera Andreessen Horowitz (a16z) con Sequoia y DCVC. La seed, recuerda Startup Fortune, la valoraba en 200 millones.

Bloomberg cuenta que el trato se cocinó semanas después de que el vídeo de lanzamiento se hiciera viral. Ese lanzamiento fue el resumen de la jornada, el corte que el primo manda al grupo. En la web de TypeSafe, Jev es 193,6 veces más rápido y 444,6 veces más barato que un LLM, y en su blog hasta juega al Doom. Pero el partido entero también se jugó, y antes de que se anunciara la ronda ya había benchmarks independientes, un estudio prerregistrado y un preprint en arXiv.

Nosotros nos hemos tragado los noventa minutos. El árbitro existe, cobra poquísimo y pita bastante bien. Lo que no hace es lo que sale en el resumen.

El árbitro que no escribe el acta

Jev recibe un texto, el "estado", y una o varias preguntas tipadas. Devuelve una elección, una puntuación o un sí o un no, cada uno con su probabilidad, y nunca escribe una frase. Para TechCrunch, está basado en transformer pero no es un LLM: emite probabilidades en vez de texto, lo que la empresa llama "decisiones calibradas". Es un árbitro que pita, enseña la tarjeta y se va sin redactar el acta.

La idea tiene toda la lógica. ¿Un ticket va a facturación o a soporte? Pagarle a un LLM una redacción para saberlo es preguntarle al del discurso de la boda en qué mesa está tu primo. Te lo dice, pero después de las anécdotas de la mili. Y el precio acompaña: 0,042 dólares por millón de tokens de entrada, y la salida gratis.

La gente picó a lo grande. En su primer día, casi el 13% de los equipos de pago del AI Gateway de Vercel ya lo había probado. TechCrunch atribuye el entusiasmo justo a esa promesa de velocidad y de ahorro de tokens. Y la startup dice que ya lo usa alrededor de un tercio del Fortune 500, sin dar ni un nombre. Nuestra lectura: lo que se ha tasado es el resumen, no el partido.

El cronómetro del VAR

El 193,6x trae letra pequeña, y la firma la propia TypeSafe. Los flujos de prueba los montó su propio equipo y la referencia es la media de GPT-6 Astra y Fable 5.1. En su blog, la empresa admite que eso puede meter sesgo y espera que sus cifras estén en la parte alta de lo que verás en la vida real. El multiplicador del precio ya lo desmontamos en Jev: el modelo que no escribe.

Falta el detalle que más pesa. Los LLM rivales corrían dentro del envoltorio de TypeSafe. La empresa lo vende como la forma más precisa de sacarles decisiones, aunque admite que suele ser más lento y más caro que pedirles la decisión sin probabilidades. Startup Fortune repite los números que da TypeSafe: Jev, entre 70 y 500 milisegundos; los LLM de frontera, entre 3 y 329 segundos para la misma tarea. Es cronometrar el silbato del árbitro contra el VAR que revisa la jugada mientras media grada baja a por un bocadillo.

El búfalo tiene una regla fija para estos duelos. El modelo nuevo se mide contra la mejor alternativa que tengas, empezando por una sin modelo, nunca contra un sparring con las manos atadas. En pleno lanzamiento, un usuario se lo objetó a las demos: a un LLM se le puede pedir que conteste "y" o "n" sin escribir antes un párrafo. Con el rival sin ataduras, el multiplicador baja de categoría:

Quién mide	Contra qué	Cuánto más rápido es Jev
TypeSafe, en su web	Varios LLM en sus propios flujos, con su envoltorio	193,6x
Usuarios en X (mediana de 215 cifras)	Lo que tuviera cada uno antes	7x
beri.net, phishing medido desde Francia	Claude Haiku 4.5	2,87x: 239 ms frente a 687 ms
LiteLLM, 240 llamadas	Claude Haiku 4.5	5,43x en la mediana
ejs-5, 868 decisiones reales de n8n	Claude Opus 5	De 5,7x a 11,8x según la tarea

Rápido es, y de verdad: la prueba más generosa de la tabla le da 11,8x, contra un Opus 5 que se toma su tiempo. Por qué el 193 suena tanto lo explicó OpenChamber al repasar los tuits del lanzamiento. Entre los que repetían cifras en vez de medirlas, la mediana era 193x, casi calcada a la de la web. La repetición le dio alcance al claim, pero ninguna prueba. Un cántico de grada: que lo coree medio estadio no lo convierte en gol.

"¿Es falta?", a secas

En el resumen, la precisión también luce. LangChain, que distribuye la integración con Jev, anunció un 100% en 500 juicios. Una revisión publicada en dev.to aclara que son cinco casos repetidos cien veces. El mismo gol, desde cien ángulos.

En el partido entero, la cosa cambia. El benchmark de phishing que recoge beri.net le hizo la pregunta a pelo: ¿esto es phishing? Jev acertó el 62,6%; Claude Haiku 4.5, sin razonamiento y a temperatura 0, el 81,3%.

Los correos son sintéticos y las etiquetas salen de listas de reputación de URL, así que casi toda la señal está en los enlaces y en el remitente. Aun así, Jev solo cazó el 43,2% de los fraudulentos. Más de la mitad se le colaron hasta la cocina.

Preguntarle "¿es falta?" a secas, sin decirle qué mirar, es pedirle que pite a ojo. Y a ojo, Jev pita como un árbitro de Segunda. En ejs-5, con decisiones reales del repositorio de n8n, queda por detrás de Claude Opus 5 en las cuatro tareas; en el triaje, 70,9% frente a 80,4%. La revisión de dev.to junta los estudios de los ocho primeros días y lo resume en una línea que firmamos. A la altura de los LLM de precio medio, por detrás de la frontera.

Un 0,94 para una receta de tarta

Aquí duele más, porque es el corazón del producto. Una probabilidad está calibrada cuando el modelo acierta con la frecuencia que anuncia, y eso es lo que permitiría automatizar sin un humano mirando.

De fábrica, en tareas conocidas y en inglés, las probabilidades de Jev son las mejor calibradas de los modelos medidos. Fuera de ahí se tuercen, y en las dos direcciones. En ejs-5 se pasa de confiado con las preguntas de elegir y de puntuar. Con las de verdadero o falso se queda corto: dice 0,2 y acierta el 76% de las veces. Es el hombre del tiempo que da un 20% de probabilidad de lluvia, y luego llueve el 76% de los días.

Y siempre contesta. En priorbench, Jev clasificó una receta de tarta como incidencia técnica con un 0,94 de confianza, y unas letras al azar con un 0,97. Es el árbitro que, si salta un perro al campo, le pita fuera de juego. Con aplomo.

Sin una opción explícita de "ninguna de estas", de 30 mensajes que no pintaban nada no marcó ni uno, y con un 0,99 de confianza. De su escala solo vale ese último escalón: por debajo, da igual poner el listón en 0,50 que en 0,95.

En 0,99 acierta el 100%, pero esa banda solo cubre el 60,2% del tráfico. El 39,8% restante lo tiene que resolver otro.

Y lee al pie de la letra. Su propia documentación avisa de que contesta a la pregunta que escribiste, no a la que querías hacer. Con una descripción de criterios equivocada, priorbench lo vio hundirse al 16,7%, por debajo del 25% de elegir a boleo. Es el árbitro que aplica el reglamento con erratas incluidas.

La pizarra gana el partido

Y entonces llega el número que salva a Jev: 95%. Sale del mismo benchmark de phishing, con la pregunta partida en cinco preguntas atómicas dentro de una sola llamada. Por ejemplo, si los enlaces apuntan a acortadores o a hosting gratuito, o si el remitente usa un correo gratuito mientras dice ser una organización. Encima va una regresión logística ajustada con 1.000 correos etiquetados y evaluada en otros 1.000.

Mira quién más había en el campo con la misma pizarra. Haiku, con las mismas cinco preguntas, sacó un 93,2%, y la diferencia con Jev no es estadísticamente significativa. Un regex de dos líneas, el 91,8%. Ahí estaba lo que el búfalo pide montar antes que nada, y ocupaba dos líneas. Con la jugada desmontada en cinco preguntas, hasta el utillero pita bien.

Rajesh Beri, autor de la pieza, lo dice sin anestesia: ese 95% es de Jev más tus datos etiquetados más una regresión que mantienes tú. Con mil etiquetas, además, un comentarista entrenó Qwen3-4B con LoRA sobre esos correos y sacó un 97,4%, en 18 minutos con una sola RTX 4070 SUPER. Servirlo ya es otra factura, avisa Beri, pero con criterios estables y etiquetas un clasificador pequeño entrenado es difícil de batir.

Lo siguiente que se dibuja en la pizarra es el VAR: Jev decide lo fácil y, cuando duda, sube la jugada a un LLM. Delip Rao y Chris Callison-Burch lo han medido con jueces de rúbricas, en un preprint de arXiv. Cuando Jev fallaba muy seguro, alrededor del 96% de los veredictos de los LLM repetían su error; con fallos independientes saldría más o menos la mitad.

Ni con umbrales perfectos ninguna cascada supera al mejor juez en solitario por más de 2,7 puntos. El VAR mira la jugada con las mismas gafas que el árbitro.

El búfalo monta sus escaleras al revés de como se suelen dibujar. El LLM generalista va el último de la fila, detrás de las reglas, de la herramienta del dominio y del modelo pequeño. Solo se sube un peldaño cuando el de abajo falla de forma medible. Al modelo barato lo vigilan comprobaciones escritas en código, y el caro solo ve lo que esas comprobaciones rechazan. El preprint le pone número a esa manía: un respaldo solo sirve si se equivoca en otros sitios.

La repetición que sí aguanta

Primero, el precio: Jev cuesta entre 12 y 27 veces menos que Haiku por correo clasificado, y contra Opus 5 la brecha es de tres cifras. Eso cambia lo que te puedes permitir: clasificar todo el tráfico en vez de una muestra.

Los escépticos se llevaron un chasco. priorbench escribió 50 predicciones antes de tocar el modelo. De las 21 que fallaron, 18 fallaron igual: daban por hecho que Jev la pifiaría, y no. Fueron al campo con el pito en la boca y se pasaron la tarde pitando fueras de juego que no lo eran.

Contra alternativas sin IA, ganó con holgura: 95,9% sin ejemplos en el banco de priorbench, frente al 77,2% de unas palabras clave escritas a mano.

En el enrutado de LiteLLM, con categorías escritas por ellos mismos, superó a Haiku por 95% a 73,75%, aunque avisan de que eso no prueba precisión general. Su ventaja real no sale en ningún resumen: la tarea se define en tiempo de ejecución, con el texto de la pregunta. Si tus categorías cambian cada trimestre, a Jev le reescribes la pregunta; al Qwen entrenado hay que volver a entrenarlo.

Qué ha comprado a16z

Empecemos por el Fortune 500. Un tercio, dice la startup, sin un solo nombre; un día después, Startup Fortune pone en boca del consejero delegado aproximadamente un cuarto. Cuando beri.net lo revisó, el 20 de septiembre, Jev estaba en acceso anticipado, en una sola región y sin certificación SOC 2 ni ISO 27001 en su página de modelos. "Usar", en esa frase, puede ir desde un flujo en producción hasta un becario con una API key. En el grupo de vecinos, cuando dicen que ya lo usa todo el edificio, a veces es el del bajo, que se bajó la app.

El foso tampoco parece hondo. Antes de cumplirse el mes del lanzamiento, OpenAI ya había sacado su Decisions API sobre un modelo que ya tenía, GPT-6 Luna. LiteLLM cuelga del mismo cordón a Jev, a Clef y a cualquier modelo de decisión, detrás de un único endpoint. Y ya hay modelos abiertos hechos para sustituirlo, como el Jev de marca blanca que contamos en septiembre. Cambiar de árbitro empieza a ser un cambio de configuración.

Y está el nombre, que ya lo decía todo. Jev viene de William Stanley Jevons, el de la paradoja: cuanto más eficiente se volvía usar el carbón, más carbón se quemaba. The Register lo lee como la apuesta de la industria entera: tokens más baratos, muchos más tokens. El cubata más barato no vacía la barra: la llena. Con el precio del benchmark de phishing, 0,038 dólares por cada mil correos, Jev tiene que clasificar 26.316 correos para facturar un solo dólar.

Nuestra lectura: con ese precio por pitido, los 7.500 millones pagan la esperanza de que media economía se ponga a pitar a la vez. El 193x ahí pinta poco. Puede salir bien, y el primer día en Vercel dice que hay hambre. Pero es una apuesta de volumen, y lo medido fuera es un árbitro de Segunda baratísimo que, con buena pizarra, pita como cualquiera de Primera.

Veredicto: el humo está en el multiplicador y en la cifra del Fortune 500, no en el árbitro. Jev necesita reglamento, pizarra y un VAR que no sea primo suyo. El reglamento cabe en una servilleta: opción de "ninguna de estas", automatizar solo la banda de 0,99, versión fijada y cuentas en código. Desde Europa, nada de bucles de menos de 300 ms. Antes de tocar producción, ponlo en sombra contra tus decisiones etiquetadas, que sale por céntimos: el estudio entero de priorbench costó 0,176 dólares. Y el rival que tiene que batir ya está en tu repositorio y ocupa dos líneas.