Bonsai 27B en el iPhone 18 Pro: la RAM es la misma, lo que ha encogido es el modelo

El 19 de septiembre Adrien Grondin, que lleva las apps de Apple en LM Studio, colgó un vídeo con una frase que ya se ha visto 424.400 veces: "The iPhone 18 Pro is much better than what I expected for on-device AI It can run a 27B model at double the speed of the 17 Pro The new A20 Pro chip is a beast". En dos días la prensa de gadgets ya tenía titular: el A20 Pro es una bestia de la IA en local y el iPhone 18 Pro corre un modelo "masivo" de 27B.

La promesa tiene su lógica: 27B es la talla de los modelos abiertos que la gente usa en serio para programar en su máquina. El búfalo, que firma esta casa, ha exprimido Qwen3.8 27B a 4 bits en local y es brutal para agentes y código. En el iPhone no lo ha probado, y esta pieza explica por qué el 27B que corre ahí es otro bicho.

Mismo piso, ascensor nuevo

Primera grieta: el iPhone 18 Pro no tiene más memoria que el anterior. MacRumors la sacó de Xcode: 12 GB en el 18 Pro y en el 18 Pro Max, y 12 GB en el 17 Pro y en el 17 Pro Max. Lo que cambia es la velocidad a la que se mueve esa memoria: LPDDR5X más rápida, 115,2 GB/s de ancho de banda y un Neural Engine doble de 16 núcleos en el A20 Pro.

Es el mismo piso con un ascensor nuevo. Subes antes, pero los metros cuadrados son los que eran. El ascensor explica el "doble de velocidad", que por cierto es palabra de Grondin: nadie ha publicado un protocolo que lo mida. Que el modelo quepa es otra historia. El 1-bit Bonsai 27B ya corría en un iPhone 17 Pro Max desde julio, a unos 11 tokens por segundo según PrismML. Lo que metió un 27B en el teléfono pasó dos meses antes del A20 Pro, y no lo hizo Apple.

Una foto de 27 megapíxeles en blanco y negro

"27B" cuenta piezas: 27.000 millones de pesos. No dice cuánta información guarda cada uno. A 16 bits por peso, un 27B ocupa unos 54 GB. Quesma midió Qwen3.8 27B cuantizado: 17 GB a 4 bits (Q4_K_M) y 10,7 GB a 2 bits (UD-Q2_K_XL). Ninguno entra en un teléfono de 12 GB.

Bonsai 27B, que PrismML publicó el 14 de julio a partir de Qwen3.6 27B, baja al sótano. En la versión de 1 bit cada peso es un signo, +1 o -1, y cada grupo de 128 pesos comparte una escala en FP16: 1,125 bits efectivos por peso y 3,9 GB desplegados. La ternaria añade el cero, {-1, 0, +1}, y se queda en 1,71 bits por peso; en los ficheros que te descargas son 6,66 GiB en GGUF y 7,05 GiB en MLX.

Piensa en una foto. Los megapíxeles son los parámetros y los bits, los tonos que puede tomar cada píxel. A 16 bits tienes la foto en color. A 4 bits, cada píxel elige entre 16 tonos, y de lejos es la misma foto. A 1 bit, cada píxel es blanco o negro. Sigue teniendo 27 megapíxeles, y quien la vende no miente al decirlo. El ternario le añade un gris.

La cuenta que no sale en el tuit

Que los pesos quepan no significa que el modelo quepa. Mientras genera, necesita además la caché KV (la memoria de lo que lleva leído, que crece con cada token de contexto), un estado fijo para sus capas lineales y los buffers del runtime, que PrismML estima en unos 1,3 GB.

El techo tampoco son los 12 GB. Según PrismML, un iPhone de 12 GB ofrece unos 6 GB al modelo, y ahí tienen que caber pesos, caché y activaciones. Apple tiene un permiso, el entitlement increased-memory-limit, que sube el límite residente de una app, pero no hemos encontrado una medición pública de ese límite en un iPhone de 12 GB, así que tomamos los 6 GB del fabricante como referencia.

Encargamos el pico de memoria de cada representación con la arquitectura real: de las 64 capas del modelo, solo 16 son de atención completa y acumulan caché; las otras 48 son lineales y guardan un estado de tamaño fijo. Antes de fiarnos, contrastamos la cuenta con la medición de PrismML para el 1 bit en MLX con 4.096 tokens: 5,9 GB de pico medidos, 5,9294 GB en nuestro modelo.

Representación	Pesos	8.192 tokens, caché FP16	8.192 tokens, caché 4 bits	32.768 tokens, caché 4 bits
1 bit, Bonsai 27B (MLX)	4,21 GB	6,198	5,795	6,198
Ternario, Bonsai 2 27B (GGUF)	5,95 GB	7,938	7,535	7,938
Ternario, Bonsai 27B (MLX)	7,05 GiB	9,558	9,155	9,558
2 bits convencional, Qwen3.8 27B	10,7 GB	12,688	12,285	12,688
4 bits convencional, Qwen3.8 27B	17 GB	18,988	18,585	18,988

Pico en GB decimales (pesos + caché KV + estado lineal + runtime), frente a unos 6 GB por app. Pesos de las fichas de PrismML (Bonsai 2 incluido) y de Quesma.

De las 20 combinaciones que calculamos (las de la tabla más las de 32.768 tokens con caché FP16) cabe una: 1 bit, 8.192 tokens y caché a 4 bits, con 0,205 GB de margen. Con la caché en FP16, el 1 bit tiene sitio para unos 5.173 tokens de contexto; con la caché a 4 bits, para unos 20.691.

Ahora relee el argumento de venta de PrismML: un agente no hace una llamada al modelo, hace cientos, y cada una carga contexto. En el teléfono, ese agente vive en un estudio de 20.691 tokens.

La misma cuenta explica la otra noticia de la semana: Bonsai 2, la versión ternaria sobre Qwen3.8, no corre cómodo en el iPhone 18 Pro; en nuestro cálculo su mejor caso pide 7,535 GB. Del 4 bits que el búfalo usa en local, mejor ni hablar: se pasa del presupuesto en 12,585 GB en su mejor combinación.

Quién pone la nota

PrismML dice que el 1 bit conserva el 89,5% del modelo original: 76,11 de media frente a 85,07 en 15 benchmarks. Lo mide PrismML, con su suite, y la media esconde dónde cae el golpe:

Benchmark (PrismML, modo thinking)	Original FP16	1 bit
MATH-500 (matemáticas)	99,40	98,00
τ²-Bench (agente con herramientas, varios pasos)	82,90	61,34
IFBench (seguir instrucciones)	68,03	52,36
MMMU-Pro (visión)	79,94	60,48

Fuente: ficha del modelo de PrismML.

Las matemáticas sobreviven casi enteras. Lo que se hunde es el trabajo de varios pasos con herramientas, justo lo que PrismML vende como razón para correr el modelo en local. La propia ficha, según la reseña de Wavect, admite que la programación agéntica larga y multifichero no es todavía un objetivo fuerte de esta versión.

¿Y fuera de casa? Para el 1 bit, lo único que hemos encontrado es una prueba comunitaria de ArmanJR citada por Wavect: 98 preguntas en un Jetson Orin, con un 82,9% para el 1 bit, un 86,2% para el ternario y un 94,2% para Qwen3.6 27B. Muestra pequeña y de segunda mano, pero apunta al mismo sitio.

El resto del trabajo independiente mide el ternario. Un banco de pruebas en una RTX 5060 Ti de 16 GB lo enfrenta al Qwen3.6 27B cuantizado a 2 bits por la vía convencional y encuentra el conocimiento intacto en los dos y que el cuantizado genérico piensa entre un 15% y un 22% más antes de responder. Buenas notas, para el modelo que no cabe en el iPhone. El que cabe lo examina, casi en exclusiva, quien lo vende.

Motosierra contra tijeras de podar

La otra mitad de la historia es la del búfalo. Quesma pasó Qwen3.8 27B por varias cuantizaciones con benchmarks de verdad. A 4 bits, el Q4_K_M de 17 GB iguala al modelo completo en Terminal-Bench 2.1, un benchmark de programación agéntica: lo que el búfalo nota en local tiene números detrás (lo contamos en Qwen3.8-27B en local). A 1 bit, el UD-IQ1_S de 6,2 GB puntúa en torno al azar en GPQA Diamond, y cuanto más le dejas razonar, peor: piensa hasta agotar el presupuesto de tokens y devuelve una respuesta vacía.

Cuidado con la conclusión fácil, porque ese 1 bit no es Bonsai. El UD-IQ1_S es un modelo terminado al que se le recortan los pesos después, algo que con llama.cpp se hace en unos minutos. Bonsai es una representación pensada para el bit: binaria de punta a punta, incluidos embeddings y capa de salida, con kernels propios que leen los pesos empaquetados sin volver a expandirlos. En Bonsai 2, además, los pesos pasan por una rotación de Hadamard antes de convertirlos a ternarios.

Es la diferencia entre un árbol talado con motosierra y un bonsái: los dos acaban pequeños, pero uno sigue vivo porque se podó con técnica. En el ternario hay respaldo externo, porque el banco de la RTX 5060 Ti lo pone por delante del 2 bits genérico en llegar a una respuesta. Lo que nadie de fuera ha hecho todavía es la prueba de Quesma con el 1-bit Bonsai 27B. Así que el colapso de Quesma no condena a Bonsai, y el 89,5% de PrismML tampoco lo absuelve.

La parte que no es humo

La demo es real y la ingeniería también. Un modelo de 27.000 millones de parámetros genera texto en un teléfono sin conexión, y las mediciones de memoria de PrismML cuadran con nuestra cuenta a medio punto porcentual. Parte del mérito es de la arquitectura de Qwen: si las 64 capas acumularan caché, a 32.768 tokens con caché FP16 serían 8,590 GB solo de caché; con 16 capas son 2,147 GB. Y el A20 Pro es más rápido, tal como dijo Grondin.

Veredicto: 27 megapíxeles, en blanco y negro

Humo había en una etiqueta: 27B. El iPhone 18 Pro no trae más memoria que el 17 Pro; el modelo trae menos bits.

Si quieres el Qwen3.8 27B que el búfalo usa para agentes y código, ese va a 4 bits, pesa 17 GB y vive en un ordenador. El 27B del teléfono da para conversación corta y trabajo sin red; para agentes de muchos pasos, la única medición con detalle es la del fabricante, y dice que τ²-Bench baja de 82,90 a 61,34. Cambiaremos de opinión el día que alguien de fuera le pase al 1-bit Bonsai 27B un benchmark agéntico con el contexto que de verdad cabe en el teléfono.

Hasta entonces, un número de parámetros sin los bits y sin decir quién puso la nota es un recuento de píxeles. Veintisiete megapíxeles, sí. En blanco y negro, y con la nota puesta por el fotógrafo.