OpenAI suelta 722 manuscritos de matemáticas: muchos traen Lean, ninguno trae el prompt

El martes por la tarde OpenAI soltó en GitHub 722 manuscritos de matemáticas, empaquetados en 372 familias (S7). Cada familia, dice la empresa, resuelve un problema abierto importante o lo hace avanzar de forma sustancial.

Ese mismo día, Alex Kontorovich, matemático de Rutgers, escribía en X con más signos de interrogación que palabras: "Quasi-RH?!?!???!". Si esto lo hubiera hecho un humano, añadía, sería una Medalla Fields instantánea, sin preguntas.

Lo que le hizo gritar es la cuasi-hipótesis de Riemann. El índice del repositorio anuncia una prueba de que ninguna función L de Dirichlet, zeta incluida, tiene ceros con parte real mayor que 7/8. La hipótesis de Riemann pide que no los haya a la derecha de 1/2. Lo mejor que había hasta ahora, explicaba el propio Kontorovich, era una región que adelgazaba cuanto más subías. Lo de antes era un pasillo que se estrecha según subes de planta. Esto es un corte a la misma distancia en todo el edificio: una franja de anchura fija. Si aguanta, es una hostia en la mesa de la teoría de números.

El resto del escaparate va a juego. Otra familia dice cerrar en negativo el décimo problema de Hilbert sobre los racionales. Es decir, que ningún algoritmo puede decidir si un polinomio con coeficientes enteros tiene un cero racional. Steven Strogatz, de Cornell, celebró en X otro resultado. El exponente de la multiplicación de matrices, escribió, quedaría como mucho en 2,25, frente a un récord que él sitúa en torno a 2,37. Y lo comparó con el salto de longitud de Bob Beamon.

Y la guinda la pone un portavoz de OpenAI: casi todo salió de un único prompt entregado a un único agente. De media, cada resultado gastó tres horas de thinking de ChatGPT Pro. Para Navier-Stokes, hace un mes, hizo falta un enjambre de 10.000 agentes y millones de dólares en cómputo.

La promesa no es humo de saldo. Muchos de esos resultados vienen con prueba en Lean, que comprueba paso a paso la lógica de una demostración, y Scientific American los da por casi seguro correctos. Pero el 29 de septiembre, nueve matemáticos de primerísima fila habían publicado cómo había que soltar exactamente algo así. Y había sido OpenAI la que fue a pedirles consejo, para luego hacer otra cosa. Vamos grieta a grieta, y te adelantamos el final: lo formalizado se puede creer. El prompt único y la cuenta de cientos de problemas abiertos, de momento, no hay quien los compruebe.

El vídeo de los goles

La primera grieta la pone la propia OpenAI, en el primer párrafo del README. Allí cuenta que evalúa sus modelos con problemas de investigación abiertos, y que amplió esas pruebas cuando sus evaluaciones matemáticas de siempre se saturaron. Los exámenes de toda la vida se les quedaron cortos, así que ahora el examen son los problemas que nadie ha resuelto.

Los 722 manuscritos son la parte publicable de esa evaluación. Al modelo le plantearon unos 4.000 problemas. El catálogo salió de agrupar lo producido y exigir "an appropriate level of significance", un nivel apropiado de significancia. ¿Quién decide qué es significativo? OpenAI, el mismo que monta el vídeo.

Es el vídeo de Goals & Skills que el representante de un chaval de juveniles manda a los clubes. Golazos, regates, música épica y ni un minuto de los partidos en los que no la tocó. Por eso los ojeadores serios piden el partido entero.

Y ojo con la división fácil. Las 372 familias no son una tasa de acierto sobre los 4.000 problemas. Una familia puede juntar un resultado principal, argumentos complementarios, consecuencias o pruebas alternativas, y nadie ha dicho cuántos problemas cubre cada una. El dato que falta es justo el que pidió el comité: cuántos problemas de dificultad comparable intentó el modelo sin resolverlos, y cómo se eligieron.

El motivo para no frenar tampoco es un misterio. OpenAI le dijo a Scientific American que estos problemas son una prueba indispensable de que su IA se está volviendo más lista. Y lo de Navier-Stokes, contó Sam Altman, arrancó por unos rumores en internet de que los modelos de Anthropic habían resuelto un problema del milenio. Tenían curiosidad por ver si los suyos también podían. Más que un congreso de matemáticas, esto es la pretemporada de una carrera entre laboratorios.

Aprobé a la primera (el teórico)

Segunda grieta: la frase estrella. Lo del prompt único para un agente único pesa tanto porque, si fuera verdad tal cual, cualquiera con el modelo podría repetirlo en casa. El mismo portavoz añadió a Scientific American que algunos resultados podrían haber necesitado varios intentos. Es el colega que se sacó el carné a la primera. Bueno, el teórico.

El README afina: la gran mayoría de los resultados salió del mismo procedimiento, y entre las excepciones nombra dos. Una es el trabajo sobre una región sin ceros de la zeta de Riemann, el terreno del grito de Kontorovich. La otra, la conjetura de Hodge para variedades abelianas CM. Encima, la redacción de la prueba alternativa, la de la región Re(s) > 11/12, la retocaron humanos para que se leyera mejor (S7).

Retocar la redacción no es amañar la prueba, y la familia 003, la de la cuasi-hipótesis, lleva enlace a Lean en el índice. Pero la jugada del vídeo que más se va a compartir no salió del procedimiento que vende el portavoz. Andrew Sutherland, del MIT, lo resumió en Scientific American. Su regla: mientras no lancen el modelo y nadie pueda replicar, resolver problemas a la primera con un solo agente es un claim no verificado. Y remató: "We should ask for receipts". Hay que pedir los recibos.

Los ojeadores pidieron el partido entero

Los recibos ya estaban pedidos, por escrito y con fecha.

AGMAI, el Grupo Asesor sobre Matemáticas e Inteligencia Artificial, son nueve matemáticos, entre ellos Timothy Gowers, Martin Hairer y Edward Witten. No cobran y dicen trabajar con independencia de cualquier empresa. Se juntaron después de que OpenAI fuera a buscar a algunos de ellos para montar un consejo asesor externo. Su web describe su tarea del momento: asesorar a OpenAI sobre cómo coordinar la publicación de un gran número de resultados significativos de su modelo interno, o sea, este lote.

El 29 de septiembre publicaron sus recomendaciones. Por cada resultado, el nombre del modelo, los prompts, una cadena de razonamiento resumida, el tiempo empleado y el coste estimado de cómputo. Eso es la factura desglosada, línea a línea, y no el ticket medio que enseña el que invita. Depósito en repositorios académicos que no controle ningún laboratorio. Nada de usar los resultados como vehículo de marketing. Y, de entrada, una petición sin rendijas: que dejen de probar problemas matemáticos avanzados en modelos propietarios.

Tampoco es una manía del comité. El 11 de septiembre, unos 25 medallistas Fields, con Tao, Scholze y Viazovska entre ellos, habían firmado una carta abierta. La carta critica a los laboratorios que tratan los problemas famosos como objetivos de marketing.

Lo que llegó fue un repositorio en la cuenta de GitHub de OpenAI, firmado por un modelo interno no lanzado y sin nombre. Cero prompts, el cómputo en media y resúmenes de razonamiento para diez familias de 372. Los ojeadores pidieron partido entero, alineación y minutos jugados. El representante mandó la compilación, colgada en su propio canal, con la cara del delantero pixelada y los minutos, de media.

Algo ha cumplido, que no se diga: muchos manuscritos tienen Lean, se guarda el historial de versiones y cada manuscrito trae cómo citarlo. También eso estaba en la lista. Para el resto, la respuesta oficial es que se toman las directrices en serio, que hacen lo posible por cumplirlas y que no les obligan. Dicen que siguen explorando alternativas alojadas por la comunidad que cumplan las directrices del comité. Normal: un repositorio en la cuenta de OpenAI es justo lo que AGMAI pedía evitar. Y prometen mejorar citas, exposición y presentación en próximas entregas. Eso es lo que AGMAI quería que hicieran los laboratorios antes de publicar, y no los matemáticos después.

El notario no visita la casa

Ahora, lo que sí aguanta, que es bastante. Lean no se impresiona con nadie: la prueba cierra o no compila. Lo formalizado es lo más sólido del lote, y el README reconoce que muchos manuscritos lo están, pero no todos.

Ese matiz ya se lo ha comido alguien. Startup Fortune publicó que cada resultado viene con un certificado verificable por máquina. El README dice lo contrario, y avisa de que algunos de los resultados sin formalizar podrían tener problemas. En el índice, el décimo problema de Hilbert sobre los racionales y la fórmula de Birch y Swinnerton-Dyer para ciertas curvas elípticas no llevan enlace a Lean. La cuasi-hipótesis de Riemann, sí.

Y hay que saber qué certifica Lean. Es un notario: da fe de que la escritura está bien firmada, no de que la casa sea la que visitaste. Su núcleo comprueba que una prueba establece un enunciado formal, pero no que ese enunciado recoja fielmente el problema que se quería resolver.

Ya pasó con la tanda de agosto. OpenAI dijo haber tumbado la conjetura de rigidez de Connes. Al día siguiente, J. L. Nielsen, de la Universidad de Kansas, respondió con un paper que daba el contraejemplo por inválido. Había recorrido las 37.000 líneas de Lean publicadas, devuelto cada objeto a su original matemático y encontrado dos vías de fallo independientes.

El búfalo, que revisa trabajo generado por modelos, tiene una regla que aquí viene al pelo: el que hace el trabajo no puede ser el que lo da por bueno. Y la mayoría de los fallos que se ha encontrado estaban en lo que se daba por hecho sin una prueba a la vista. En este lote, el que plantea los problemas, el que los resuelve, el que filtra y el que publica son la misma empresa. Lean es el único juez de fuera. Donde no hay Lean, es el ejecutor diciendo que está hecho.

722 fotos en el grupo de padres

Vale, supongamos lo mejor: todo lo formalizado está bien enunciado y es correcto. ¿Problema resuelto? Ni de lejos, y aquí viene el giro. Demostrar ya no es el cuello de botella; entender, sí, y eso no lo certifica ningún compilador.

El portavoz de OpenAI reconoció a Scientific American que muchos de los resultados recién publicados no los entienden todavía ni los matemáticos de la propia empresa. Lo de AGMAI tiene su gracia. Recuerda una de las normas más importantes del oficio. Los autores tienen que entender el argumento de su paper, haberlo verificado ellos mismos y responder de él. Y tuvo que escribir un apartado entero, el 2.B, titulado "Papers that are not yet understood by anybody". Papers que todavía no entiende nadie.

Soltar 722 manuscritos de golpe es el grupo de WhatsApp de padres a la vuelta de la excursión. Alguien sube cientos de fotos a la vez y los demás se pasan la noche buscando a su hijo. El que las subió, encima, admite que no sabe quién sale en muchas. Scientific American prevé meses de trabajo para que los matemáticos digieran el aluvión y distingan las ideas nuevas de los refritos de técnicas conocidas.

No todo el mundo lo vive como un marrón. Daniel Litt, de la Universidad de Toronto, no ve razón para pedirle a la empresa que guarde las respuestas en secreto. Para él, esto va a ser bueno para las matemáticas. Terence Tao, que usa la IA en su investigación, lo ve de otra forma: "We have to slow down". El ritmo le parece una locura y no ve ninguna razón para ir tan rápido. Los dos tienen parte de razón, y por eso importa el formato. Entre esconderlo y tirarlo a pelo en un GitHub sin prompts había un término medio, y estaba publicado desde el 29 de septiembre.

Cuánto humo trae el vídeo

Nuestro veredicto va por capas. Lo formalizado en Lean, a creérselo como teoremas, con un asterisco. Falta que alguien de la especialidad compruebe que el enunciado formal es el problema de verdad, como hizo Nielsen con Connes. Lo no formalizado, como preprints de autor anónimo y sin árbitro, con aviso de fábrica de que alguno puede fallar. Y lo del prompt único y la cuenta de cientos de problemas abiertos, como lo que son hoy. Es lo que reporta OpenAI sobre un modelo que nadie de fuera puede tocar.

¿Qué lo cambiaría? Lo que pidió AGMAI y no ha llegado: el modelo con nombre, el prompt de cada resultado y la cuenta de los intentos fallidos. OpenAI dice que trabaja para lanzar el modelo lo antes posible y de forma responsable. Si sale, el prompt único se podrá comprobar en casa, y ese día el vídeo de goles se convierte en partido entero.

Mientras tanto, la noticia de fondo es la que OpenAI dejó en el primer párrafo del README. Sus exámenes de matemáticas se saturaron, y ahora el examen son los problemas abiertos. Por fin tienen un benchmark que no se satura. Los que se están saturando son los matemáticos, empezando por los suyos.