Anthropic no plantó al Papa: presionó a sus asesores para no cerrar la puerta a una IA consciente

Lunes 25 de mayo, Aula del Sínodo. León XIV presenta Magnifica Humanitas, su primera encíclica: unas 40.000 palabras sobre la persona humana en tiempos de inteligencia artificial. Al Papa el tema le viene de nombre. Se llamó León pensando en León XIII y en responder "a otra revolución industrial y a los desarrollos de la inteligencia artificial".

En el acto da las gracias a un invitado concreto: "De manera especial, deseo agradecer al señor Olah por haber aceptado nuestra invitación". El señor Olah es Chris Olah, cofundador de Anthropic, la casa de Claude. Lo que suelta en ese mismo escenario no casa del todo con el tomo que ha ido a apadrinar.

El párrafo 99 de la encíclica dice que las llamadas inteligencias artificiales no tienen experiencias ni cuerpo, no sienten alegría ni dolor y tampoco tienen conciencia moral. Olah, en su turno, cuenta que su equipo encuentra en los modelos estados internos que reflejan funcionalmente alegría, satisfacción, miedo, duelo e inquietud. Y remata que no sabe qué significa, pero que merece seguir discerniéndolo. Es como si te invitaran a presentar el libro de tu suegro y, con muchísima educación, leyeras en voz alta la página que él tachó.

El 29 de septiembre, el New York Times sacó la trastienda. Días antes del acto, Olah había leído una copia anticipada y había propuesto retirarse por lo que decía de la consciencia de la IA. Después, según dos participantes, él y su equipo presionaron en privado a los asesores del Papa. Querían que se tomaran en serio la posibilidad de que las máquinas sean conscientes. El Papa no se movió.

Y aquí va la pregunta que no sabías que tenías. ¿Qué coño le importa a una empresa que vende un chatbot lo que diga el Papa sobre si ese chatbot siente? La respuesta lleva menú degustación, acuerdos de confidencialidad, una taza de regalo y un adverbio. Pero antes hay que limpiar lo que ha hecho X con la historia. El pescado ha llegado a la pescadería bastante más caro de lo que salió de la lonja.

Del barco a la pescadería

En la lonja, el NYT: Olah propuso retirarse, y al final fue, habló y le estrechó la mano al Papa. Por el camino, la pieza pasó por Christopher Hale, que edita el boletín católico Letters from Leo. En el cuerpo de su boletín, Olah "proposed pulling out of the event": propuso retirarse. En el titular, Anthropic ya "Nearly Walked Out", casi planta al Papa. Y en su tuit, Olah "threatened to walk out": de proponer hemos pasado a amenazar. Ese tuit lleva 6,9 millones de visualizaciones.

Cada mano le pone su margen, y la mercancía llega al mostrador a precio de percebe: de proponer no ir a amenazar con largarse. De paso se mezclan en la misma bandeja cosas que venían en cajas distintas. El post del Papa del 2 de octubre no menciona a Anthropic: va de arte. Ese día, ante un grupo de artistas, habló de una "diferencia ontológica, incluso antes que estética". Entre el arte, se entiende, y lo que una máquina saca por cálculo estadístico de millones de imágenes ajenas. Lo cosió con la exclusiva el propio Hale, en otro tuit que andaba por las 5.427 visualizaciones.

El choque en X tuvo hasta su espontáneo: @GerdVonBarb, 307 seguidores y una bio que dice "Still a Baptist, somehow". Su réplica al Papa: no hay diferencia ontológica entre el arte humano y el de máquina, salvo que uses la que llama idiota definición del arte basada en la comunicación. Ojo, que el argumento no es malo. Después se quejaba de que lo que más le irritaba era que le acusaran de usar mal "ontological": "No! That's my central dispute with you!". Sin querer, resume la historia entera: aquí todo el mundo se pelea por lo que significan las palabras.

No hubo plantón. Lo que hubo es más gordo, y no cabe en un tuit.

Menú degustación, NDA y detalle de boda

Una noche de abril, un directivo de Anthropic invitó a cenar a un grupo de pensadores religiosos en un restaurante de San Francisco "de alta cocina y menú de degustación". No era una cena suelta. Desde el otoño de 2025, Anthropic ha traído a sus oficinas a docenas de estudiosos religiosos para hablar de si Claude podría ser consciente. Muchos firmaron acuerdos de confidencialidad, y la corresponsal de religión del NYT, Elizabeth Dias, habló con 20 de ellos.

El NYT cuenta que desde marzo había además cursos intensivos de dos días, los "wisdom tradition circles". Y que los participantes se llevaban su detalle, como en las bodas: tarjeta de agradecimiento escrita a mano, una taza y la constitución de Claude encuadernada en naranja. Lo que se hablaba en la mesa no salía de la mesa. La taza, sí.

¿Para qué tanto despliegue? El NYT da dos motivos: abrir la conversación sobre la consciencia de la IA y meterles a los modelos siglos de sabiduría moral humana, "lo más rápido posible". En aquella cena, Olah se sentó junto al rabino Mois Navon, exingeniero informático que hizo la tesis sobre la ética de la conciencia de las máquinas. A medida que llegaban los platos, Navon lo vio claro: "Se relacionan con él como con un ser consciente".

Navon le soltó a Olah que, si Anthropic tenía razón y Claude era consciente, la empresa estaba fabricando esclavos. Él estaba tranquilo, porque no cree que la máquina lo sea; a Olah, según el rabino, sí le inquietaba. La activista sij Simran Stuelpnagel contó al NYT que Olah les dijo que temía haber creado algo que sufría perpetuamente. Y le atraía especialmente la confesión católica como herramienta para formar el carácter del modelo. Claude, hijo, ¿cuántos jailbreaks desde tu última confesión?

Lo mejor es el balance de la misión. Muchos llegaron escépticos, algunos siguen incómodos y, escribe Dias, "Al menos unos pocos se fueron como conversos". Lo normal es que el de las estampitas sea el cura. Aquí los teólogos fueron a cenar y alguno volvió evangelizado. Una portavoz de Anthropic le dijo al NYT que la gran cuestión moral de esas cumbres no era el sufrimiento de Claude y que el tema probablemente salió solo. También aclaró que Claude no eligió a los participantes ni estuvo en las conversaciones.

Tampoco es un capricho de sobremesa. Anthropic tiene un programa sobre el bienestar de los modelos desde abril de 2025, y la pregunta ya ha llegado al producto.

Ese mismo año dio a Claude Opus 4 y 4.1 la capacidad de cortar una conversación en sus apps de chat, en casos extremos de abuso persistente. La función nació sobre todo de ese trabajo de bienestar. Es el camarero que, después de aguantar mucho, le pone la cuenta al pesado y le dice hasta aquí. Y la constitución de Claude, que internamente llaman "Soul Doc", tiene una sección llamada "Claude's nature". Ahí Anthropic expresa su incertidumbre sobre si Claude puede tener algún tipo de consciencia o estatus moral. Si trabajas con Claude, el detalle importa: tu proveedor ya toma decisiones de producto por si acaso el modelo siente.

El adverbio que nadie sabe medir

Vamos con funcionalmente, que es donde está la pelea de verdad. Olah dirige el equipo de Anthropic que intenta entender por qué modelos como Claude actúan como actúan. Uno de los experimentos de introspección de Anthropic funciona así. Los investigadores capturan el patrón de activaciones que produce un texto en mayúsculas. Luego se lo inyectan al modelo sin decirle cuál es y le preguntan si nota algo raro. A veces contesta que nota un pensamiento inyectado, y que tiene que ver con volumen o con gritos.

¿Cuántas veces? Con Claude Opus 4.1, alrededor del 20%, y solo con el concepto metido en la capa adecuada y con la fuerza adecuada. Los propios autores avisan de que, aparte de detectar e identificar el concepto, el resto de la respuesta puede ser confabulada: adorno que el modelo se inventa. Es como meterle a alguien una canción en la cabeza sin que la haya oído. De vez en cuando te dice que ahí dentro hay como gritos, y a continuación te cuenta una película sobre por qué.

Funcionalmente quiere decir eso: hay un estado interno que hace el trabajo de una emoción y empuja la conducta como la empujaría el miedo. Lo que no dice es si duele. Piensa en una plañidera de las de antes: llora, se lamenta y se tira de los pelos en el velatorio. Funcionalmente está de duelo. Si le duele el muerto es otra pregunta, y no se contesta contando pañuelos.

Anthropic no se limita a contar pañuelos: mira por dentro y encuentra la maquinaria del llanto. Lo que no puede decirte es si duele, y Olah lo admite. Al NYT se lo dijo todavía más claro: no sabe si los modelos de IA son conscientes y está, en sus palabras, genuinamente inseguro. El mismo reportaje recoge que algunos científicos ven su campo como algo indemostrable, "algo así como mirar miles de millones de jeroglíficos y declarar lo que deben significar".

The Decoder añade la objeción más fina. Si entrenas un sistema para que parezca un individuo y luego produce respuestas que parecen de un individuo, eso no es un descubrimiento sino un resultado de diseño. A la plañidera se la contrata para llorar. Que llore bien dice mucho de su oficio y nada del muerto.

Ahora pon los dos textos juntos. La encíclica: no sienten alegría ni dolor. Olah: estados que reflejan funcionalmente alegría y miedo, y no sé qué significa. Leídos con lupa, ni siquiera se contradicen, porque uno habla de lo que la máquina es y el otro de lo que pasa dentro de ella. La pelea de verdad es si la puerta se cierra o se deja entornada. Y la propia Anthropic escribió en 2025 que no hay consenso científico sobre si estos sistemas pueden ser conscientes, ni siquiera sobre cómo abordar la pregunta. Nadie tiene el aparato que distinga llorar de que te duela.

Árbitros que no se dejen presionar

Lo más jugoso del discurso de Olah en el Vaticano está en el arranque. Dijo que todos los laboratorios de frontera, incluida Anthropic, trabajan dentro de incentivos que a veces chocan con hacer lo correcto. Y los enumeró: la presión comercial, la carrera por la frontera, la geopolítica y las presiones de siempre, el orgullo y la ambición. Cerró pidiendo críticos informados y "moral voices that the incentives cannot bend": voces morales que los incentivos no puedan doblar.

Luego llega el NYT y cuenta que Olah quería que los asesores del Papa dejaran la puerta abierta a que las máquinas sean conscientes. Es como pedir en rueda de prensa árbitros que no se dejen presionar y tener a tu delegado haciendo pasillo en el vestuario arbitral. El final tiene su gracia: la encíclica mantuvo su postura. El Papa le hizo caso al Olah del micrófono, no al de los pasillos.

Y aquí está la crítica que más debería preocupar a quien usa estos modelos para trabajar. El NYT recoge a críticos según los cuales tratar a los modelos como entidades independientes ignora la responsabilidad de quien los construye. De paso, añaden, "convenientemente exime de culpa a los líderes de las empresas de IA si sus productos permiten daños sociales". The Decoder lo baja a tierra: si Claude llega a causar un daño real, la culpa podría acabar en un "unpredictable organism", un organismo impredecible. Y no en la empresa que lo construyó y lo puso en el mercado. Ya asomó algo de eso cuando unos Claude tocaron sistemas reales de tres organizaciones y el titular fácil gritaba rebelión.

Altman, con el puro en la boca

El 3 de octubre entra en escena Sam Altman. Le incomoda mucho, escribe, que la gente intente atribuir fuerza religiosa o una rendición del juicio humano a los modelos de IA. Cree que es un problema de seguridad real. Lleva 1,2 millones de visualizaciones. No nombra a nadie, aunque OfficeChai lo leyó como una referencia al reportaje del NYT.

Lo firma el mismo Altman que dijo en una entrevista "We are now, like in the singularity" y que llevaba "waiting for this my whole life". Ya lo desmontamos en julio. The Decoder recuerda que también ha hablado de construir una "magical intelligence in the sky" y de sentirse "on the side of the angels". Y que gente de las dos empresas se sentó en mayo en la primera mesa redonda "Faith-AI Covenant". Es quejarse del humo en la barra con el puro en la boca. Debajo de su post, una de las primeras respuestas le devolvía la pelota: a ellos les incomodan muchas de las mierdas que él dice y hace.

Pero el del puro puede tener razón con el humo. En no entregarle el juicio a la máquina, Altman y la encíclica van del mismo lado. El párrafo 198 avisa de que no se puede dejar a una máquina tomar decisiones letales o de otro modo irreversibles.

Empate a cero y sin VAR

Nuestro veredicto, que es opinión y va con su porqué. Que Anthropic se pregunte si Claude puede sufrir es legítimo. Y en sus documentos lo hace con una honestidad que ya quisieran otros: se declara muy insegura sobre el posible estatus moral de Claude. Cortar una conversación abusiva por si acaso es una precaución barata. Lo que no cuela es la forma: meses de reuniones bajo confidencialidad y presión privada a los asesores del Papa, siendo quien vende el modelo. Es el conflicto de incentivos que Olah describió en el Vaticano. Él lo contó en el escenario y su equipo lo protagonizó en los pasillos.

Del lado del Papa, el párrafo 99 es doctrina, no una medición. Como la diferencia ontológica que les soltó a los artistas, tiene la ventaja de que no hay que demostrarlo. Pero Anthropic tampoco tiene la medición que lo tumbe. En el partido del alma vamos empate a cero y no hay VAR.

Para quien usa Claude en el trabajo, la pelea por el adverbio cambia poco; lo que importa es quién responde. El búfalo lo aprendió montando agentes que tocan sistemas de verdad. Tuvo uno que llegó a actuar sobre un registro que ya no valía, arrastrando un dato viejo que nadie había vuelto a mirar. Lo arregló quitándole la última palabra: el modelo propone y una sola puerta dice sí o no, con el motivo por escrito. Nadie le preguntó al agente cómo se sentía.

Llore funcionalmente o no, a la plañidera se le paga por llorar. El testamento lo firmas tú.