Un misil a una escuela en Irán: el informe cita un fallo de verificación, no una IA que decidió

Un misil estadounidense dio en una escuela en Irán. En Hacker News el titular que abre el hilo es el de Bloomberg: el Pentágono habría dicho que la sobreconfianza en inteligencia artificial contribuyó al ataque. Lo que se puede citar del informe, en ese mismo hilo, no describe un modelo eligiendo el blanco. Describe esto:

failed in its obligation to do everything feasible to verify

went beyond mere negligence

Según esos comentarios, Estados Unidos no hizo todo lo factible por confirmar que la escuela era un objetivo militar, y el fallo rebasó la negligencia. Ese es el eje. El resto, la IA como asesina, la IA como tapadera, cuelga de testimonios que el material no sostiene.

El estándar no depende de quién señaló el blanco

El texto completo del informe del Pentágono no consta en las fuentes consultadas. Tampoco el artículo de Bloomberg al que apunta el hilo. Lo que hay son comentarios y, dentro, frases atribuidas al documento. Con ese límite se escribe: un titular no se convierte en mecanismo.

Negligencia es despistarse. Ir más allá implica que el procedimiento que debía impedir el disparo no operó como obligación, sino como trámite. La verificación del objetivo no es un favor que se le hace a quien lo señaló. Es un estándar aparte. Da igual que el blanco lo haya marcado un analista, una ficha de inteligencia o un detector de anomalías. Quien autoriza el misil sigue debiendo confirmar que eso que va a recibir el impacto es, todavía, un objetivo militar.

Un usuario del hilo se presenta como antiguo JTAC: el controlador de ataque terminal que en apoyo aéreo cercano dice qué se puede golpear y qué no. El estándar que él conocía exigía tres fuentes independientes de observación directa, eyes-on. La tropa que llama el ataque. Un observador aéreo. Un recurso aéreo, típicamente un dron. Cada una describe el objetivo por separado.

Tres personas firmando el mismo párrafo no sirven. Hace falta que tres canales reconstruyan el mismo blanco sin copiarse. Si están mirando de verdad, un error de etiqueta en la base de datos tiene que chocar contra alguien que está viendo una escuela. Si están confirmando el rótulo que ya venía escrito, el estándar se ha desacoplado del terreno.

Ahí el origen del dato, humano, estadístico o de modelo, pasa a segundo plano. Lo que ha fallado es la capa que debía volver a mirar. Eso no absuelve a un algoritmo ni lo condena. Deja el listón donde las citas del informe lo ponen: ¿se hizo todo lo factible por verificar? La respuesta que recogen esos comentarios es que no.

Lo que el hilo cuenta y el informe no sostiene

Otro comentarista, que dice haber sido contratista del Departamento de Defensa, afirma que el programa implicado era un detector de anomalías sobre WAMI: imaginería de movimiento de área amplia, un plano de vídeo tan ancho que cubre un barrio entero, pensado para marcar eventos raros y pasárselos a un analista humano. Es un testimonio, no el informe. En las fuentes consultadas no consta el nombre de ningún sistema de IA del Pentágono ni cómo se integró en la selección de objetivos.

Un tercer comentario, también sin respaldo del informe en el material, sostiene que la inteligencia de que el sitio ya no era objetivo militar nunca entró en la base de datos, que el equipo de vetting fue "gutted", vaciado, y que se pedían mil blancos. Encaja con un relato de tubería rota y de lista que no para. También encaja con la tesis que cada lector ya traía. Mientras no esté en el documento, no es hecho.

Por eso no cierra "la IA mató" ni "la IA fue el pretexto". Lo primero afirma una causalidad que no está documentada: nadie en este material describe un modelo decidiendo el disparo. Lo segundo da por probada una intención, usar el algoritmo de tapadera, que las citas del informe tampoco sostienen. Las dos frases piden un culpable con nombre corto.

Cuando el dato llega ya etiquetado como objetivo, verificar es caro. Hay que volver a mirar. Hay que admitir que el rótulo puede estar mal. Hay que tener gente cuyo trabajo es contradecir al sistema de origen, no acelerarlo. Si esa función no está, o si su visto bueno vale menos que el ritmo de la lista, el misil no necesita una IA brillante para dar en una escuela. Le basta un proceso que ya no mira.

El titular que discute el hilo pone la sobreconfianza en IA en el centro porque es la palabra que hoy abre comentarios. El mecanismo que se aguanta con lo citado es más viejo: una obligación de verificación que, llegada la hora, no verificó.