La dependencia del ejército estadounidense de IA poco fiable casi llevó a Estados Unidos a la guerra con China hace tres semanas.

Olvídese de la "superinteligencia": la IA, propensa a errores, casi provocó la tercera guerra mundial este mes pasado.

Un reportaje de CNN publicado el 18 de septiembre describe cómo Estados Unidos estuvo a punto de iniciar una guerra con China, basándose en un informe de inteligencia que afirmaba que un barco chino transportaba componentes de armas nucleares. Personal militar planeó interceptar la embarcación china, con aviones y soldados listos para abordarla. Un enfrentamiento militar de este tipo entre China y Estados Unidos podría escalar rápidamente y desembocar en la Tercera Guerra Mundial.

* Timnit Gebru y Emily M Bender

The Guardian

Como nos ha recordado repetidamente la expresidenta de la FTC, Lina Khan, no existe ninguna excepción a la ley en lo que respecta a la IA. Fotografía: Marina de los EE. UU./Zuma Wire/Rex/Shutterstock            

Los riesgos de la IA no son los que creemos, como revela este reciente incidente de seguridad entre China y Estados Unidos.

En medio de una avalancha de noticias que advertían sobre máquinas superinteligentes que podrían extinguir a la humanidad, un reportaje de CNN que describía el escenario opuesto —en el que la dependencia del ejército estadounidense de chatbots poco fiables casi llevó a Estados Unidos a la guerra con China— pasó prácticamente desapercibido para el público.

La noticia más importante sobre IA a nivel internacional en las últimas tres semanas fue la dimisión de Jacob Coxon, ingeniero de Anthropic. Según él, OpenAI y Anthropic están "avanzando a pasos agigantados hacia la superinteligencia con capacidad de autoaprendizaje y poniendo en riesgo nuestras vidas". La descripción de Coxon de un escenario tipo "Terminator", en el que una máquina se vuelve mucho más inteligente que la humanidad y decide exterminarnos, captó la atención del público, periodistas y políticos, generando una oleada de informes alarmistas y acríticos, así como diversas medidas políticas.

El gobernador de California, Gavin Newsom, emitió un mandato para crear un " interruptor de apagado de IA "; la gobernadora de Nueva York, Kathy Hochul , está explorando de manera similar la posibilidad de tener "interruptores de apagado de IA"; y el senador Bernie Sanders y el congresista Greg Casar presentaron una legislación para " prohibir la superinteligencia artificial ".

Mientras muchos de nosotros estábamos centrados en máquinas superinteligentes de ficción que, según nos decían, podrían hipotéticamente causar la extinción humana, se estaba informando de una noticia más seria.

Una serie de acontecimientos casi nos llevaron al apocalipsis, no causados ​​por una "IA superinteligente y descontrolada", sino por la dependencia del gobierno en sistemas propensos a errores que sus fabricantes comercializan como si fueran casi superinteligentes.

Un reportaje de CNN publicado el 18 de septiembre, que no ha sido verificado por otros medios importantes, describe cómo Estados Unidos estuvo a punto de iniciar una guerra con China, basándose en un informe de inteligencia que afirmaba que un barco chino transportaba componentes de armas nucleares. Personal militar planeó interceptar la embarcación china, con aviones y soldados listos para abordarla. Un enfrentamiento militar de este tipo entre China y Estados Unidos podría escalar rápidamente y desembocar en la Tercera Guerra Mundial.

Justo antes de poner en marcha el plan, los funcionarios estadounidenses investigaron más a fondo el informe de inteligencia y descubrieron que había sido generado mediante un chatbot y que contenía información errónea sobre el contenido del buque.

A diferencia del escenario de Terminator y la "IA descontrolada", este incidente no impulsó a los legisladores a exigir regulaciones para evitar una posible extinción humana. Ningún medio de comunicación advirtió al público que estuvimos a punto de provocar una guerra contra una superpotencia nuclear debido a la dependencia de nuestras fuerzas armadas en chatbots propensos a errores.

Describimos los grandes modelos lingüísticos (MLL) que impulsan estos chatbots como loros estocásticos; es decir, modelos diseñados para reproducir los patrones de los datos con los que se entrenan. La cobertura mediática que los describe como modelos "poderosos" y "descontrolados" que podrían extinguir a la humanidad por sí solos, refuerza la percepción de que las herramientas basadas en estos modelos son lo suficientemente infalibles como para justificar su uso en situaciones de tanta trascendencia como la guerra.

Incluso la cobertura más crítica de CNN describe el chatbot utilizado por el ejército estadounidense como una tecnología que presenta "riesgos profundos" porque es "poderosa, nueva y relativamente poco comprendida".

De hecho, los sistemas de gestión del lenguaje natural (LLM) actuales y los chatbots que los impulsan no son incomprendidos, ni tampoco potentes en el sentido de ser herramientas eficaces para este caso de uso. Son sistemas para generar texto de apariencia plausible, construidos a partir de enormes conjuntos de datos recopilados de forma aleatoria y luego "ajustados" (es decir, entrenados) para resultar especialmente atractivos para sus usuarios previstos.

CNN no pudo determinar qué producto de chatbot se utilizó en este caso, pero el modelo de lenguaje natural (LLM) que lo impulsaba probablemente estaba ajustado para generar texto con las características estilísticas de los informes de inteligencia. Tanto la funcionalidad básica como los riesgos de este tipo de modelo se conocen y documentan desde hace años, incluso en nuestro artículo de 2021 titulado « Sobre los peligros de los loros estocásticos: ¿Pueden los modelos de lenguaje ser demasiado complejos?».

Las afirmaciones de que el comportamiento del sistema es misterioso surgen de una mistificación deliberada por parte de quienes venden esos sistemas, y de una mala interpretación de cuál es su resultado por parte de quienes los adquieren y utilizan.

A diferencia de las afirmaciones poco científicas y fantasiosas de los directores ejecutivos de OpenAI y Anthropic, y de aquellos que repiten sin crítica sus argumentos, los impactos dañinos y bien documentados de los productos de estas empresas se deben a que la gente cree que los productos son superinteligentes, no a que realmente lo sean.

Desde sistemas de inteligencia artificial utilizados por hospitales que clasifican erróneamente a los pacientes como consumidores de drogas ilícitas, hasta gobiernos que matan a niños tras confiar en sistemas de "análisis de inteligencia" que confunden las escuelas con instalaciones militares , estamos viendo los daños previsibles que resultan de una fe mal depositada en software automatizado poco fiable.

Mientras tanto, las campañas de marketing de las empresas que venden este software advierten sobre la inminente llegada de una superinteligencia, desviando nuestra atención del riesgo real hacia sus fantasías apocalípticas.

Ya es hora de regular el uso de sistemas que se venden como «inteligencia artificial», no porque sean máquinas mágicas, sino porque son productos propensos a errores que no deberían utilizarse en situaciones de alto riesgo. 

Cualquier automatización empleada en el ámbito militar, médico o en otras situaciones de vida o muerte debe evaluarse exhaustivamente en función de su caso de uso y estar sujeta a normas que garanticen la responsabilidad de quienes tienen el poder real de tomar decisiones.

Como nos ha recordado repetidamente la expresidenta de la FTC, Lina Khan, no hay ninguna excepción a la ley en lo que respecta a la IA : existen leyes vigentes que las agencias federales y otros reguladores pueden hacer cumplir para proteger al público contra las prácticas inseguras y acientíficas de la industria de la IA, que promueven productos poco fiables y los comercializan como " inteligencia mágica en el cielo ".

Al seguir la corriente a los ejecutivos de las empresas y describir sus productos como seres con capacidad de decisión, estos ejecutivos eluden la responsabilidad y engañan al público. Hacemos un llamado a periodistas y legisladores para que exijan responsabilidades a las empresas en lugar de repetir sus argumentos de marketing.

* Autores:

.- Timnit Gebru es directora ejecutiva de Dair y autora del próximo libro Deep Unlearning: The Radicalization of a Tech Idealist , que ya está disponible para preordenar y cuya publicación está prevista para el 16 de febrero.

.- Emily M. Bender es profesora de lingüística en la Universidad de Washington y coautora de The AI ​​Con.