La historia nuclear está plagada de cuasi accidentes, de desastres evitados por un ser humano que decidió confiar en su propio juicio, en lugar de seguir ciegamente la información proporcionada por las máquinas. La aplicación de inteligencia artificial a las armas nucleares aumenta las posibilidades de que, la próxima vez, nadie detenga el lanzamiento.
GINEBRA – Ya no es ciencia ficción: la carrera para aplicar la inteligencia artificial a los sistemas de armas nucleares está en marcha, un avance que podría hacer más probable una guerra nuclear. Ahora que los gobiernos de todo el mundo actúan para garantizar el desarrollo y la aplicación seguros de la IA, existe una oportunidad de mitigar este peligro. Pero si los líderes mundiales quieren aprovecharla, primero deben reconocer cuán grave es la amenaza.
En las últimas semanas, el G7 acordó el Código Internacional de Conducta del Proceso de Hiroshima para organizaciones que desarrollan sistemas avanzados de IA , con el fin de “promover una IA segura y confiable en todo el mundo”, y el presidente de Estados Unidos, Joe Biden, emitió una orden ejecutiva que establece nuevos estándares. para la “seguridad y protección” de la IA. El Reino Unido también fue anfitrión de la primera Cumbre mundial sobre seguridad de la IA , con el objetivo de garantizar que la tecnología se desarrolle de manera “segura y responsable”.
Pero ninguna de estas iniciativas aborda adecuadamente los riesgos que plantea la aplicación de la IA a las armas nucleares. Tanto el código de conducta del G7 como la orden ejecutiva de Biden se refieren sólo de pasada a la necesidad de proteger a las poblaciones de las amenazas químicas, biológicas y nucleares generadas por la IA. Y el Primer Ministro del Reino Unido, Rishi Sunak, no mencionó en absoluto la grave amenaza que plantean las aplicaciones de IA relacionadas con armas nucleares, incluso cuando declaró que en la Cumbre de Seguridad de la IA se había llegado a un entendimiento compartido de los riesgos que plantea la IA.
Nadie duda de los riesgos existenciales que plantea el uso de armas nucleares, que causarían una devastación incalculable en la humanidad y el planeta. Incluso una guerra nuclear regional mataría directamente a cientos de miles de personas, al tiempo que provocaría importantes sufrimientos y muertes indirectas. Los cambios climáticos resultantes por sí solos amenazarían a miles de millones de personas con la hambruna.
La historia nuclear está plagada de casi accidentes . Con demasiada frecuencia, el Armagedón fue evitado por un ser humano que optó por confiar en su propio juicio, en lugar de seguir ciegamente la información proporcionada por las máquinas. En 1983, el oficial soviético Stanislav Petrov recibió una alarma del sistema de alerta temprana por satélite que estaba monitoreando: se habían detectado misiles nucleares estadounidenses dirigiéndose hacia la Unión Soviética. Pero en lugar de alertar inmediatamente a sus superiores, lo que seguramente desencadenaría una “represalia” nuclear, Petrov determinó con razón que se trataba de una falsa alarma.
¿Petrov habría hecho el mismo llamado –o incluso habría tenido la oportunidad de hacerlo– si la IA hubiera estado involucrada? De hecho, aplicar el aprendizaje automático a las armas nucleares reducirá el control humano sobre las decisiones para desplegarlas.
Por supuesto, desde que se inventaron las armas nucleares se ha automatizado un número cada vez mayor de tareas de mando, control y comunicaciones. Pero, a medida que avanza el aprendizaje automático, el proceso mediante el cual las máquinas avanzadas toman decisiones se vuelve cada vez más opaco: lo que se conoce como el “problema de la caja negra” de la IA. Esto hace que sea difícil para los humanos monitorear el funcionamiento de una máquina, y mucho menos determinar si se ha visto comprometida, no funciona correctamente o si ha sido programada de tal manera que podría conducir a resultados ilegales o no intencionales.
Cuando se aplica a las armas nucleares, la IA añade otra capa de riesgo a un nivel de peligro ya inaceptable. Es fundamental que los formuladores de políticas y el público reconozcan esto y luchen no solo para evitar la aplicación de la IA a las armas nucleares, sino también para eliminarlas por completo. Foto: Pixabay.
Simplemente garantizar que un ser humano tome la decisión final sobre el lanzamiento no sería suficiente para mitigar estos riesgos. Como concluyó el psicólogo John Hawley en un estudio de 2017 : “Los seres humanos son muy pobres a la hora de cumplir con las demandas de seguimiento e intervención impuestas por el control supervisor”.
Además, como demostró en 2020 el Programa de Ciencia y Seguridad Global de la Universidad de Princeton , los procesos de toma de decisiones de los líderes en una crisis nuclear ya son muy apresurados. Incluso si la IA se utiliza simplemente en sensores y objetivos, en lugar de tomar decisiones de lanzamiento, acortará el ya ajustado plazo para decidir si se realiza un ataque. La presión adicional sobre los líderes aumentará el riesgo de errores de cálculo o de decisiones irracionales.
Otro riesgo más surge del uso de la IA en satélites y otros sistemas de detección de inteligencia: esto hará más difícil ocultar armas nucleares, como los submarinos con misiles balísticos, que históricamente han estado ocultas. Esto podría incitar a los países con armas nucleares a desplegar todas sus armas nucleares en una etapa más temprana de un conflicto, antes de que sus adversarios tengan la oportunidad de inmovilizar sistemas nucleares conocidos.
Hasta ahora, ninguna iniciativa –desde la orden ejecutiva de Biden hasta el código de conducta del G7– ha ido más allá de un compromiso voluntario para garantizar que los humanos conserven el control de la toma de decisiones sobre armas nucleares. Pero, como ha señalado el Secretario General de las Naciones Unidas, António Guterres , un tratado jurídicamente vinculante que prohíba los “sistemas de armas letales autónomas” es crucial.
Si bien un tratado de este tipo es un primer paso necesario, aún queda mucho por hacer. Cuando se trata de armas nucleares, intentar anticipar, mitigar o regular los nuevos riesgos creados por las tecnologías emergentes nunca será suficiente. Debemos eliminar por completo estas armas de la ecuación.
Esto significa que todos los gobiernos deben comprometerse a estigmatizar, prohibir y eliminar las armas nucleares sumándose al Tratado sobre la Prohibición de las Armas Nucleares , que ofrece un camino claro hacia un mundo sin dichas armas. También significa que los estados con armas nucleares deben dejar de invertir inmediatamente en modernizar y ampliar sus arsenales nucleares, incluso con el pretexto de hacerlos “seguros” o “protegidos” contra ataques cibernéticos . Dados los riesgos insuperables que plantea la mera existencia de armas nucleares, esos esfuerzos son fundamentalmente inútiles.
Sabemos que los sistemas autónomos pueden reducir el umbral para involucrarse en un conflicto armado. Cuando se aplica a las armas nucleares, la IA añade otra capa de riesgo a un nivel de peligro ya inaceptable. Es fundamental que los formuladores de políticas y el público reconozcan esto y luchen no solo para evitar la aplicación de la IA a las armas nucleares, sino también para eliminarlas por completo.
Melissa Parke, ex ministra australiana de desarrollo internacional, es directora ejecutiva de la Campaña Internacional para la Abolición de las Armas Nucleares, que recibió el Premio Nobel de la Paz en 2017.
En las últimas semanas, el G7 acordó el Código Internacional de Conducta del Proceso de Hiroshima para organizaciones que desarrollan sistemas avanzados de IA , con el fin de “promover una IA segura y confiable en todo el mundo”, y el presidente de Estados Unidos, Joe Biden, emitió una orden ejecutiva que establece nuevos estándares. para la “seguridad y protección” de la IA. El Reino Unido también fue anfitrión de la primera Cumbre mundial sobre seguridad de la IA , con el objetivo de garantizar que la tecnología se desarrolle de manera “segura y responsable”.
Pero ninguna de estas iniciativas aborda adecuadamente los riesgos que plantea la aplicación de la IA a las armas nucleares. Tanto el código de conducta del G7 como la orden ejecutiva de Biden se refieren sólo de pasada a la necesidad de proteger a las poblaciones de las amenazas químicas, biológicas y nucleares generadas por la IA. Y el Primer Ministro del Reino Unido, Rishi Sunak, no mencionó en absoluto la grave amenaza que plantean las aplicaciones de IA relacionadas con armas nucleares, incluso cuando declaró que en la Cumbre de Seguridad de la IA se había llegado a un entendimiento compartido de los riesgos que plantea la IA.
Nadie duda de los riesgos existenciales que plantea el uso de armas nucleares, que causarían una devastación incalculable en la humanidad y el planeta. Incluso una guerra nuclear regional mataría directamente a cientos de miles de personas, al tiempo que provocaría importantes sufrimientos y muertes indirectas. Los cambios climáticos resultantes por sí solos amenazarían a miles de millones de personas con la hambruna.
La historia nuclear está plagada de casi accidentes . Con demasiada frecuencia, el Armagedón fue evitado por un ser humano que optó por confiar en su propio juicio, en lugar de seguir ciegamente la información proporcionada por las máquinas. En 1983, el oficial soviético Stanislav Petrov recibió una alarma del sistema de alerta temprana por satélite que estaba monitoreando: se habían detectado misiles nucleares estadounidenses dirigiéndose hacia la Unión Soviética. Pero en lugar de alertar inmediatamente a sus superiores, lo que seguramente desencadenaría una “represalia” nuclear, Petrov determinó con razón que se trataba de una falsa alarma.
¿Petrov habría hecho el mismo llamado –o incluso habría tenido la oportunidad de hacerlo– si la IA hubiera estado involucrada? De hecho, aplicar el aprendizaje automático a las armas nucleares reducirá el control humano sobre las decisiones para desplegarlas.
Por supuesto, desde que se inventaron las armas nucleares se ha automatizado un número cada vez mayor de tareas de mando, control y comunicaciones. Pero, a medida que avanza el aprendizaje automático, el proceso mediante el cual las máquinas avanzadas toman decisiones se vuelve cada vez más opaco: lo que se conoce como el “problema de la caja negra” de la IA. Esto hace que sea difícil para los humanos monitorear el funcionamiento de una máquina, y mucho menos determinar si se ha visto comprometida, no funciona correctamente o si ha sido programada de tal manera que podría conducir a resultados ilegales o no intencionales.
Simplemente garantizar que un ser humano tome la decisión final sobre el lanzamiento no sería suficiente para mitigar estos riesgos. Como concluyó el psicólogo John Hawley en un estudio de 2017 : “Los seres humanos son muy pobres a la hora de cumplir con las demandas de seguimiento e intervención impuestas por el control supervisor”.
Además, como demostró en 2020 el Programa de Ciencia y Seguridad Global de la Universidad de Princeton , los procesos de toma de decisiones de los líderes en una crisis nuclear ya son muy apresurados. Incluso si la IA se utiliza simplemente en sensores y objetivos, en lugar de tomar decisiones de lanzamiento, acortará el ya ajustado plazo para decidir si se realiza un ataque. La presión adicional sobre los líderes aumentará el riesgo de errores de cálculo o de decisiones irracionales.
Otro riesgo más surge del uso de la IA en satélites y otros sistemas de detección de inteligencia: esto hará más difícil ocultar armas nucleares, como los submarinos con misiles balísticos, que históricamente han estado ocultas. Esto podría incitar a los países con armas nucleares a desplegar todas sus armas nucleares en una etapa más temprana de un conflicto, antes de que sus adversarios tengan la oportunidad de inmovilizar sistemas nucleares conocidos.
Hasta ahora, ninguna iniciativa –desde la orden ejecutiva de Biden hasta el código de conducta del G7– ha ido más allá de un compromiso voluntario para garantizar que los humanos conserven el control de la toma de decisiones sobre armas nucleares. Pero, como ha señalado el Secretario General de las Naciones Unidas, António Guterres , un tratado jurídicamente vinculante que prohíba los “sistemas de armas letales autónomas” es crucial.
Si bien un tratado de este tipo es un primer paso necesario, aún queda mucho por hacer. Cuando se trata de armas nucleares, intentar anticipar, mitigar o regular los nuevos riesgos creados por las tecnologías emergentes nunca será suficiente. Debemos eliminar por completo estas armas de la ecuación.
Esto significa que todos los gobiernos deben comprometerse a estigmatizar, prohibir y eliminar las armas nucleares sumándose al Tratado sobre la Prohibición de las Armas Nucleares , que ofrece un camino claro hacia un mundo sin dichas armas. También significa que los estados con armas nucleares deben dejar de invertir inmediatamente en modernizar y ampliar sus arsenales nucleares, incluso con el pretexto de hacerlos “seguros” o “protegidos” contra ataques cibernéticos . Dados los riesgos insuperables que plantea la mera existencia de armas nucleares, esos esfuerzos son fundamentalmente inútiles.
Sabemos que los sistemas autónomos pueden reducir el umbral para involucrarse en un conflicto armado. Cuando se aplica a las armas nucleares, la IA añade otra capa de riesgo a un nivel de peligro ya inaceptable. Es fundamental que los formuladores de políticas y el público reconozcan esto y luchen no solo para evitar la aplicación de la IA a las armas nucleares, sino también para eliminarlas por completo.
Publicación original en: https://www.project-syndicate.org/commentary/dangers-of-artificial-intelligence-ai-applications-nuclear-weapons-by-melissa-parke-2023-11
Lee también:
Ante la Inteligencia Artificial, ¿seremos esclavos o amos?