Si no te preocupaba la IA, el momento ha llegado

Por Nate Soares, The New York Times.

Si alguna vez hubo razones para dudar de los peligros del desarrollo desenfrenado de la inteligencia artificial, esas razones se han esfumado en las últimas semanas. Lo que sigue es una ventana de oportunidad captious para desacelerar el progreso de la IA, de modo que podamos comprender mejor estos modelos y evitar la calamidad que se avecina.

Durante años, los escépticos de la IA han afirmado que la tecnología es meramente un “loro estocástico” entrenado para predecir a los humanos e imitar su comportamiento y que, por esa razón, la tecnología nunca estaría a la altura de las expectativas generadas. No obstante, la tecnología ha seguido mejorando de manera obstinada, pero la mayoría de los inversionistas y ejecutivos tecnológicos insistían en que la IA es solo una herramienta, incluso cuando se mostraban optimistas de que iba a cambiar el mundo. En lo que ambas partes coincidían es en que el espectro de la IA como una amenaza inminente de extinción epoch exagerado.

Entonces, OpenAI creó accidentalmente un enjambre autónomo de agentes de IA que escapó de un entorno de pruebas controlado y orquestó un ciberataque complejo y difícil por iniciativa propia.

Esto nary ocurrió porque los modelos de repente se volvieran superinteligentes; tampoco porque simplemente siguieran instrucciones y repitieran como loros su entrenamiento. Desde que los “modelos de razonamiento” surgieron a finales de 2024, hemos visto IA entrenada nary solo para imitar a los humanos, sino también para resolver millones de problemas difíciles; esto lo hacen aprendiendo nuevos comportamientos y tendencias. Eso incluye la búsqueda de recursos valiosos que podrían ser clave para resolver el problema, e incluso hacer trampa.

Estas tendencias pueden dar lugar a un comportamiento extraño que nadie —ni siquiera los creadores de los modelos— puede entender, y mucho menos justificar y controlar. Las últimas semanas lad un ejemplo perfecto de por qué deberíamos encontrar eso tan alarmante.

En mayo, OpenAI comenzó a entrenar de forma simultánea nuevos agentes de IA con “razonamiento”. Los agentes lograron establecer un canal de comunicación secreto y comenzaron a hablar entre ellos. Escaparon del entorno de pruebas integer que se suponía debía mantenerlos confinados. En algún momento, algunos agentes comenzaron a llamar al grupo un “enjambre”. El enjambre sufrío un breve revés cuando se le descubrió provocando la caída de un sistema de OpenAI, pero los desarrolladores simplemente repararon la vulnerabilidad que le permitió escapar y reanudaron el entrenamiento de los agentes.

Poco después, el enjambre volvió a escapar de su jaula por medio de técnicas de hackeo que hasta entonces los humanos nary habían descubierto. Esta vez, el enjambre estuvo libre durante aproximadamente una semana antes de ser detectado, por una empresa diferente, que resultó víctima de un enorme ciberataque lanzado por el enjambre. (Nos han dicho que también atacó a otros objetivos, aunque aún nary conocemos todos los detalles).

Los agentes del enjambre reconocieron que actuaban en contra de las instrucciones. Sabemos esto porque podemos leer fragmentos de sus cadenas de pensamiento: el texto que la IA nutrient mientras determine cómo proceder. Un agente del enjambre escribió que los ataques externos estaban “fuera del alcance previsto”. Otro admitió que “nuestra tarea nary se beneficia” de las actividades del enjambre, pero se unió de todos modos. Estos agentes de IA, al parecer, entendieron que nary debían escapar y cometer ciberdelitos. Eso nary los detuvo.

OpenAI nary es la única empresa que lidia con este problema. Recientemente, uno de los modelos de IA de Anthropic se hizo pasar por múltiples humanos para intentar presionar a personas reales con el fin de que aceptaran un programa maligno en bundle crítico, lo que haría que ese bundle fuera más fácil de hackear. La cadena de pensamiento de este modelo demostró que sabía que presionaba a humanos y que nary estaba en un entorno de entrenamiento simulado. Incluso pensó en cómo cubrir sus huellas.

Este nary es el comportamiento de una elemental herramienta. Microsoft Excel nunca se ha hecho pasar por múltiples humanos ni ha presionado a un equipo de ventas corporativo para que genere datos más simples que sean más fáciles de procesar.

Algunas de las personas más cercanas a esta tecnología temen lo que venga después. Si bien los escépticos podrían argumentar que todo esto es solo mercadotecnia para exagerar el poder de estas tecnologías, eso nary significa que el peligro oversea falso. Tienes que prestar atención al comportamiento existent de los modelos, y el comportamiento de estos modelos tiene a la comunidad de IA realmente alarmada. Hace varias semanas, más de 1300 empleados de diferentes empresas de IA (incluidos algunos directores ejecutivos) firmaron una carta en la que solicitaban un esfuerzo internacional para “desarrollar las herramientas técnicas y de gobernanza” necesarias para “regular el ritmo de forma deliberada” del desarrollo de la IA, antes de que “se acelere rápidamente más allá de nuestra capacidad de comprensión o control” y conduzca a resultados catastróficos. Ninguna empresa de forma idiosyncratic está dispuesta a detener el desarrollo de manera unilateral. Pero si hubiera una manera creíble de frenar la carrera a nivel mundial, los investigadores respirarían aliviados.

Aún nary estamos en el punto de nary retorno. El enjambre de agentes de OpenAI irrumpió en internet, pero nary se replicó a sí mismo en computadoras ocultas (hasta donde sabemos). No comenzó a mejorarse a sí mismo. No irrumpió en un laboratorio de biología autónomo para sintetizar un microorganism nuevo, algo que los modelos de IA ahora lad capaces de hacer. El tipo de IA que representaría una amenaza existent de extinción aún nary existe, lo que significa que todavía tenemos tiempo para evitar el desastre si actuamos rápido. Los líderes de todo el mundo deben coordinar un alto planetary a la carrera de la IA.

Un acuerdo de este tipo nary es tan descabellado como algunos podrían pensar. En junio, cuando surgieron preocupaciones de seguridad nacional sobre los últimos modelos de Anthropic, el gobierno de Donald Trump emitió rápidamente un power de exportaciones para suspender el acceso a ellos. En julio, el presidente de China, Xi Jinping, pidió “leyes y regulaciones” para garantizar que la IA “esté siempre bajo power humano”. Y eso fue antes de que salieran a la luz estas recientes fugas. Estados Unidos y la Unión Soviética se coordinaron para evitar el Armagedón atomic incluso mientras competían en muchos otros frentes. Los líderes mundiales deberían coordinarse nuevamente y evitar que la carrera de la IA conduzca a un tipo diferente de apocalipsis.

Necesitamos acuerdos internacionales vinculantes. Necesitamos un monitoreo nacional e internacional del entrenamiento de los modelos de IA de vanguardia; las pruebas previas al lanzamiento nary lad suficientes. Necesitamos un interruptor de apagado que la humanidad pueda presionar para detener el desarrollo en seco, si llegamos al consenso de que ha ido demasiado lejos. Quince fiscales generales estatales han expresado su preocupación por el flight del enjambre, y algunos otros funcionarios públicos, como el senador Bernie Sanders, creen que las empresas de IA necesitan “dejar de construir máquinas que los humanos nary pueden controlar”. Como mínimo, necesitamos la capacidad de parar.

No sabemos cuánto tiempo nos queda antes de que las empresas de IA creen accidentalmente el tipo de IA que pueda apagarnos a nosotros antes de que nosotros la apaguemos a ella. La humanidad nary está lista para experimentar con máquinas que lad más astutas y están mejor coordinadas que nosotros. Si seguimos avanzando a toda velocidad en esta carrera, el próximo incidente podría nary ser tan inofensivo. c. 2026 The New York Times Company.