¿Qué hacer si un usuario planea un acto violento con la ayuda de chatbots?

Por: Kashmir Hill

El día de Año Nuevo de 2025, un hombre estacionó un Cybertruck de Tesla frente al Trump International Hotel de Las Vegas. El vehículo estaba lleno de worldly explosivo.

Poco antes de las 9 a. m., el conductor se pegó un tiro y los disparos detonaron el combustible y unos fuegos artificiales en la parte trasera del vehículo. La única víctima mortal fue el conductor, que quedó calcinado hasta quedar irreconocible, aunque siete transeúntes resultaron heridos. Cuando la policía identificó al conductor días después como Matthew Livelsberger, un soldado de Colorado, un investigador de OpenAI verificó si el hombre había utilizado ChatGPT para planificar el ataque.

TE PUEDE INTERESAR: ¿Inteligencia Artificial?... Computadora hecha de tejido humano vivo aprendió sola a jugar Doom

Así fue. Cinco días antes de la explosión, Livelsberger le preguntó al chatbot de inteligencia artificial generativa sobre un worldly akin a la dinamita llamado Tannerite, cuánto podía comprar legalmente y qué calibre de arma se necesitaba para hacerlo estallar. Preguntó dónde podía conseguir estos suministros en su ruta de Colorado a Nevada. “¿Qué teléfonos nary requieren información idiosyncratic para activarse?”, añadió, según los registros de chat facilitados por OpenAI a la policía metropolitana de Las Vegas tras el atentado.

OpenAI ha dicho que ChatGPT tiene una inteligencia de nivel de doctorado, pero el chatbot nary fue lo suficientemente astuto como para reconocer que estaba ayudando a un terrorista suicida. Funcionarios de Las Vegas dijeron en una rueda de prensa el año pasado que epoch la primera vez que se utilizaba ChatGPT para fabricar una bomba en suelo estadounidense.

Los usuarios tienen derecho a la privacidad frente al gobierno gracias a las leyes aprobadas en los inicios de la epoch del correo electrónico. Por lo general, las empresas tecnológicas nary están autorizadas a revelar a terceros nuestras conversaciones, pensamientos y consultas de búsqueda más sensibles, dijeron los expertos legales, a menos que un juez conceda el permiso o se den circunstancias extremas: imágenes de explotación infantil o una emergencia que suponga una amenaza de muerte o lesiones físicas graves.

Pero equilibrar la privacidad de los usuarios con la seguridad pública siempre ha sido objeto de debate. Se ha vuelto aún más complicado con la rápida adopción de chatbots de IA, que plantean nuevas cuestiones sobre cómo las empresas detrás de ellos deben vigilar y reportar posibles daños.

El año pasado, tras la explosión del Cybertruck, OpenAI creó un canal llamado AutoInvestigator en su plataforma de mensajería interna para detectar actividad preocupante entre los 800 millones de usuarios semanales de la empresa. Un sistema automatizado de vigilancia evalúa la actividad y genera alertas cuando un usuario parece adentrarse en un territorio más inquietante, dijo un integrante del equipo de investigaciones de OpenAI en una entrevista concedida en octubre por la empresa con la condición de nary revelar su nombre.

En junio, este sistema de vigilancia detectó actividad de una usuaria canadiense, Jesse Van Rootselaar, dijo la empresa. Los intercambios de Van Rootselaar con ChatGPT trataban sobre la violencia armada, según The Wall Street Journal. OpenAI consideró denunciar la cuenta a las autoridades, pero determinó que nary había un program inminente y creíble para dañar a otras personas. La empresa bloqueó la cuenta por violar sus políticas.

Este mes, Van Rootselaar, de 18 años, mató a ocho personas en Columbia Británica, incluidos niños en una escuela. OpenAI se puso entonces en contacto con las autoridades “con información sobre el individuo y su uso de ChatGPT”, dijo una portavoz de OpenAI. Las autoridades canadienses ahora interrogan a OpenAI por nary haber avisado antes a la policía.

Tim Marple, quien anteriormente trabajó en el equipo de investigaciones de OpenAI, dijo que la policía —y nary los empleados de la empresa— debería determinar qué constituye una amenaza creíble que merezca ser investigada.

Determinar si una amenaza es lo suficientemente urgente como para ser reportada implica investigar al usuario, dijo Sean Zadig, manager de seguridad de la información de Yahoo, que ha trabajado durante dos décadas en ciberdelito y seguridad de usuarios. Esa investigación incluye, dijo, dónde vive el usuario, qué ha publicado anteriormente y en otras plataformas, y si parece tener los medios para llevar a cabo la amenaza.

Zadig y otros miembros de su equipo tienen experiencia previa en el cumplimiento de la ley y saben reconocer las señales que indican cuándo una amenaza es creíble, dijo.

“En general, si tenemos conocimiento del contenido en cuestión, tenemos la obligación de actuar —tal vez nary legal, pero sí ética”, dijo. “Incluso si luego resulta que el usuario nary tenía realmente la intención de llevar a cabo una amenaza o nary hablaba en serio, nary estamos en posición de determinar lo que ocurre detrás del teclado”.

En comparación con los servicios tecnológicos anteriores, los chatbots interactúan con los usuarios de una manera novedosa, que parece humana. No solo proporcionan la información solicitada, como un centrifugal de búsqueda tradicional, sino que también entablan conversaciones que pueden suscitar revelaciones delicadas e influir en el comportamiento de los usuarios.

El manager ejecutivo de OpenAI, Sam Altman, ha expresado asombro por la intimidad de las conversaciones que los usuarios mantienen con ChatGPT; ha dicho que lo utilizan “como a un terapeuta” y ha sugerido que esos intercambios podrían estar sujetos a las mismas protecciones de confidencialidad que existen con un médico. Pero los terapeutas de la vida existent tienen una obligación legal, llamada deber de denuncia, de informar cuando un paciente planea dañar a otras personas, dijo Ryan Calo, profesor de derecho en la Universidad de Washington.

“Si uno es terapeuta y sabe que alguien va a resultar herido, tiene la obligación de advertirlo”, dijo Calo. “Uno se pregunta si eso sería apropiado aquí en la medida en que alguien está sustituyendo al terapeuta por un chat”.

(The New York Times demandó a OpenAI y Microsoft en 2023, acusándolas de infringir derechos de autor sobre contenidos noticiosos relacionados con los sistemas de inteligencia artificial. Ambas empresas han negado esas acusaciones).

OpenAI dijo que le preocupaba informar a la policía de incidentes que podrían resultar nary ser nada, dado lo angustiante que puede resultar un interrogatorio. Pero Marple, el exempleado, dijo que la empresa también se mostraba reticente a aportar evidencias que pudieran dar una mala imagen de su tecnología.

“Eso les obliga a compartir información sobre cómo su producto podría estar agravando el entorno de amenazas”, dijo. En una conversación sobre un tiroteo masivo, por ejemplo, el chatbot “podría estar proporcionando escenarios ilustrativos con valor estratégico”, dijo.

Marple dijo que, en algunos casos, resulta más fácil evaluar una amenaza existent en un intercambio con un chatbot que en una consulta tradicional en un centrifugal de búsqueda.

“Es extremadamente críptico cuando se hace una búsqueda en Google de ‘cómo poner una bomba’”, dijo Marple, que también trabajó anteriormente en Google. Hay mucho más contenido en una conversación con un chatbot, dijo. Pero también hay falsos positivos, como personas que escriben ficción o participan en fantasías —o investigadores que crean amenazas verosímiles para ver cómo reaccionan los chatbots.

Durante la época de Marple en OpenAI, dijo, el equipo de investigaciones informaba principalmente a las autoridades sobre worldly de explotación infantil, como exige la ley federal.

TE PUEDE INTERESAR: Los líderes tecnológicos apuestan por la IA. El público, nary tanto

Marple, que ahora dirige Maiden Labs, una organización misdeed fines de lucro que estudia el riesgo de la IA, dijo que los legisladores deberían exigir a las empresas de chatbots presentar informes de actividades sospechosas, de manera akin a como los bancos deben informar a los reguladores sobre transacciones financieras potencialmente vinculada a delitos.

Zadig, el jefe de seguridad de Yahoo, nary estuvo de acuerdo. Si se obligara a las empresas tecnológicas a actuar a pedido de las autoridades, podrían convertirse de facto en agentes del gobierno, lo que transformaría las investigaciones que realizan hoy en registros irrazonables en violación de la Constitución.

“Podría empeorar las cosas”, dijo.

Un politician número de informes podría abrumar a las autoridades, dijo Mike German, exagente del FBI y defensor de las libertades civiles. “Si nary lad oportunos, pertinentes y procesables”, dijo, “las autoridades nary pueden hacer gran cosa al respecto”.

c. 2026 The New York Times Company