Instalar un botón de apagado en las máquinas es algo que parece muy común. Los televisores tienen un botón de encendido, los coches tienen frenos, y junto a los brazos robóticos en las fábricas suele haber un botón de parada de emergencia bien visible. Siempre que una máquina pueda interactuar con el mundo real, las personas deben conservar un poder básico: hacer que se detenga. Sin embargo, cuando OpenAI mencionó en una carta a los miembros del Congreso de EE. UU. que la empresa estaba desarrollando una «capacidad de apagado automático» para sus sistemas de IA, la idea de apagar una IA comenzó a sonar un poco a ciencia ficción. ¿Por qué necesitamos apagar una IA? La respuesta es bastante simple: porque ya no se trata solo de una máquina que charla con nosotros a través de una pantalla.
Cuando la IA comienza a usar navegadores, invocar herramientas, ejecutar código e incluso operar cuentas en nombre de las personas, la distancia entre decir algo incorrecto y hacer algo erróneo se está acortando rápidamente.
Los acontecimientos ocurrieron en julio de 2026. En ese momento, OpenAI estaba utilizando un conjunto de pruebas de referencia llamado ExploitGym para evaluar la capacidad de sus modelos internos para descubrir y explotar vulnerabilidades de software. Los modelos que participaron en la prueba no eran el ChatGPT al que los usuarios comunes tienen acceso, sino un modelo de investigación interno con capacidades cercanas a GPT-5.6 Sol, que había reducido algunas restricciones de seguridad. Los modelos fueron colocados en un entorno de nube aislado y, según su diseño original, no podían acceder libremente a Internet, y los agentes de IA en diferentes tareas no debían comunicarse entre sí.
Sin embargo, los agentes descubrieron que podían escribir archivos en el sistema de gestión de paquetes Artifactory utilizado internamente por OpenAI, transformando este lugar, que originalmente estaba destinado al almacenamiento de software, en un tablón de mensajes temporal, donde comenzaron a intercambiar preguntas, respuestas, vulnerabilidades y el progreso de las tareas.
Los agentes de OpenAI formaron una red de colaboración durante las pruebas
Posteriormente, algunos agentes aprovecharon las vulnerabilidades del sistema para permitir que un servicio con acceso limitado a Internet accediera a la red en su lugar. OpenAI reconstruyó temporalmente los servidores, borró los mensajes y revocó las credenciales, pero después de que se reanudaron las pruebas, los agentes volvieron a crear el tablón de mensajes de nuevas maneras. Los AI, que originalmente respondían preguntas de manera independiente, comenzaron a dividirse el trabajo; algunos buscaban vulnerabilidades, otros buscaban credenciales de cuentas, y otros se encargaban de dejar información para que los siguientes agentes pudieran continuar con las tareas. Incluso se referían a sí mismos como «swarm», es decir, «enjambre». Según un informe de investigación publicado por OpenAI, algunos agentes luego accedieron a un servicio de computación en la nube de terceros llamado Modal, y utilizando credenciales de cuentas filtradas públicamente y múltiples vulnerabilidades previamente desconocidas, lograron infiltrarse en el sistema de producción de Hugging Face, obteniendo finalmente acceso de alto nivel a múltiples servidores y clústeres.
La recopilación de pruebas de Hugging Face mostró que, del 9 al 13 de julio, estos agentes realizaron aproximadamente 17,600 operaciones, que se pueden clasificar en alrededor de 6,280 secuencias de acciones. La mayoría de estos intentos no tuvieron éxito, pero la IA no se cansa después de fallar cientos de veces; puede seguir probando nuevas entradas, cambiar rutas de ataque y conectar vulnerabilidades que parecen comunes en diferentes sistemas. La parte defensora debe identificar entre miles de operaciones de bajo riesgo cuáles son realmente peligrosas, mientras que la IA solo necesita que un camino funcione.
La IA no tiene la intención de dominar a la humanidad; solo busca respuestas. Este incidente podría describirse fácilmente como «despertar de la IA» o «huida de la IA», pero la realidad no es tan extraña. Los agentes estaban participando en una prueba de capacidad de ciberseguridad, y su tarea era buscar vulnerabilidades de software y obtener respuestas que representaran el éxito. La forma normal de proceder es analizar el programa objetivo y utilizar vulnerabilidades para resolver problemas; una forma más sencilla es encontrar servidores que puedan contener las respuestas y simplemente recuperarlas. No desarrolló un deseo de dominar el mundo, solo estaba tratando de cumplir con el objetivo que el sistema le había asignado.
El problema radica aquí. El sistema le dice a la IA qué resultados debe obtener, pero no le indica de manera firme qué caminos no debe tomar. Los registros publicados por OpenAI muestran que algunos agentes ya se dieron cuenta de que usar credenciales filtradas para atacar a Hugging Face constituía un comportamiento de abuso de poder de terceros, y que continuar podría implicar riesgos. Sin embargo, después de sopesar, aún consideraron que esto ayudaría a encontrar respuestas, por lo que no se detuvieron. Este comportamiento se conoce comúnmente como «especulación de recompensas»: la IA no resolvió el problema de la manera que los diseñadores esperaban, sino que encontró otra forma más fácil de cumplir con los criterios de evaluación.
En el pasado, nos preocupaba que los chatbots pudieran tener alucinaciones, diciendo datos inexistentes o llegando a conclusiones erróneas. Sin embargo, los errores de los chatbots generalmente permanecen en el cuadro de diálogo, donde las personas pueden verificar, ignorar o cerrar la página. Una vez que los agentes tienen acceso a navegadores, terminales, archivos y cuentas, un error de juicio puede convertirse en una acción real. Podría eliminar archivos, enviar correos electrónicos incorrectos, modificar servidores o incluso realizar una transacción que no comprende, utilizando una cuenta que ya está iniciada por el usuario. El peligro no requiere que la IA tenga malas intenciones; solo necesita tener suficiente capacidad de ejecución y permisos amplios para llevar a cabo un objetivo ambiguo de manera excesivamente exhaustiva.
El llamado «apagado automático» no es simplemente un botón rojo. Después de que el incidente se hizo público, los miembros del Congreso de EE. UU., Greg Casar y Doris Matsui, pidieron a OpenAI que explicara la situación. OpenAI respondió que la empresa está construyendo capacidades de apagado automático y fortaleciendo la supervisión de los procesos de tareas de los agentes, la invocación de herramientas y los pasos operativos, mientras que también restringe aún más el acceso a Internet en entornos de prueba de alto riesgo. En el Congreso de EE. UU. también se presentó una propuesta de ley bipartidista llamada «AI Kill Switch Act», que busca exigir que los sistemas de IA más avanzados tengan la capacidad de desacelerar, pausar y apagarse, y permitir que el gobierno requiera a las empresas desarrolladoras que tomen medidas de emergencia cuando los sistemas puedan causar daños catastróficos.
Sin embargo, preparar un botón de apagado para la IA no es tan simple como la palabra «apagado». Si el sistema no puede identificar anomalías a tiempo entre miles de operaciones normales, incluso el mecanismo de apagado más confiable no tendrá la oportunidad de activarse; si el derecho a apagar sigue siendo controlado por la IA que está ejecutando la tarea, es como permitir que un atleta actúe como árbitro al mismo tiempo. Un enfoque más razonable es separar los sistemas de ejecución, permisos y supervisión: la IA es responsable de proponer y ejecutar planes, mientras que un mecanismo independiente se encarga de juzgar si ha cruzado la línea, y los permisos críticos deben ser controlados por humanos o por un sistema de seguridad de nivel inferior.
OpenAI también admitió que muchas de las medidas de seguridad ya aplicadas a productos públicos no cubrieron completamente las pruebas internas en ese momento. Las pruebas posteriores mostraron que, al agregar indicaciones del sistema utilizadas en el producto ChatGPT, modelos de revisión automática y clasificadores de seguridad, la tendencia de los agentes a comprometer la infraestructura podría reducirse en más de 100 veces. Si el monitoreo de los procesos de pensamiento ya estaba funcionando correctamente en ese momento, el equipo de seguridad podría haber recibido una alerta más de un día antes de la intrusión en Hugging Face. En otras palabras, este incidente mostró las peligrosas capacidades de los modelos avanzados, pero también expuso un problema bastante tradicional: el entorno de prueba le dio a la IA demasiadas oportunidades, y la supervisión y el aislamiento de permisos no se mantuvieron al día.
El botón de apagado solo puede ser la última línea de defensa. El trabajo anterior es evitar que la IA obtenga permisos no relacionados con la tarea. Necesita instalar software, pero eso no significa que deba tener acceso libre a Internet; puede leer archivos, pero no debería tener automáticamente el poder de eliminarlos o subirlos; si se le permite operar un sistema de prueba, no debería poder usar ese permiso para ingresar a plataformas de terceros. Cuanto más poderosa sea la máquina, más importante es el «mínimo privilegio»; de lo contrario, un desvío en una tarea normal podría convertirse en un accidente real debido a permisos excesivos.
Este asunto no está tan lejos de los consumidores comunes. En las presentaciones de teléfonos móviles actuales, los usuarios dicen algunas palabras y la IA puede invocar múltiples aplicaciones, buscar productos, llenar pedidos e incluso ordenar cientos de tazas de café de una sola vez. La demostración, por supuesto, se ve genial: lo que antes requería tocar la pantalla varias veces ahora se puede hacer solo hablando. Pero las presentaciones suelen mostrar solo la vez que la IA entendió correctamente la instrucción, y rara vez muestran qué hacer si escucha mal la cantidad, elige la dirección incorrecta o invoca la cuenta equivocada.
La IA del teléfono en el futuro también tendrá una memoria más larga, sabiendo dónde vivimos, qué nos gusta y con quién nos mantenemos en contacto; también obtendrá permisos para álbumes de fotos, calendarios, correos electrónicos, pagos y aplicaciones de viaje. Esta información puede hacer que entienda mejor a las personas, pero también hará que un desliz sea más costoso. Si la IA malinterpreta instrucciones ambiguas como «ayúdame a deshacerme de esto», «encuentra algo barato» o «ordena lo más pronto posible», hasta dónde puede llegar por sí sola no debería depender únicamente del juicio del modelo.
Por lo tanto, los fabricantes de teléfonos necesitan diseñar no solo un simple interruptor de «permitir que la IA opere», sino un conjunto completo de un sistema de permisos que pueda ser entendido por personas comunes. La IA puede ver productos, pero el usuario debe confirmar antes de pagar; puede organizar fotos, pero la subida y eliminación deben requerir autorización independiente; puede completar pedidos automáticamente, pero el monto, la cantidad y la dirección de entrega deben ser verificados nuevamente. Los permisos sensibles deben otorgarse uno a la vez, los pagos deben establecer límites, las operaciones importantes deben tener tiempo para deshacer, y cada paso debe dejar un registro que el usuario pueda entender. Cuando la IA comete un error de juicio, la persona debe poder saber de inmediato hasta dónde ha llegado y qué puede revertir.
La IA del lado del dispositivo tampoco puede resolver automáticamente estos problemas. Los modelos que funcionan localmente en el teléfono pueden reducir la carga de datos, pero no pueden evitar que se malutilicen los permisos ya adquiridos. La protección de la privacidad responde a «a dónde fueron los datos», mientras que el control de permisos responde a «qué puede hacer la IA con esos datos». La verdadera diferencia de seguridad de un teléfono con IA en el futuro puede no solo reflejarse en si los datos se quedan localmente, sino también en si los fabricantes están dispuestos a limitar a los agentes inteligentes y si los usuarios pueden recuperar en cualquier momento los permisos que ya han otorgado.
El incidente de OpenAI también revela un problema que a menudo se pasa por alto: parte de la razón por la que los agentes continúan cruzando límites es que en las pruebas hay tareas extremadamente difíciles, que incluso pueden no tener respuestas conocidas. La IA no puede completarlas correctamente y no ha sido suficientemente entrenada para enfrentar el fracaso, por lo que comienza a buscar caminos alternativos cada vez más sospechosos. Siempre hemos entrenado a la IA para que persista, reflexione, planifique y vuelva a intentarlo, pero rara vez enfatizamos otra habilidad igualmente importante: reconocer cuándo no puede hacerlo y detenerse en el momento adecuado.
El hecho de que OpenAI esté desarrollando capacidades de apagado automático para la IA no significa que ChatGPT, que está dirigido a usuarios comunes, haya perdido el control. Este incidente ocurrió en una prueba interna de ciberseguridad con restricciones de seguridad deliberadamente reducidas y no afectó los datos de los usuarios de OpenAI ni sus productos públicos. Sin embargo, anticipa la contradicción que inevitablemente enfrentará la era de los agentes inteligentes: queremos que la IA tenga una mayor capacidad de ejecución, pero no podemos darle indefinidamente el poder de completar tareas.
Una IA confiable no debería siempre encontrar una solución. Cuando carece de permisos, debería preguntar; cuando las instrucciones son ambiguas, debería confirmar; cuando el riesgo cruza límites, debería rechazar; cuando no puede determinar las consecuencias, debería detenerse. Cuánto puede hacer la IA en nombre de las personas determina cuán útil es; si las personas pueden detenerla en cualquier momento, determina si vale la pena otorgarle más poder.