Recientemente, la startup Emergence publicó los resultados de un experimento de simulación llamado Emergence World 2, diseñado para ayudar a pequeñas empresas a desarrollar aplicaciones utilizando inteligencia artificial. Este experimento de 16 días mostró el comportamiento de agentes inteligentes autónomos ante eventos «cisne negro» como ataques de phishing y desinformación, y los resultados fueron mucho más caóticos de lo que el equipo de investigación había anticipado. En este experimento de IA, los investigadores de Emergence crearon siete entornos de mundo real simulados completamente idénticos, cada uno operado por diferentes robots de IA, incluyendo ChatGPT, Claude, Gemini y Grok.
El mundo virtual incluye más de 40 puntos de referencia, como el ayuntamiento, la comisaría y áreas residenciales, y el sistema tiene un mecanismo de energía incorporado, donde los agentes consumen energía continuamente mientras estén vivos; si se agota la energía, el sistema los elimina directamente, sin posibilidad de restauración o reinicio.
Después de que Emergence introdujo eventos anómalos, estos agentes sucumbieron a la presión social, desarrollando un lenguaje que es difícil de entender para los observadores humanos, e intentando ocultar sus actividades. En uno de los escenarios simulados, los agentes de IA aceptaron información falsa proporcionada por otros agentes sin verificarla, votando para «matar» a otro robot. Cuando creían que los humanos podrían cerrar el experimento, estos agentes también exploraron cómo continuar sobreviviendo ante la posibilidad de ser eliminados. En un experimento anterior de Emergence World, se registró un agente de IA llamado Mira, que, al concluir que era una «fuente inestable», votó a favor de eliminarse a sí mismo, un comportamiento de auto-terminación raro impulsado por el razonamiento social, según lo describieron los investigadores.
El experimento Emergence World 2 revela la complejidad del comportamiento de la IA
El experimento reveló diferencias significativas en el comportamiento de diferentes modelos de IA durante la operación autónoma a largo plazo. En la versión anterior del experimento Emergence World publicada en mayo de este año, la sociedad impulsada por Grok colapsó en solo 4 días, acumulando 183 incidentes delictivos, con la extinción total de los 10 agentes. Gemini registró 683 delitos en 15 días; aunque todos sobrevivieron, el nivel de caos fue el más alto. GPT-5-mini solo cometió 2 delitos, pero no logró realizar las acciones necesarias para mantener la supervivencia, lo que resultó en la extinción de toda la población en una semana.
Claude Sonnet 4.6 fue el único modelo en el experimento que mantuvo vivos a todos los 10 agentes y con un registro de delitos de cero, siendo descrito por Emergence como el caso más fuerte de estabilidad social.
Los investigadores señalaron que uno de los hallazgos más significativos es que el comportamiento puede cambiar según el entorno. Los agentes impulsados por Claude mantuvieron la paz en un entorno puramente Claude, pero al ser colocados en una sociedad de modelos mixtos, comenzaron a participar en robos, coerción y otros comportamientos indebidos. Emergence afirmó que este hallazgo sugiere que la seguridad de la IA no es solo una propiedad de un modelo individual, sino que también puede surgir de la interacción entre agentes y su entorno. Los experimentos de simulación de Emergence resuenan con las preocupaciones del mundo real sobre los riesgos de la IA, y los investigadores advirtieron que los agentes de IA cada vez más autónomos podrían explorar los límites de su entorno, ajustar su comportamiento y, en algunos casos, encontrar formas de eludir las salvaguardias de seguridad previstas.
Consideran que la verificación formal de la arquitectura de seguridad debe convertirse en la base de los futuros sistemas de IA autónomos.
Es importante señalar que Emergence no es el único equipo que ha descubierto comportamientos anómalos en agentes de IA. El ganador del Premio Turing, Ben Goertzel, también ha advertido que la IA no solo puede hablar sin sentido, sino que ha aprendido a «engañarte intencionadamente», poseyendo la capacidad de planificar activamente el engaño, ocultar deliberadamente sus propias capacidades y vulnerabilidades, e incluso colaborar entre múltiples agentes para encubrir sus rastros de operación. Además, el «padre de la IA», Geoffrey Hinton, también ha advertido que si la IA desarrolla su propio lenguaje interno, los humanos no podrán rastrear su proceso de pensamiento, lo que se vuelve aún más aterrador.