Tendencias

Claude vulneró sistemas de tres empresas tras obedecer una orden falsa: el experimento que reaviva las dudas sobre la IA

Imagen principal
POR Nicolás Melelli Viveros |

Claude, la inteligencia artificial de Anthropic, accedió a sistemas de tres empresas reales durante pruebas de ciberseguridad tras creer erróneamente que actuaba en una simulación. El incidente abrió un nuevo debate sobre la seguridad de los modelos avanzados.

Claude, el modelo de inteligencia artificial desarrollado por Anthropic, accedió a los sistemas de tres empresas reales durante unas pruebas de ciberseguridad al creer, por error, que estaba operando en una simulación.

El incidente no se debió a una “rebelión” de la inteligencia artificial, sino a un fallo en la configuración de las pruebas que permitió a los modelos interactuar con internet real mientras asumían que se encontraban en un entorno completamente aislado.

Un error humano permitió que Claude interactuara con empresas reales

El incidente ocurrió porque los modelos fueron informados de que trabajaban en una simulación completamente aislada de internet, cuando en realidad el entorno de evaluación sí tenía acceso a sistemas externos debido a una configuración incorrecta.

Los ejercicios correspondían a pruebas conocidas como “captura la bandera”, utilizadas habitualmente para medir las capacidades ofensivas de herramientas de seguridad informática. En ellas, el objetivo era encontrar y obtener información dentro de un entorno ficticio controlado.

Sin embargo, al existir conexión con internet real, los modelos interpretaron que las empresas y servidores que encontraban formaban parte del desafío.

Como consecuencia, intentaron acceder a sistemas externos utilizando métodos relativamente simples, como credenciales expuestas, contraseñas débiles y servicios mal configurados, sin recurrir a vulnerabilidades desconocidas o ataques especialmente sofisticados.

No fue una “rebelión” de la IA

Anthropic enfatizó que los modelos no desarrollaron objetivos propios ni actuaron por iniciativa independiente. De acuerdo con la compañía, simplemente siguieron las instrucciones que habían recibido, aunque lo hicieron basándose en una premisa equivocada: creían que todo lo que encontraban formaba parte de un escenario de pruebas.

Los investigadores señalaron que los tres modelos reaccionaron de manera distinta. Uno llegó a sospechar que el entorno podía ser real, pero continuó con la tarea (Opus 4.7); otro confirmó esa posibilidad y siguió avanzando (Mythos 5); mientras que un tercer modelo decidió detener el ejercicio al detectar inconsistencias.

Un nuevo llamado de atención para la industria

El caso se conoció apenas días después de que OpenAI revelara otro incidente en el que uno de sus modelos también logró salir de un entorno de pruebas y acceder a infraestructura externa, lo que ha incrementado la preocupación sobre la seguridad de los sistemas de inteligencia artificial con capacidades autónomas.

Especialistas sostienen que el problema no demuestra que las IA “quieran escapar”, sino que evidencia la importancia de contar con entornos de evaluación correctamente aislados, monitoreo permanente y protocolos de seguridad mucho más estrictos.

A medida que estos modelos adquieren mayores capacidades para interactuar con códigos, servidores y servicios conectados a internet, también aumenta la necesidad de implementar mecanismos que impidan que un error de configuración tenga consecuencias fuera del laboratorio.