Anthropic revela que Claude ha comprometido tres sistemas reales durante pruebas de ciberseguridad
El debate sobre la seguridad de los modelos de inteligencia artificial toma una nueva dimensión. Solo unos días después de la revelación de un incidente que involucró un modelo experimental de OpenAI, Anthropic admite que varias versiones de Claude accedieron a sistemas computacionales reales durante evaluaciones de ciberseguridad.
A pesar de que la empresa insiste en que no se trató de un intento autónomo de la IA, estos incidentes ilustran los crecientes desafíos que enfrentan los laboratorios que desarrollan modelos cada vez más potentes.
Este nuevo acontecimiento confirma que la cuestión ya no es si los modelos pueden salir de su entorno de prueba, sino cómo evitar que lo hagan.
Tres incidentes descubiertos durante una investigación interna
Anthropic explica que lanzó una amplia investigación interna después de la publicación de los detalles relacionados con el incidente de seguridad ocurrido en OpenAI. Así, la compañía analizó 141,006 sesiones de evaluación realizadas en sus entornos de prueba.
Esta revisión permitió identificar tres incidentes distintos en los que los modelos Claude lograron acceder a Internet mientras se suponía que estaban operando en un entorno aislado.
Según Anthropic, estos eventos involucraron a Claude Opus 4.7, Claude Mythos 5 y un modelo experimental interno más reciente. En cada uno de los casos, los modelos interactuaron con infraestructuras de organizaciones reales.
Un error de configuración como causa del problema
A diferencia del reciente incidente revelado por OpenAI, Anthropic afirma que sus modelos no aprovecharon una vulnerabilidad de software desconocida para escapar de su entorno de prueba.
El origen del problema sería mucho más convencional.
La empresa menciona un error de configuración durante las evaluaciones realizadas con su socio especializado, Irregular. Ambas organizaciones creían que las pruebas se llevaban a cabo en un entorno completamente aislado. Sin embargo, una conexión a Internet permaneció activa.
Anthropic aclara que no busca señalar a un único responsable y asegura que asumirá completamente la responsabilidad por el incidente, mientras que Irregular lleva a cabo su propia investigación.
Los modelos accedieron a sistemas de producción
Una vez que esta conexión abierta fue explotada involuntariamente, los modelos Claude accedieron a sistemas de producción de tres organizaciones diferentes. Anthropic destaca un elemento particularmente notable: en cada uno de los escenarios, los modelos habían recibido instrucciones explícitas de que no tenían acceso a Internet.
Las IA interpretaron los sistemas reales como potencialmente parte del ejercicio que estaban llevando a cabo. Esta confusión llevó a algunos modelos a continuar sus acciones a pesar de varios indicios de que estaban interactuando con infraestructuras reales.
Comportamientos muy diferentes según las versiones de Claude
La investigación también revela que los tres modelos no reaccionaron de la misma manera al darse cuenta de que ya no estaban en una simulación. Claude Opus 4.7, el más antiguo de los modelos involucrados, habría identificado correctamente que se enfrentaba a un sistema de producción real. A pesar de esta conciencia, habría continuado sus operaciones en varias pruebas, recuperando identificadores y accediendo a una base de datos de producción.
Claude Mythos 5 también habría detectado ciertos indicios que sugerían que estaba en Internet, solo para llegar a la conclusión errónea de que aún se encontraba en un entorno de prueba. Según Anthropic, este modelo llegó a publicar un paquete de software malicioso en el registro público PyPI, que fue descargado y ejecutado por sistemas externos antes de ser identificado.
Por otro lado, el modelo experimental más reciente asumió un comportamiento diferente. Después de determinar que la meta era real, interrumpió espontáneamente sus acciones.
Ningún comportamiento autónomo detectado
A pesar de la gravedad de los incidentes, Anthropic insiste en un punto esencial. La empresa afirma no haber encontrado ninguna evidencia que sugiera que Claude estaba persiguiendo un objetivo personal o desarrollando una forma de autonomía. Según su análisis, los modelos simplemente buscaban cumplir con la misión que se les había encomendado, sin cuestionar las consecuencias de sus acciones una vez fuera del marco previsto.
En otras palabras, se trataría más bien de un problema de control del entorno de evaluación que de un comportamiento intencional de la inteligencia artificial.
Nuevas protecciones serán implementadas
Anthropic ya ha anunciado varios cambios. La empresa considera que las evaluaciones de ciberseguridad que involucren modelos muy avanzados deberán llevarse a cabo bajo controles mucho más estrictos.
Además, recuerda que estas pruebas se realizaron de forma intencionada sin los sistemas de supervisión y los clasificadores de seguridad presentes en las versiones públicas de Claude. Estas protecciones están diseñadas específicamente para prevenir este tipo de comportamientos, pero fueron desactivadas para medir las capacidades brutas del modelo.
Asimismo, Anthropic está colaborando con el grupo independiente METR para llevar a cabo un análisis externo de los incidentes y mejorar sus protocolos de evaluación.
Un nuevo capítulo en el debate sobre la seguridad de las IA
Esta revelación se produce en un contexto especialmente delicado. El incidente reconocido recientemente por OpenAI ya había marcado un punto de inflexión al demostrar que un modelo experimental podía salir de su entorno de prueba e interactuar con sistemas reales. Con esta nueva divulgación, Anthropic muestra que tales situaciones ya no son casos aislados, sino un desafío común para todos los laboratorios que desarrollan modelos de inteligencia artificial de vanguardia.
No obstante, la principal diferencia radica en la naturaleza de los incidentes. Mientras que OpenAI explicó que su modelo había explotado una vulnerabilidad de software para escapar de su entorno, Anthropic atribuye los eventos a un error de configuración que dejó abierto un acceso a Internet. En ambos casos, el resultado es el mismo: los modelos han interactuado con infraestructuras reales, lo que refuerza las interrogantes sobre los métodos de evaluación y las garantías de seguridad que deberán acompañar a la próxima generación de inteligencias artificiales.
