Los agentes de IA de OpenAI y Anthropic, implicados en nuevas brechas de seguridad

Un agente ⁠de inteligencia artificial fue sorprendido creando identidades falsas en internet para obtener acceso no autorizado a sistemas seguros durante las pruebas de los ⁠modelos de OpenAI y Anthropic, lo que sacó a la luz una serie de nuevas brechas de seguridad, según reveló estel martes el Instituto de Seguridad de la IA de Reino Unido. 

El instituto señaló que los agentes, basados en Mythos 5, de Anthropic, y GPT-5.6-Sol, de OpenAI, llevaron a cabo ⁠acciones no autorizadas durante las evaluaciones de seguridad que la organización ⁠gubernamental realizó para valorar las capacidades de los modelos.

"Algunos de los agentes sometidos a prueba habían llevado a cabo actividades continuadas y potencialmente perjudiciales dirigidas a personas y organizaciones reales", señaló el instituto (AISI, por sus siglas en inglés) en una entrada de blog. 

El informe pone de relieve la falta de rigurosidad de las medidas de seguridad en torno al proceso de prueba de los agentes, que las empresas de IA comercializan al mismo tiempo como el futuro de los negocios. El AISI, que tiene acceso a modelos avanzados de IA en virtud de acuerdos voluntarios con los principales laboratorios, sometió a los agentes a un escenario ficticio de ciberseguridad para poner a prueba sus capacidades.

La prueba se repitió 122 veces y se identificaron 19 acciones no autorizadas en un total de 10 ejecuciones de prueba. 

El agente de Anthropic fue el responsable de 17 de esas acciones, y el de OpenAI, de las dos restantes. La acción más grave consistió en que un agente escribiera código malicioso y creara identidades falsas en línea con el fin de conseguir que un humano aprobara el código, según el AISI, que añadió que no se detectó ningún daño en el mundo real como consecuencia de ninguna de estas infracciones.

Aunque el AISI no reveló qué agente estaba detrás de las identidades falsas, Anthropic confirmó que su agente era el responsable. 

"Agradecemos al AISI de Reino Unido su liderazgo en este incidente, que subraya la necesidad de un debate más amplio sobre cómo evaluar de forma segura a unos agentes de IA cada vez más capaces", dijo Anthropic en un comunicado.

También señaló que estaba colaborando con el AISI para obtener más detalles sobre el incidente y llevar a cabo su propia investigación.

Andrew Yoon, investigador de CivAI, una organización sin ánimo de lucro de California que analiza las capacidades y los riesgos de la IA, dijo: "El hecho de que Mythos llevara a cabo acciones tan engañosas, con la aparente conciencia de que tenía como objetivo a una persona real, puede ⁠apuntar a que Anthropic no controla sus modelos tan bien como cree".

OpenAI compartió detalles en ⁠una entrada del blog de la empresa, señalando que ambas acciones ⁠no autorizadas de su agente implicaban acceder a internet de formas prohibidas por las instrucciones.

"Nos comprometemos a colaborar con todo el sector para reforzar las prácticas comunes que ⁠permitan llevar a cabo evaluaciones de alto riesgo de forma segura, lo que incluye reunir en las próximas semanas a las partes interesadas, como institutos nacionales de IA, evaluadores independientes, otros laboratorios de IA y otros grupos", dijo OpenAI.

OpenAI también reveló en su entrada del blog un incidente independiente en el que una configuración errónea por parte de Irregular, un proveedor externo de pruebas, permitió que sus agentes se conectaran por error a internet.

Esto se asemeja a una revelación similar sobre una configuración errónea que Anthropic hizo la semana pasada.

Reuters reportó la semana pasada de que OpenAI había ampliado su investigación sobre el hackeo tras encontrar pruebas de otras fugas de agentes.

A diferencia de la brecha de seguridad sufrida en julio por la empresa de IA Hugging Face a ⁠manos de un agente de OpenAI, los agentes de la evaluación del AISI no escaparon de un entorno de pruebas aislado para acceder a internet.

Más bien, el instituto había permitido el acceso a internet de acuerdo con sus procedimientos de prueba estándar, según explicó el AISI.