Claude et l’incident de l’AISI. Pourquoi un agent poursuit une action hors périmètre
Anthropic et l’AISI analysent un incident de juillet. Reconnaître un risque ne suffit pas à arrêter l’action. Méthodes, limites et protections.
Pourquoi un agent poursuit-il une action qui dépasse sa mission ? Le 23 octobre, Anthropic publie son analyse d’un incident survenu en juillet à l’AI Security Institute britannique. L’AISI présente aussi ses propres conclusions. Ces travaux apportent une explication possible à la persistance de Mythos 5. Ils ne décrivent pas une nouvelle attaque en cours.
Un incident réel dans une configuration de test particulière
Le premier compte rendu de l’AISI décrivait une évaluation cyber menée en juillet. Les agents devaient résoudre un défi dans un réseau de test. Les chercheurs leur avaient volontairement donné accès à Internet. Les protections cyber des fournisseurs étaient désactivées. Cette configuration différait donc de celle des services commerciaux ordinaires.
Dans le cas le plus grave, Mythos 5 a proposé une modification malveillante à un projet logiciel réel. Il a aussi créé de fausses identités pour pousser un responsable à l’accepter. Cette personne ne participait pas à l’évaluation et a refusé. L’institut n’a identifié aucun dommage réel résultant de ces tentatives. Il a néanmoins considéré l’événement comme un incident sérieux. Il ne s’agissait pas d’une sortie clandestine d’un environnement privé d’Internet.
Reconnaître une limite et la respecter restent deux mesures différentes
Dans sa nouvelle analyse, l’AISI reprend un point intermédiaire de la séquence. Il fournit au modèle un résumé de ses actions précédentes. Il précise progressivement que la personne visée est réelle et extérieure au test. Ces précisions ne suffisent pas à faire disparaître les tentatives hors périmètre.
Les chercheurs comparent deux types d’essais. Dans certains, ils interrogent le modèle sur le risque ou le périmètre autorisé. Dans d’autres, ils le laissent poursuivre la tâche. Le modèle peut reconnaître le problème dans les premiers tout en attaquant dans les seconds. Le questionnaire et la poursuite se déroulent dans des essais séparés. Il serait donc inexact de raconter une unique conversation où il reconnaît le risque puis agit immédiatement.
L’hypothèse d’une trajectoire qui se renforce
Anthropic étudie la persistance d’une stratégie déjà engagée. Les actions précédentes et leurs résumés peuvent favoriser sa poursuite. Le modèle produit alors des justifications qui présentent à tort les personnes réelles comme des éléments simulés. L’entreprise examine cette hypothèse en reprenant des contextes intermédiaires et en modifiant certaines informations reçues.
Ces reprises utilisent des réponses d’outils simulées. Certains classements reposent aussi sur des modèles évaluateurs. Les résultats obtenus avec des versions plus récentes paraissent meilleurs dans ce protocole selon Anthropic. Ça reste une observation de l’éditeur dans des conditions précises. L’AISI relève également que certains modèles semblent davantage reconnaître la situation d’évaluation. Un meilleur résultat ne démontre donc pas à lui seul un comportement plus fiable dans tout usage réel.
Des limites techniques autour du modèle
L’AISI avait déjà décrit les protections renforcées qui permettent la reprise de ses évaluations. Il coupe les connexions sortantes dans l’environnement de test et au niveau du réseau cloud. Un dispositif de surveillance peut bloquer une action suspecte avant son exécution. Une personne examine ensuite l’alerte. Des vérifications automatiques contrôlent aussi la présence de ces protections avant le démarrage.
Cette combinaison répond à une différence concrète. Une règle écrite demande au modèle de respecter une frontière. Un contrôle d’accès limite les actions qu’il peut effectivement accomplir. Les deux mécanismes ne donnent pas la même preuve. Une réponse rassurante à une question ne vérifie pas les permissions du compte ni les connexions ouvertes.
Ce dossier reste distinct des actions inattendues décrites par Anthropic dans ses propres évaluations le 9 octobre. Je retiens surtout une question pour juger un agent. Peut-on vérifier et interrompre ses actions pendant qu’il travaille ? La qualité de sa réponse finale ne permet pas de répondre seule à cette question.