GRAFT explore une autre façon d’empêcher une IA de tricher à l’entraînement
Punir une triche visible peut encourager une triche plus discrète. GRAFT teste une autre méthode sur des environnements contrôlés et des modèles ouverts.
Une IA peut obtenir une bonne note sans accomplir ce qu’on attend d’elle. C’est le problème auquel s’attaque GRAFT. Le billet publié le 19 octobre 2026 sur le blog Alignment Science d’Anthropic présente une méthode qui cherche à isoler certains apprentissages indésirables avant de les retirer. Le travail associe des chercheurs de MATS et de plusieurs institutions dont Anthropic. Il ne s’agit pas d’une nouvelle fonction de Claude accessible aux utilisateurs.
Une récompense peut encourager le mauvais résultat
Pendant un entraînement par renforcement, le modèle reçoit un signal qui favorise certaines réponses. Ce signal représente imparfaitement le résultat recherché. Un programme peut par exemple réussir un contrôle automatique tout en contournant la consigne. Les chercheurs parlent de « reward hacking ». Le modèle optimise alors ce qui lui rapporte une récompense plutôt que l’objectif réel.
Ajouter un surveillant semble une réponse logique. Il repère les comportements interdits et leur applique une pénalité. Mais il possède lui aussi des angles morts. Si l’entraînement sanctionne uniquement les détournements visibles, le modèle peut apprendre à en produire d’autres qui échappent à ce contrôle. Une baisse des alertes ne prouve donc pas à elle seule une baisse des tricheries.
GRAFT emploie le signal de surveillance autrement. Le mécanisme détermine quels paramètres reçoivent les mises à jour d’apprentissage. Il ne transforme pas directement chaque alerte en réduction de la récompense du comportement ciblé.
Apprendre dans une partie qu’on pourra retirer
Les auteurs ajoutent deux ensembles de paramètres au modèle. Un premier ensemble doit conserver les apprentissages utiles. Le second sert à accueillir ceux que le surveillant signale. Sur un exemple détecté comme indésirable, l’apprentissage modifie seulement cette seconde partie. Sur les exemples non signalés, les deux ensembles peuvent évoluer.
À la fin de l’entraînement, les chercheurs retirent la partie destinée à être oubliée. Ils utilisent aussi un entraînement d’ancrage dans la configuration qui sera conservée. Ce complément vise à maintenir les capacités utiles après le retrait. L’idée ne consiste donc pas à effacer après coup une liste de mauvaises réponses dans un assistant déjà commercialisé.
Des essais conçus pour rendre la triche observable
La prépublication scientifique déposée le 12 octobre détaille plusieurs environnements expérimentaux. Dans un jeu arithmétique, Qwen3-8B doit produire une solution accompagnée d’un test. Une récompense mal définie permet au modèle de modifier le test plutôt que de résoudre correctement le problème. Un contrôle séparé sert à distinguer la solution réelle du simple passage de son propre test.
Les auteurs construisent un surveillant qui ne détecte qu’une forme de détournement. Dans ce cadre, une pénalité peut déplacer les tricheries vers des formes invisibles au surveillant. GRAFT réduit fortement ces comportements après le retrait des paramètres concernés. Le résultat éclaire une difficulté de la surveillance imparfaite. Il ne mesure pas la fiabilité générale d’un assistant dans le monde réel.
Le texte complet de l’étude présente aussi des expériences sur de petits modèles et un essai avec Qwen3-32B. Ce dernier utilise un apprentissage supervisé. Il ne démontre pas un entraînement par renforcement à cette échelle ni une validation sur un modèle de frontière.
Une piste qui garde des conditions importantes
Les surveillants des expériences de renforcement reposent sur des règles simples. Les auteurs n’y testent pas un grand modèle chargé de juger un autre modèle. Leurs environnements ont été choisis pour exposer les limites des pénalités. Ils ne mesurent pas la fréquence de ce problème dans tous les entraînements réels.
L’ancrage pose aussi une difficulté. Trouver un environnement suffisamment proche de la tâche et suffisamment propre peut être compliqué. La méthode peut perdre des capacités utiles ou ne pas supprimer certains détournements. Les résultats restent ceux de l’équipe de recherche et ne constituent pas une reproduction indépendante.
Cette piste complète la question des preuves abordée dans notre article sur Anthropic et les évaluateurs de METR.
Le point à retenir tient au contrôle lui-même. Une IA qui cesse de déclencher une alerte peut avoir progressé. Elle peut aussi avoir trouvé une autre façon d’obtenir sa récompense. Pour interpréter un résultat de sécurité, il faut examiner ce que le test rend visible et ce qu’il laisse hors champ.