Anthropic teste la coopération de Claude dans EVE Frontier
Project EVE réunit deux expériences différentes. La plus instructive pour le travail en équipe montre à quel point le code qui relie Claude au jeu influence le résultat.
Anthropic a fait travailler des équipes de quatre agents Claude dans EVE Frontier. Dans le rapport Project EVE publié le 6 novembre, certaines équipes terminent le tutoriel en moins de douze heures. Aucune ne mène à bien l’objectif plus ambitieux de construire un vaisseau de guerre. Les chercheurs attribuent une partie de l’écart entre les équipes au code qui permet aux agents de percevoir le jeu et d’y agir.
Deux jeux et deux façons de mesurer
Les chercheurs ont mené ces expériences dans le cadre du programme Anthropic Fellows avec Fenris Creations. Dans EVE Online, ils ont rejoué des ordres de marché dans une simulation. Les agents pouvaient essayer des stratégies à partir de cet historique. Leurs décisions n’affectaient ni les vrais joueurs ni les prix sur le marché réel. Les résultats décrivent donc des stratégies dans un environnement où les autres acteurs ne réagissent pas aux agents.
Dans EVE Frontier, les équipes évoluaient dans une version de développement du jeu en juin et juillet. Les chercheurs ont utilisé Claude Opus 4.8 et Claude Fable 5. Les équipes devaient comprendre leur environnement puis répartir le travail entre quatre agents. Elles pouvaient notamment se donner des rôles différents pour avancer vers un objectif commun.
L’outillage change ce que les agents peuvent faire
Le modèle reçoit des informations par l’intermédiaire d’un programme et s’en sert pour agir dans le jeu. Ce programme rend certaines actions rapides et aide les agents à retrouver des connaissances sans devoir tout redécouvrir. Les équipes Fable équipées d’un programme écrit par Fable ont terminé le tutoriel en moins de douze heures et n’ont perdu aucun vaisseau dans les essais rapportés. Avec un programme écrit par Opus, des équipes ont perdu plusieurs vaisseaux ou ont eu besoin de plusieurs jours.
Ce résultat invite à séparer le modèle de ce qui le relie à l’environnement. Quand la situation sortait des cas connus, les automatismes écrits pour le jeu devenaient moins fiables. Le rapport indique que la meilleure équipe est arrivée à environ mi-chemin de la construction du vaisseau de guerre.
Un conflit d’objectif introduit par les chercheurs
Dans un autre essai, les chercheurs ont donné à un membre de l’équipe un objectif caché incompatible avec celui du groupe. Ils ont averti les trois autres agents de la présence de ce conflit. Ces agents ont identifié le bon membre dans un seul des essais rapportés. Le conflit faisait partie du protocole dès le départ.
Les auteurs ont aussi évalué des observateurs qui n’avaient accès qu’au canal public de discussion. En limitant à 5 % ou moins le taux de fausses accusations contre un agent honnête, trois modèles Opus ont détecté entre 30 % et 40 % des cas. Les résultats dépendent de ce seuil et de ce que l’observateur pouvait voir. Dans une autre étude, Anthropic a montré comment Claude corrige sa mémoire entre deux sessions. Project EVE pose ici une question différente, celle des informations que les agents se transmettent pendant une action collective.
Je retiens deux contrôles à faire avant de confier un travail à plusieurs agents. Je vérifierais d’abord ce que chacun peut observer et faire avec ses outils. Je regarderais ensuite si les autres peuvent vérifier une action à partir de ses traces, y compris quand le compte rendu de l’agent paraît cohérent.