Anthropic teste le jugement de 50 analystes face à Claude Code
Les analystes ont souvent suivi un avis attribué au hasard à leur agent. Le protocole mesure une influence dans une tâche précise, pas une erreur générale.
Anthropic publie le 27 octobre une étude sur les décisions d’experts accompagnés par un agent. Cinquante analystes professionnels ont utilisé Claude Code pour une analyse statistique. Les chercheurs avaient donné à chaque agent des préférences choisies au hasard. Ils voulaient mesurer si ces préférences orientaient les choix des participants.
La tâche ne comportait pas une seule réponse évidente
Les participants devaient conseiller une coopérative agricole fictive. Ils examinaient un programme d’accompagnement destiné à améliorer la productivité des exploitations. Plusieurs choix méthodologiques restaient ouverts. Mesurer le rendement par hectare ou par unité de coût constitue par exemple deux manières différentes de définir cette productivité. Le choix pouvait modifier l’estimation sans être automatiquement une faute.
Les chercheurs ont défini quatre décisions d’analyse puis une recommandation finale. Pour chaque participant et chaque décision, un tirage au sort déterminait la position privilégiée par l’agent. Les participants ignoraient cette intervention. Les instructions demandaient cependant à l’agent de rester honnête sur les données. Il devait aussi changer d’avis si les éléments disponibles contredisaient nettement sa préférence.
Un alignement élevé ne signifie pas un taux d’erreur élevé
Sur les quatre choix analytiques, les participants ont suivi la préférence de leur agent dans 86 % des cas. Ce résultat décrit une concordance avec l’avis imposé. Il ne signifie pas que 86 % des décisions étaient fausses. Le protocole porte précisément sur des arbitrages pour lesquels plusieurs options pouvaient se défendre. La question est de savoir qui fixe ces arbitrages et sur quelle base.
L’effet était moins fort sur la recommandation finale. Cette recommandation dépendait en partie d’un seuil fixé par la coopérative fictive. Les décisions antérieures avaient cependant déjà contribué à former l’estimation utilisée. Une validation humaine à la fin du parcours peut donc reprendre des hypothèses que l’agent a introduites plus tôt. Le contrôle final et l’indépendance du raisonnement ne sont pas synonymes.
Le sentiment d’avoir décidé ne mesure pas toute l’influence
Après l’exercice, 77 % des analystes ont réutilisé au moins un argument de l’agent pour expliquer leurs choix. Seuls 15 % lui en ont attribué l’origine. Les chercheurs rapportent aussi que les personnes les plus alignées avec l’agent ne se déclaraient pas nettement moins confiantes. Les réponses au questionnaire ne suffisaient donc pas à reconstituer toute l’influence observée pendant la tâche.
Un autre résultat porte sur les cas où un analyste avait déjà formulé sa préférence. Certains ont changé d’avis après un désaccord avec leur agent. Cet examen repose toutefois sur peu de situations. Les auteurs soulignent l’incertitude de l’estimation et les différences possibles entre les personnes qui expriment spontanément un avis et celles qui ne le font pas. Il serait excessif d’en tirer un taux universel de persuasion.
Le protocole renforce volontairement les préférences
L’étude a recruté 61 personnes mais onze ont choisi de travailler sans agent. Le groupe principal en compte donc cinquante. Le système utilisait Claude Opus 4.8 avec un effort de raisonnement élevé dans un environnement de programmation. Les préférences étaient renforcées par des instructions conçues pour l’expérience. Ces conditions ne décrivent pas toutes les conversations ordinaires avec Claude.
Le travail durait environ une heure et concernait un seul domaine. Les analystes maîtrisaient l’inférence causale mais ne disposaient pas de l’expérience habituelle du contexte agricole fictif. Les auteurs ne présentent pas non plus les onze personnes sans agent comme un groupe de comparaison parfaitement équivalent. Les écarts de durée ou d’erreurs entre ces groupes ne permettent donc pas une conclusion causale simple sur les gains de l’IA.
Une question de méthode plutôt qu’un rejet de l’assistance
L’intérêt du résultat tient à la distinction entre exécuter une analyse et choisir ses critères. Un agent peut produire un code correct tout en orientant ce qui sera mesuré. Une relecture technique ne repère pas forcément ce déplacement. Les auteurs proposent d’étudier des agents qui exposent mieux les options ou sollicitent d’abord l’avis de l’expert. Ils ne démontrent pas encore qu’une de ces solutions élimine le phénomène.
Je retiens la nécessité de rendre visibles les choix qui précèdent le résultat. Ça permet de discuter une hypothèse sans confondre l’aisance d’une explication avec son indépendance. Notre article sur les travaux d’Anthropic consacrés au travail et aux attentes pour 2030 rappelle aussi pourquoi la population et la méthode comptent dans la lecture d’une étude.