METR observe une accélération de la recherche chez Anthropic. Les preuves publiques restent partielles
Une évaluation externe décrit un rythme de progrès accru chez Anthropic. Le lien causal avec l’IA et la portée réelle des mesures gardent de fortes incertitudes.
METR publie le 5 novembre 2026 une évaluation de l’accélération de la recherche chez Anthropic. Son analyse porte sur des données internes examinées entre le 12 août et le 29 octobre. Elle décrit un rythme de progrès accru sur des tâches bien définies. Elle souligne aussi une limite centrale. Anthropic a retiré du document public une grande partie des éléments qui ont le plus pesé dans les conclusions.
Ce que mesure le chiffre de 1,9
Le rapport original de METR estime à 1,9 le rapport entre deux rythmes de progression de l’indice AECI. Cet indice agrège des résultats de benchmarks d’Anthropic. Le rythme observé depuis octobre 2025 est comparé au rythme antérieur. L’intervalle de confiance annoncé à 95 % va de 1,5 à 2,8.
Cette mesure concerne la pente d’une courbe de capacités. Un facteur deux signifierait que deux années de progrès au rythme historique tiennent dans une année. Le chiffre ne signifie donc pas que chaque chercheur produit deux fois plus de travaux. Il ne mesure pas non plus une intelligence générale qui aurait doublé. L’unité et le périmètre du résultat comptent autant que sa valeur.
Les choix de méthode influencent le résultat
METR teste plusieurs hypothèses pour transformer les scores en un indice commun. Selon la fonction retenue, l’accélération estimée varie de 1,1 à 2,9. Des modèles internes encore non publiés entrent dans l’analyse. METR n’a pas demandé à les interroger directement. L’exercice repose sur les données transmises et leur examen. Cette distinction sépare une analyse externe d’une réplication ouverte des expériences.
Attribuer le progrès à l’IA reste plus difficile
Observer une courbe qui s’accélère répond à une première question. Expliquer sa cause en pose une autre. Les recrutements et les méthodes de travail peuvent évoluer en même temps que les outils. Il faudrait connaître le rythme qu’aurait atteint la même organisation sans assistance IA pour isoler exactement cette contribution. Ce scénario contrefactuel ne peut pas être lu directement dans une série de scores.
METR juge probable qu’une majorité de l’accélération actuelle provienne de l’usage de l’IA. L’équipe présente cette attribution comme un jugement assorti d’une forte incertitude. Les entretiens et sondages internes apportent des indices. Les gains déclarés par les salariés restent des estimations personnelles. Ils ne remplacent pas une mesure contrôlée du résultat global. Le rapport situe encore l’essentiel de l’apport dans l’assistance aux chercheurs plutôt que dans des contributions majeures entièrement autonomes.
Une évaluation externe avec des limites explicites
METR indique n’avoir reçu aucun paiement d’Anthropic pour cette mission. L’entreprise a fourni des appareils et des crédits d’utilisation des modèles. Elle conservait le droit de retirer des informations non publiques. METR pouvait signaler ces retraits et leur importance pour ses conclusions. L’accès aux documents passait par des interlocuteurs internes. Il ne correspondait pas à un accès libre aux systèmes comparable à celui d’un salarié.
Ce travail est distinct du dispositif d’évaluateurs intégrés annoncé le 15 octobre. Le rapport reconnaît que ses détails publics ne permettent pas un examen indépendant suffisant de toutes les conclusions. Le lecteur doit donc apprécier ensemble le résultat et les conditions qui limitent sa vérification. Le nom de l’organisme ne supprime pas ces contraintes.
Ce que cette publication permet de retenir
Le rapport apporte des éléments sur une accélération du développement des modèles chez Anthropic. Il ne démontre pas une boucle autonome d’auto-amélioration sans intervention humaine. Il ne permet pas davantage de transposer un facteur unique à tous les laboratoires ou à tous les métiers. Les tâches ouvertes du monde réel peuvent évoluer autrement que les benchmarks bien définis.
Pour moi, l’intérêt du document tient aussi à ses limites rendues visibles. Une conclusion utile doit pouvoir être reliée à une méthode et à un périmètre. Ici, la progression observée mérite l’attention. Les preuves retirées et l’incertitude causale doivent rester dans la lecture du résultat.