Une même idée, deux verdicts. Ai2 met les juges d’originalité à l’épreuve
Une étude compare plusieurs façons de juger des idées de recherche. Elle mesure l’instabilité des évaluateurs, pas l’impossibilité de créer avec l’IA.
Ai2 présente le 27 octobre un travail sur les juges d’originalité fondés sur des modèles de langage. Ces systèmes servent à décider si une idée de recherche apporte quelque chose de nouveau. Les chercheurs montrent que des choix de consigne peuvent modifier fortement leur verdict. Le résultat interroge la méthode d’évaluation plutôt qu’un supposé score universel de créativité.
Le billet présente un travail déjà révisé
L’étude s’intitule Old Ideas, Novel Problems. Noy Sternlicht et ses collègues ont déposé une première version le 1er octobre. La version 3 date du 26 octobre. Le billet d’Ai2 du lendemain présente les résultats et les ressources associées. Il ne faut donc pas confondre la date de cette présentation avec la première mise en ligne du papier.
Les auteurs s’intéressent à un maillon particulier de la recherche automatisée. Générer une proposition et établir son originalité sont deux tâches différentes. Une idée peut paraître claire ou ambitieuse sans se distinguer de travaux antérieurs. Un agent qui sélectionne automatiquement des pistes doit donc disposer d’un évaluateur suffisamment stable. C’est cette stabilité que le benchmark met à l’épreuve.
Les références humaines viennent des évaluations ICLR
Le jeu de données exploite les commentaires de relecteurs d’ICLR 2026. Les auteurs cherchent des passages qui approuvent ou contestent explicitement l’originalité. Ils constituent un groupe de 154 idées humaines jugées fortement originales. Un autre groupe rassemble 145 idées avec des signaux défavorables. Les critères retiennent des cas situés aux extrêmes des notes de leur domaine. Ils ne représentent donc pas toutes les idées soumises à une conférence.
Un second dispositif compare des idées humaines à des idées produites par un générateur simple. Les idées générées sont supposées moins originales. Les auteurs présentent cette supposition comme un étiquetage faible plutôt qu’une vérité vérifiée pour chaque exemple. Un contrôle par un expert porte sur trente paires. Il constitue une vérification ciblée et non une annotation exhaustive de tous les cas.
La consigne peut changer le sens de la comparaison
Les expériences portent sur six modèles juges issus des familles GPT et Claude. Plusieurs dimensions varient séparément. Les chercheurs changent notamment la consigne ou le format de comparaison. Ils examinent aussi la recherche documentaire et l’effort de raisonnement. Il faut conserver ces configurations pour interpréter les résultats. Les modèles ne sont pas évalués dans toutes les conditions imaginables.
Dans l’un des tests sur GPT-5.4, une formulation indique que les relecteurs ont trouvé une seule idée originale dans chaque paire. Une autre demande plus simplement laquelle est originale. La précision passe de 93,5 % à 40,9 % sur les paires mêlant idées humaines et générées. Ce changement ne mesure pas une baisse soudaine de capacité du modèle. Il montre que le contexte donné au juge participe fortement au verdict.
Plus de recherche ne garantit pas un meilleur jugement
Les chercheurs ne trouvent pas de solution systématique en augmentant seulement le raisonnement ou la recherche de littérature. Des évaluateurs spécialisés plus coûteux ne dépassent pas toujours une configuration simple. Ce constat reste lié aux modèles et aux jeux de données testés. Il ne permet pas d’affirmer qu’une recherche documentaire serait inutile dans tous les autres travaux.
Le benchmark ne décide pas de la créativité de toutes les IA
Les idées générées proviennent ici d’une procédure volontairement simple. Leurs étiquettes reposent en partie sur une hypothèse. Les références humaines viennent aussi d’une seule communauté de recherche. Ces limites empêchent de transformer les résultats en preuve que les IA ne produisent jamais d’idées nouvelles. Elles empêchent tout autant de considérer un verdict positif du juge comme une validation scientifique suffisante.
Le code publié par les chercheurs permet d’examiner et de reprendre leur protocole. Le papier explique la construction des données et ses limites. Je retiens surtout qu’un classement devient difficile à interpréter si ses conclusions changent avec une consigne raisonnable. Notre article sur les méthodes des études d’Anthropic rappelle également pourquoi le périmètre d’un résultat doit rester visible quand on le présente.