OpenAI teste des agents IA sur des données de laboratoire
BioBasicsBench utilise de vraies données d’expérience. Les réponses montrent où un agent peut aider à lire un résultat et où il se trompe sur son contexte.
OpenAI et Ligo ont évalué des agents IA sur 100 tâches d’analyse de données de laboratoire. Les exercices portent sur des données expérimentales apportées par leurs auteurs et couvrent cinq domaines. Publié le 6 novembre, le rapport BioBasicsBench détaille ce que les modèles parviennent à lire dans ces données. Il donne aussi des exemples où une réponse plausible s’appuie sur une mauvaise interprétation.
Cent tâches construites à partir de données réelles
Les auteurs ont demandé à des spécialistes de concevoir des exercices à partir de données qu’ils connaissaient. Les agents reçoivent les éléments nécessaires à l’exercice et répondent à une question d’analyse. Une grille attribue des points aux différentes parties de la réponse. L’évaluation porte sur la lecture et l’interprétation de données déjà recueillies. Les agents ne réalisent pas les expériences.
Ligo a organisé une revue des exercices et des critères de notation. Elle a sollicité une personne de son équipe autre que l’auteur puis un spécialiste externe de niveau doctorat avant la revue finale interne. Cette organisation aide à repérer des questions ambiguës ou des critères mal définis. OpenAI et Ligo restent les auteurs de la mesure publiée.
Ce que signifie un score de 66,7 %
Le rapport compare sept modèles dans 37 configurations de modèle et de niveau de raisonnement. Pour chaque configuration, les agents tentent cinq fois chacune des 100 tâches. Au réglage xhigh, GPT-6 Astra obtient en moyenne 66,7 % des points de la grille. GPT-6.1 Sol atteint 62,0 % à ce même niveau de réglage. GPT-5.6 Sol atteint 43,8 %.
Les points récompensent parfois une partie de la réponse. On ne peut donc pas déduire du score combien de tâches ont été entièrement résolues. Les intervalles publiés pour GPT-6 Astra et GPT-6.1 Sol se chevauchent. Le niveau de réglage est le même dans cette comparaison. Le rapport ne lui attribue pas un budget de calcul identique pour chaque modèle.
Une bonne lecture de l’image peut mener à une mauvaise réponse
Dans un exemple, GPT-6 Astra relève qu’un signal optique est ambigu et que des contrôles manquent pour trancher. Dans un autre, le modèle reconnaît des ressemblances visuelles entre des images mais se trompe sur la signification des échantillons. L’erreur vient d’une hypothèse de départ. Reconnaître un motif et savoir ce qu’il représente dans le protocole mobilisent deux informations différentes.
Ce genre d’erreur est important lorsqu’une réponse sert à orienter la suite d’un travail. Une grille peut créditer la bonne lecture des images tout en retirant des points pour leur interprétation. Dans un vrai dossier, cette interprétation peut être l’élément sur lequel une équipe doit décider. Elle mérite donc un contrôle distinct.
Une mesure complémentaire des usages de recherche
L’analyse de sessions scientifiques de Claude publiée par Anthropic observe les usages de son produit. BioBasicsBench soumet les modèles à une série d’exercices connus et applique des critères de notation communs. L’un renseigne sur les demandes formulées pendant des sessions. L’autre indique quels éléments de réponse des agents ont obtenus dans des conditions définies.
Je me servirais de ces exemples pour choisir les points à relire en priorité. Quand un agent rapproche plusieurs images ou plusieurs mesures, je lui demanderais de préciser ce qui relève de l’observation et ce qu’il suppose sur l’origine des données. On peut alors vérifier chaque hypothèse en revenant au dossier de l’expérience.