VIALS-AA teste la régularité des modèles qui lisent des images scientifiques

Artificial Analysis a publié le 6 novembre les résultats de VIALS-AA. Cette évaluation soumet des modèles d’IA à 161 tâches d’interprétation d’images scientifiques. Chaque modèle tente chaque exercice trois fois. Le rapport de lancement compte une tâche comme réussie quand le modèle donne trois bonnes réponses. Le classement met donc l’accent sur la régularité.

La même image est analysée lors de trois essais distincts

Artificial Analysis reprend les tâches du jeu d’évaluation VIALS de Handshake AI. Le corpus contient 174 images et couvre huit familles de documents visuels utilisés dans les sciences de la vie. Les questions demandent de tirer une réponse précise d’une figure. Elles portent sur des données existantes et ne demandent pas aux modèles de réaliser une expérience.

La méthode de VIALS-AA décrit l’environnement fourni aux agents. Ils reçoivent la question et les fichiers d’image. Ils peuvent exécuter du code dans un environnement isolé sans accès au réseau. Les modèles qui acceptent les images disposent en plus d’un outil pour les afficher. GPT-6 Luna au réglage medium juge la réponse d’après une référence. Le juge reçoit aussi l’image lorsqu’il ne peut pas comparer les deux réponses à partir du texte.

Une bonne réponse isolée ne suffit pas

Gemini 4 Carbon au réglage high réussit les trois essais sur 103 tâches, soit environ 64 % du corpus. GPT-6 Astra au réglage max en réussit 101 selon ce critère. Les réglages font partie des résultats. Les chiffres donnent l’ordre observé sur ce test à cette date.

GPT-6 Astra et Kimi K3.1 Pro au réglage max résolvent chacun environ trois quarts des tâches au moins une fois. Quand le test exige trois bonnes réponses sur trois, leur écart s’élargit. Artificial Analysis indique 63 % pour Astra et 45 % pour Kimi. Pour lire ce résultat, il faut savoir si le tableau compte chaque réponse ou chaque tâche réussie trois fois.

Les agents n’examinent pas tous une figure de la même façon

Le rapport montre un exemple où plusieurs modèles cherchent la même zone dans une image annotée. GPT-6 Astra agrandit la figure et trouve la bonne réponse avec peu d’étapes. Claude Sonnet 5.5 y parvient en prenant des mesures. Grok 4.7 inspecte plus souvent l’image mais donne une mauvaise réponse. Dans cette trace, les évaluateurs estiment que le modèle s’est appuyé sur la position du repère au lieu de celle de la zone recherchée. Ce cas illustre un type d’erreur que le nombre d’appels aux outils ne suffit pas à expliquer.

Le coût par tâche publié dépend lui aussi de la configuration. Artificial Analysis annonce environ 0,02 dollar pour GPT-6 Luna au réglage max et 1,77 dollar pour Grok 4.7 au réglage xhigh. Le calcul utilise les prix des jetons du modèle évalué et une hypothèse de cache. Il exclut les appels au modèle qui juge les réponses.

Une mesure différente de BioBasicsBench

L’évaluation BioBasicsBench d’OpenAI et Ligo attribue des points aux différents éléments d’une réponse. VIALS-AA exige ici que la réponse entière soit correcte à chaque essai selon son barème. Les pourcentages de ces deux études n’ont donc pas la même signification.

Je retiens l’intérêt de relire les exemples d’erreurs en plus du score. Si un agent justifie une réponse par une zone de la figure, je vérifierais que cette zone correspond à ce que la question demande de mesurer. Un agrandissement bien présenté peut encore mettre en évidence le mauvais repère.