Le benchmark MKA évalue des agents IA sur des documents visuels et leurs livrables
Le benchmark demande des livrables à partir de plans ou de documents visuels. Son score principal porte sur les critères les plus difficiles.
Google DeepMind et Artificial Analysis présentent le benchmark Multimodal Knowledge Agent le 10 novembre. La présentation de Google DeepMind décrit une évaluation qui part de fichiers visuels complexes et demande aux agents de rendre un livrable. L’enjeu est de savoir si le système peut exploiter l’information d’un plan ou d’un document dense pour produire un résultat structuré.
Des fichiers visuels nécessaires à la tâche
L’évaluation compare les modèles sur 200 tâches privées réparties dans dix domaines. Le document de départ peut contenir des plans ou des schémas que l’agent doit examiner. La réponse attendue peut prendre la forme d’une présentation ou d’un tableur ainsi que d’un rapport. Le livrable fait partie de ce qui est noté. Répondre correctement à une question isolée sur une image ne suffit pas.
Les partenaires gardent ce jeu d’évaluation privé pour réduire le risque que les solutions soient présentes dans les données d’entraînement ou retrouvées par recherche. Google publie séparément dix exemples pour montrer le format des tâches. Ces exemples aident à comprendre ce qui est demandé. Ils ne permettent pas de reproduire le classement sur les 200 cas privés.
Le score principal vise des critères difficiles
Le protocole et résultats d’Artificial Analysis distingue des vérifications de base et des critères plus exigeants. Chaque tâche comporte en moyenne environ 70 critères pondérés dans la grille. Le score principal mesure la part pondérée de ces critères difficiles satisfaite par le livrable. Une note de 57 % ne veut donc pas dire que 57 % des missions ont été réussies intégralement. Elle renseigne sur une partie précise de la grille.
Artificial Analysis exécute les modèles dans le même environnement Stirrup avec les mêmes catégories d’outils et une limite allant jusqu’à 250 tours. GPT-6 Luna sert de juge pour évaluer les livrables à partir de critères établis avec des spécialistes. La constance du cadre facilite la comparaison. Le recours à un juge automatisé et le choix des critères font partie de la méthode.
Les écarts de prix et de score se lisent ensemble
Dans le classement MKA de lancement, Claude Fable 5.2 en configuration max atteint 57 % sur le score principal affiché. Gemini 4 Carbon en configuration high atteint 54 % et Claude Opus 5.5 en configuration max 53 %. Artificial Analysis estime le coût moyen à 31,97 dollars par tâche pour Fable et 6,29 dollars pour Carbon dans ce protocole. Ces estimations dépendent des prix et du nombre d’appels utilisés pour le test.
L’article sur l’ouverture commerciale de Gemini 4 Carbon donne une autre lecture du prix. Il présente les tarifs de l’API alors que MKA estime le coût d’une exécution complète dans un environnement donné. Les deux montants ne répondent pas à la même question.
Aucun modèle ne mène dans tous les domaines selon Artificial Analysis. Le classement mesure une capacité à passer de fichiers visuels à un livrable sous des contraintes définies. Un score moyen donne un point de comparaison. Les critères liés au document final et le coût de chaque exécution éclairent le choix sur un cas de travail précis.