MotionGraphicsBench vérifie si les modèles IA respectent les consignes d’animation
Le test part d’une image vectorielle et d’une consigne. Une animation est évaluée selon les mouvements qu’elle doit réaliser et leur enchaînement.
Des chercheurs de Figma et de Stanford ont publié MotionGraphicsBench le 10 novembre. La prépublication des auteurs présente cent tâches qui demandent de transformer une image vectorielle statique en animation. Le système reçoit les éléments à animer ainsi qu’une description du mouvement. Les auteurs évaluent le respect de cette description grâce à des programmes de vérification.
Le dessin est fourni au départ
La présentation de l’équipe de recherche explique que le benchmark part d’un SVG et d’une consigne d’édition. Les éléments visuels sont déjà présents. L’expérience cherche ainsi à mesurer la réalisation du mouvement sans demander en même temps au modèle d’inventer le dessin. Le jeu de données publié permet d’examiner les exemples et les conditions du test.
Une demande peut préciser qu’un objet change de position puis qu’un autre change d’apparence. Plusieurs animations peuvent répondre à cette consigne avec des vitesses ou des trajectoires différentes. Les auteurs cherchent à accepter les solutions valides même quand elles ne reproduisent pas exactement l’animation qui a inspiré l’exemple.
Des programmes évaluent chaque exigence
Pour chaque tâche les auteurs préparent un programme qui vérifie les exigences de la consigne. Il peut distinguer une position attendue et un ordre entre deux événements. Les chercheurs peuvent voir quel critère échoue au lieu de se limiter à une appréciation générale de l’animation. La qualité de ce retour dépend des règles écrites dans le programme.
Les auteurs comparent ces vérifications à des jugements humains sur un ensemble équilibré de 180 animations. Ils rapportent 93,3 % d’accord brut pour leurs programmes et 83,3 % pour une comparaison avec GPT-6 Astra utilisé comme juge visuel. Ces chiffres évaluent le contrôle dans cet ensemble. Ils ne mesurent pas la proportion de consignes qu’un modèle sait animer.
Le nombre de tentatives change la lecture du résultat
Sur 47 configurations issues de 32 modèles et 12 fournisseurs, les taux de réussite au premier essai vont de 6 % à 67,7 % selon les auteurs. Dans une deuxième comparaison sur 15 modèles testés avec leur effort de raisonnement maximal disponible, les taux sur 32 tentatives vont de 38 % à 95 %. Ce résultat mesure la possibilité d’obtenir au moins une solution valide au fil des essais. Il ne renseigne pas à lui seul sur le délai ou le coût d’une production.
Les difficultés décrites concernent notamment les poses attendues et les trajectoires ainsi que la coordination de plusieurs événements. Une animation peut sembler cohérente au premier regard et manquer un mouvement demandé. Le contrôle par critère rend ce défaut visible. Il ne juge pas pour autant tous les choix artistiques d’un graphiste.
Le sujet se distingue de les nouveautés de conception annoncées par Figma à Config India. Cette publication concerne une méthode d’évaluation et des résultats de recherche. Elle ne décrit pas le déploiement d’une fonctionnalité dans l’éditeur Figma. Pour comparer des systèmes sur ce test il faut donc lire ensemble la consigne et les critères ainsi que le nombre de tentatives. Pour choisir un outil de production il resterait à examiner aussi le temps nécessaire pour obtenir et corriger une animation utilisable.