Decision Index v2 mesure aussi la confiance des modèles dans leurs réponses
La deuxième version de l’indice teste des décisions sur documents et la stabilité des réponses. Elle change aussi la façon de calculer le score.
Artificial Analysis a publié le 8 novembre la deuxième version de son indice des modèles de décision. La présentation des résultats décrit un nouveau score qui tient compte de la confiance annoncée par le modèle. L’indice ajoute aussi des tests sur documents et sur la stabilité des réponses quand une question est reformulée.
Ce que le nouveau score mesure
Un modèle de décision doit pouvoir choisir entre plusieurs réponses et indiquer avec quelle confiance il le fait. L’évaluation rapproche cette confiance du résultat constaté. Une réponse juste et assurée gagne davantage de points. Une erreur annoncée avec une forte assurance est davantage pénalisée. La méthodologie de l’indice précise le calcul et le traitement des réponses manquantes ou des refus de répondre.
Le résultat global combine six épreuves. Cinq incluent ce score de décision. La sixième mesure la stabilité du choix et de sa probabilité entre des formes équivalentes de la question. Artificial Analysis estime à 45 % la part de l’indice qui repose désormais sur des données privées contre 25 % auparavant. Ce changement réduit l’exposition de certaines épreuves avant l’évaluation. Il rend aussi plus difficile leur reproduction exacte par un lecteur qui ne dispose pas des documents.
Les quinze réponses d’un document comptent ensemble
AA-Paperclip pèse 30 % dans l’indice. Il utilise 1 500 documents dont des CV et des factures. Il demande cinq décisions et dix extractions par document. Le taux de réussite complète compte uniquement les documents pour lesquels les quinze réponses sont justes. Le calcul de confiance combine les quinze probabilités associées. La méthode les multiplie et traite donc les réponses comme indépendantes pour ce calcul.
Drex Max v1.1 obtient 97 % de réponses correctes et réussit entièrement 63 % des documents. Dans sa configuration Max, Claude Haiku 5.5 obtient 99 % de réponses correctes et réussit 92 % des documents. Ces résultats viennent de l’évaluation et concernent son corpus. Ils montrent pourquoi un écart faible à l’échelle d’une réponse peut devenir bien plus visible quand une tâche exige plusieurs réponses justes.
La stabilité, la latence et le coût mesurent des choses différentes
AA-Symmetry utilise 120 questions et 440 formulations. L’ordre des choix ou les libellés changent par exemple sans changer la décision attendue. Les modèles peuvent être stables en s’abstenant de la même façon. La stabilité reste donc à lire à côté du taux de bonnes réponses.
Claude Haiku 5.5 et GPT-6 Luna atteignent respectivement 77 et 76 points dans leurs configurations Max. Drex Max v1.1 est affiché à 73. Sur le coût modélisé par l’évaluateur, GPT-6 Luna revient à 1 530 dollars par million de tâches contre 102 pour Drex Max v1.1. Les temps mesurés sont respectivement de 11,34 secondes et de 275 millisecondes par tâche. Ces chiffres dépendent des configurations, du corpus et des modalités de facturation retenues.
Lire les résultats à l’échelle de la décision
Artificial Analysis conserve les taux de réussite détaillés. La comparaison avec VIALS-AA et sa mesure de la régularité sur trois essais rappelle que le mot fiabilité dépend de ce que chaque protocole exige. Pour une décision à automatiser, je regarderais combien de dossiers complets passent et à quel seuil le reste doit être repris. Le score global aide à choisir les modèles à comparer. Les taux et coûts du travail à traiter donnent ensuite une base pour décider.