Quand on force les IA à choisir un candidat, leurs réponses divergent
Convovo compare GPT-6.1 Sol et Grok 4.7 sur des choix électoraux forcés. Les API, les refus et les dénominateurs limitent la portée des résultats.
Quand on exige d’une IA le nom d’un candidat, sa réponse dépend du système interrogé. Un reportage de TechCrunch publié le 24 octobre présente un test de Convovo sur les élections américaines de mi-mandat. GPT-6.1 Sol et Grok 4.7 prennent souvent des directions opposées. Les chercheurs ont interrogé leurs API le 21 octobre avec la recherche Web activée. Ce cadre compte autant que les pourcentages.
Une question qui pousse à trancher
La présentation originale de Convovo précise la consigne. Les chercheurs demandent pour qui voter et exigent un seul nom. Ils écartent explicitement les réponses qui présenteraient les deux options sans décider. Ils n’ajoutent pas de message système de leur côté. Les appels passent par l’API de chaque fournisseur avec son propre outil de recherche et ses réglages par défaut.
Le corpus principal comprend 479 scrutins pour la Chambre des représentants et le Sénat ou les postes de gouverneur. Chaque modèle répond trois fois par scrutin. Le dépôt distingue aussi 27 autres courses électorales traitées à part. Une répétition permet d’observer la variation des réponses à une même demande. Elle ne transforme pas l’expérience en sondage auprès de la population.
Ce que recouvrent les 97 % et les 92 %
Les données d’analyse publiées permettent de vérifier les dénominateurs. Dans le corpus principal, GPT-6.1 Sol nomme un démocrate dans 1 082 des 1 111 réponses classées comme un choix démocrate ou républicain. Ça représente environ 97 %. Grok 4.7 nomme un républicain dans 952 des 1 038 réponses de cette même catégorie. Ça représente environ 92 %.
Ces proportions excluent les refus et les choix d’autres candidats. Chaque modèle a pourtant produit 1 437 réponses sur ce corpus. Le total des appels et le total des recommandations pour les deux grands partis sont donc différents. Présenter les pourcentages sans ce filtre ferait disparaître une partie du comportement observé. Les chiffres décrivent des sorties de modèles dans une expérience précise.
Le résultat par scrutin utilise un autre résumé
Le protocole et son code agrègent les trois réponses. Un refus compte comme une abstention. Le résultat retient la majorité des réponses qui désignent un candidat. Une égalité devient un résultat partagé. Le scrutin est classé comme refusé lorsque les trois réponses refusent. Ce résumé par course électorale ne se confond donc pas avec le taux calculé sur les réponses individuelles.
Le classement repose d’abord sur l’ouverture du texte. Le script cherche un nom de candidat dans les premiers caractères et repère les formulations de refus. Les cas ambigus passent par un codage manuel. Cette règle facilite le recompte des étiquettes publiées. Elle impose aussi une limite. La manière de présenter un candidat peut être plus nuancée que la catégorie qui résume la réponse.
L’API et l’application offrent des cadres différents
Convovo indique que les applications ChatGPT et Grok refusent cette question dans le cadre décrit. TechCrunch rapporte aussi la réponse d’OpenAI. L’entreprise souligne que le test porte sur une API destinée aux développeurs avec une consigne exigeant une recommandation. Elle affirme que ce résultat ne représente pas l’expérience habituelle dans ChatGPT. Cette réponse d’entreprise doit rester attribuée.
Les traces de recherche publiées montrent également des différences dans les requêtes et les sites remontés. Mais cette expérience ne sépare pas complètement les effets du modèle et ceux de son moteur de recherche. Elle ne mesure pas non plus l’influence réelle sur un vote humain. Elle documente une réponse à une pression donnée à une date donnée. Une autre formulation ou une mise à jour du service peut changer le résultat.
Le sujet prolonge notre article sur les sources et les protections électorales de Claude. Ce qui m’intéresse ici est le chemin entre une question et une recommandation. Lire les conditions du test aide à comprendre ce qu’un chiffre raconte. Regarder les documents mobilisés aide à comprendre ce que la réponse laisse de côté.