UNESCO et IRCAI : repérer les biais de genre dans les modèles de langage
Ce rapport examine comment des modèles de langage reproduisent des associations et des stéréotypes liés au genre. Il détaille plusieurs protocoles de test et distingue les réponses produites selon les formulations. Il peut servir de base à des exercices d’audit : varier les prompts, comparer les réponses et documenter les limites avant un usage professionnel sensible.
Construire un protocole de comparaison
L’étude des stéréotypes demande de comparer les réponses dans des conditions explicites. Formulation, contexte et modèle peuvent influencer les résultats. La ressource aide à réfléchir aux méthodes de test et à documenter les limites, plutôt qu’à conclure sur tous les usages à partir d’un exemple isolé.
Source : UNESCO / IRCAI · document original ↗Points de vigilance
Tests de modèles anciens, notamment GPT-2, GPT-3.5 et Llama 2 : ils illustrent des méthodes d’évaluation, pas une mesure des biais des versions actuelles. Les résultats dépendent du protocole et ne concernent pas toutes les situations d’usage.
Un exercice pour passer à l’action
Créez des demandes fictives comparables en ne modifiant qu’un élément lié au genre. Répétez les essais, consignez le modèle et les réponses, puis discutez des écarts sans les généraliser au-delà du protocole.