OpenAI : évaluer la qualité des réponses d’une IA
OpenAI décrit comment construire des jeux de tests représentatifs et associer mesures automatiques et jugement humain. Le guide aide à vérifier qu’une application répond aux besoins réels avant et après sa mise en service.
Définir la qualité avant de comparer
Une évaluation exige des exemples représentatifs et des critères explicites. Elle doit couvrir les réussites attendues mais aussi les erreurs importantes pour le métier. Les jugements automatiques et humains doivent être rapprochés de ces critères pour éviter de mesurer une qualité de présentation à la place de l’exactitude recherchée.
Source : OpenAI · document original ↗Points de vigilance
La méthode d’évaluation est à distinguer des outils qui la mettent en œuvre. Consultez les notes de l’éditeur pour les évolutions de sa plateforme.
Un exercice pour passer à l’action
Constituez dix demandes anonymisées, dont quelques cas difficiles. Définissez une grille de notation avant de tester deux versions de prompt. Comparez les erreurs et documentez les compromis avant de retenir une version.