ALTK-Evolve aide un agent à retenir ses erreurs. La régularité se paie en contexte
ALTK-Evolve ajoute des leçons au prompt sans réentraîner le modèle. Les résultats d’IBM distinguent réussite répétée, volume de mémoire et coût des appels.
Un agent peut réussir une opération puis se tromper en la répétant. IBM Research présente le 20 octobre une méthode pour réduire cette irrégularité. ALTK-Evolve extrait des leçons des tentatives précédentes et les ajoute aux instructions de l’agent. Le modèle conserve ses paramètres. C’est la mémoire placée dans son contexte qui change.
Le billet original d’IBM Research décrit des essais sur des conversations simulées de service client. Les résultats donnent une piste concrète pour améliorer un agent. Leur lecture demande toutefois de séparer les tâches de test des chiffres de classement mis en avant.
Apprendre des consignes sans réentraîner le modèle
ALTK-Evolve examine les parcours suivis par un agent sur des tâches d’entraînement. Un modèle en extrait des règles de conduite. Elles portent notamment sur l’identification d’un client ou la confirmation d’une modification avant exécution. Ces règles sont ensuite ajoutées au prompt système pour les conversations suivantes.
Dans l’expérience principale, GPT-4.1 sert à la fois d’agent et d’outil d’extraction des consignes. Un autre modèle joue le client. L’équipe emploie l’environnement de simulation τ²-bench avec ses règles et ses outils. Les consignes apprises sont appliquées sans modification aux tâches de test mises de côté.
La bibliothèque ALTK-Evolve est accessible publiquement. Le résultat décrit ici concerne cependant un protocole particulier. Il ne valide pas toutes les configurations de mémoire ni tous les agents qui pourraient utiliser le projet.
Réussir quatre fois de suite change le verdict
Chaque tâche fait l’objet de quatre tentatives. Le score Pass^4 exige la réussite des quatre. Il mesure donc une régularité plus stricte que la simple moyenne des réussites. Une tâche réussie trois fois sur quatre ne satisfait pas cet indicateur.
Sur les 40 tâches de test du commerce de détail, le score de GPT-4.1 passe de 57,5 % à 67,5 % avec le jeu complet de consignes. Sur les 20 tâches du transport aérien, un ensemble plus court fait passer ce score de 35 % à 45 %. Le jeu complet de consignes n’atteint que 40 % dans ce second cas.
Ajouter davantage de mémoire n’améliore donc pas systématiquement le résultat. La sélection des leçons utiles compte autant que leur quantité. Ces mesures restent produites par l’équipe à l’origine de la méthode. Elles portent sur de petits ensembles de tâches simulées et ne constituent pas une mesure de satisfaction de clients réels.
Le contexte supplémentaire a un coût
Les consignes doivent être relues lors des appels au modèle. Dans le commerce de détail, le coût annoncé passe de 0,084 à 0,139 dollar par conversation avec le jeu complet. Ces montants incluent l’agent et le client simulé. Ils ne représentent pas la facture d’un service client en production.
Les conversations résolues dans les deux configurations comportent légèrement moins de tours avec les consignes. Ça ne suffit pas à établir une baisse mesurée du délai de réponse. La durée totale dépend aussi du modèle et de la quantité de texte traitée à chaque appel.
Un classement à replacer dans son protocole
Le billet compare ses résultats à une photographie du classement datée du 12 octobre. Les soumissions pour le commerce de détail et le transport aérien remontent respectivement aux 14 et 21 septembre. Leur publication explicative du 20 octobre ne change pas ces dates.
Ces soumissions portent sur l’ensemble réunissant entraînement et test. Leurs scores diffèrent donc des résultats sur les seules tâches de test. Elles déclarent aussi une modification du prompt et la catégorie Unverified. Les présenter comme une première place actuelle validée indépendamment effacerait une limite importante de la comparaison.
Notre article sur Granite Switch 4.1 et les décisions d’un assistant montre un autre levier d’amélioration du comportement des agents. ALTK-Evolve explore ici la qualité des instructions mémorisées autour du modèle.
Je retiens une question utile avant de changer de modèle. Les erreurs viennent-elles d’une capacité manquante ou de consignes mal conservées ? Cette expérience invite à tester la seconde hypothèse. Il reste à vérifier le gain sur ses propres tâches et le coût complet de cette mémoire.