IBM teste dans Granite une façon de distinguer les consignes des documents

IBM a publié le 12 novembre deux variantes expérimentales de Granite 4.1 qui apprennent à distinguer une consigne du contenu à analyser. Elles comptent respectivement trois et huit milliards de paramètres. L’équipe Granite les propose sous licence Apache 2.0. Elle présente cette sortie comme un essai de recherche sur la façon de transmettre des informations à un modèle. Annonce d’IBM Granite

Un même texte peut contenir une tâche et les données de cette tâche

Prenons un assistant chargé de résumer un dossier. Il reçoit une demande de résumé et le texte des pièces jointes. Un document peut citer des consignes destinées à son lecteur d’origine. L’assistant doit pouvoir les restituer dans son résumé sans changer de tâche à cause de leur formulation. Plus le contexte contient de documents et de résultats d’outils, plus cette distinction compte.

Avec LLMON, pour LLM Object Notation, IBM donne un rôle explicite aux différentes parties du contexte. Une partie porte la consigne et une autre le texte à examiner. Le modèle apprend à associer la tâche au bon contenu. IBM entraîne les variantes à lire cette structure. Ajouter simplement des titres dans un document ne donne pas le même comportement à un modèle qui n’a pas reçu cet entraînement.

Des modèles dérivés de deux Granite 4.1

L’équipe part des modèles de base Granite 4.1 de trois et huit milliards de paramètres. Elle les entraîne ensuite à traiter les entrées structurées. Les fiches permettent de distinguer les nouveaux poids expérimentaux des variantes Granite 4.1 déjà distribuées. Elles indiquent que les deux tailles sont disponibles au téléchargement. Fiche Granite 4.1 3B LLMON Preview et Fiche Granite 4.1 8B LLMON Preview.

Cette approche vise les applications qui savent distinguer leurs propres consignes des documents qu’elles reçoivent. Un assistant de recherche peut déjà connaître le rôle d’une pièce jointe et celui d’une question. LLMON cherche à préserver cette information jusqu’au moment où le modèle produit sa réponse.

Ce que mesurent les essais publiés par IBM

Les chercheurs ont comparé leurs modèles à des variantes entraînées dans un format de conversation ordinaire. Sur les deux bancs d’essai d’injection indirecte présentés, les variantes LLMON ont moins souvent exécuté une instruction qui se trouvait dans les données à lire. Le taux de réussite de ces instructions étrangères reste supérieur à zéro dans les essais. L’étude est signée par l’équipe qui a développé la méthode. Étude des chercheurs d’IBM

Les résultats concernent deux tailles d’une seule famille. Les chercheurs indiquent aussi que les marques structurelles ajoutent environ 7 à 15 % de longueur selon les exemples. Ils n’ont pas mesuré systématiquement l’effet de cette surcharge sur la vitesse en service. Leur corpus d’entraînement est principalement en anglais. Ces limites comptent pour un déploiement qui traiterait des dossiers longs ou rédigés dans plusieurs langues.

Le modèle ne gère pas à lui seul les autorisations

Reconnaître la bonne consigne et contrôler les actions disponibles sont deux fonctions différentes. Un modèle peut mieux séparer les instructions des documents tout en restant limité par le système qui lui donne accès aux fichiers et aux outils. Les essais d’IBM portent sur le comportement du modèle. Ils ne mesurent pas la sécurité d’une application complète déployée avec ses propres règles et ses utilisateurs.

Cette distinction permet de rapprocher ces modèles de l’approche de Microsoft pour ajuster les droits des agents pendant une tâche. IBM étudie la lecture du contexte. Microsoft travaille sur les droits que le système peut accorder pendant l’exécution.