Les équipes changent vite de modèle d’IA sur Vercel. Voici ce que mesure le rapport
Sur AI Gateway, plus de la moitié des requêtes d’octobre vont à des modèles de moins de deux mois sur la plateforme. Le rapport précise le périmètre.
Vercel a publié le 9 novembre les données d’octobre de sa passerelle AI Gateway. Plus de la moitié des requêtes aux modèles de langage se sont dirigées vers des versions présentes depuis moins de 60 jours sur la plateforme. Le rapport montre aussi qu’environ la moitié des équipes qui ont consommé au moins dix millions de tokens par mois ont changé de modèle principal entre septembre et octobre. Ces deux mesures éclairent le renouvellement des usages dans le trafic de Vercel.
La date d’arrivée sur la passerelle sert de repère
le rapport de novembre de Vercel mesure l’âge d’une version à partir de son premier jour sur AI Gateway. Un modèle peut avoir été publié ailleurs auparavant. La durée indiquée décrit donc sa présence sur cette passerelle. Vercel compte séparément les versions d’un même modèle. Passer à la version suivante peut compter comme un changement même si l’équipe conserve la même famille.
La proportion de requêtes vers des versions de moins de deux mois ne donne pas la proportion d’équipes qui les utilisent. Un seul service peut envoyer de nombreuses requêtes. Les chiffres qui comptent les équipes répondent à une autre question. notre lecture du rapport d’octobre sur Jev avait montré une distinction voisine entre usage et dépenses pour les modèles de décision.
La moitié des équipes du groupe suivi ont changé de modèle principal
Vercel suit les équipes payantes qui dépassent le seuil de dix millions de tokens pendant chacun des deux mois comparés. Le modèle principal est celui qui reçoit le plus de tokens de l’équipe. Selon le rapport, quatre équipes sur cinq parmi celles qui en changent passent à une version plus récente. Six sur dix passent à un autre laboratoire. Une même équipe peut faire les deux.
La rotation ne fait pas disparaître les anciennes versions. Sept équipes sur dix dans ce groupe utilisaient encore en octobre un modèle arrivé au moins dix mois auparavant sur la passerelle. Pour l’équipe médiane qui utilise un modèle de cet âge, le rapport situe la part sous les 3 % de ses tokens. Une équipe peut garder une version ancienne pour une fonction précise pendant que le gros du trafic passe à un autre modèle.
Les six semaines ne sont pas une date de péremption
Vercel parle d’une demi-vie d’environ six semaines pour résumer la vitesse de rotation. Il relève qu’un modèle typique atteint son pic dans le mois suivant son arrivée. Quatre semaines après ce pic, trois équipes sur quatre qui l’utilisaient à ce moment ne l’utilisent plus sur la passerelle. Le rapport suit l’usage dans ce canal. Il ne peut pas déterminer ce que ces équipes utilisent en dehors de Vercel.
la documentation de la méthode décrit le périmètre des données agrégées. Les équipes de petite taille et celles qui traitent davantage de tokens peuvent avoir des comportements différents. Les données ne disent pas si un changement était motivé par le prix ou par la qualité des réponses. Elles ne suivent pas non plus les essais qui ont échoué avant une migration.
Pour une équipe qui maintient un service, l’intérêt de ces résultats est de savoir quelles dépendances peuvent bouger vite. Une nouvelle version peut améliorer une tâche sans modifier les autres de la même façon. Les chiffres de Vercel montrent la vitesse de rotation des choix. La qualité d’un remplacement se mesure encore sur les tâches du service concerné.