Google annonce deux systèmes TPU pour l’IA confidentielle et les longs contextes
Google décline ses accélérateurs de huitième génération en deux systèmes pour les données sensibles et les agents qui traitent de gros volumes d’informations.
Google Cloud a annoncé le 9 novembre deux systèmes de calcul pour l’IA. Le TPU 8tx vise les applications qui doivent protéger les données pendant le traitement. Le TPU 8i Max vise les modèles et les agents qui traitent de très gros volumes de contexte. L’annonce de Google Cloud du 9 novembre décrit deux nouvelles configurations de la huitième génération déjà présentée au printemps.
Cette différence entre une puce et un système explique une partie de l’annonce. Une configuration assemble le matériel de calcul et la mémoire avec le réseau qui relie les composants. Google repart des puces de sa présentation des TPU d’avril et modifie la façon dont il les associe. Le constructeur avait alors distingué le TPU 8t pour l’entraînement à grande échelle et le TPU 8i pour l’inférence à faible latence. L’inférence correspond ici au calcul qui produit une réponse à partir d’un modèle déjà entraîné.
TPU 8tx. Protéger les données pendant le calcul
Le TPU 8tx reprend la puce du 8t et l’associe à des processeurs hôtes AMD EPYC de cinquième génération. Google dit avoir prévu une isolation matérielle des données et des paramètres du modèle lorsqu’ils sont utilisés. Cette protection vise une phase que le chiffrement du stockage ou des transferts ne couvre pas à lui seul. Le calcul exige en effet d’accéder aux informations en mémoire.
Google présente cette configuration pour les organisations qui doivent traiter des données sensibles avec leurs agents. L’entreprise met aussi en avant la possibilité d’adapter un modèle à partir de données privées sans les transférer vers un autre groupe de machines pour chaque étape. Elle annonce une latence jusqu’à deux fois inférieure à celle du TPU 8t grâce à son réseau Boardfly. Ce chiffre décrit une comparaison du constructeur entre ces systèmes. Il ne donne pas le temps de réponse d’un assistant complet.
TPU 8i Max. Réduire les attentes liées à la mémoire
Avec le 8i Max, Google associe deux puces 8i dans un même ensemble. Il annonce deux fois plus de capacité de calcul et de mémoire SRAM ainsi qu’une bande passante HBM doublée par rapport au 8i. La bande passante décrit la quantité de données qui peut circuler en un temps donné. Elle importe quand un agent doit revenir sur de nombreux fichiers ou garder une grande quantité d’informations à portée du modèle.
La conception vise donc les tâches à contexte long et les agents qui travaillent en parallèle. Le doublement de certaines ressources ne fixe pas à lui seul la longueur de contexte d’un modèle. Cette limite dépend aussi du modèle et du service utilisé. Le même raisonnement vaut pour le prix d’une requête et le temps réellement gagné sur une tâche.
L’annonce matérielle et les outils disponibles
Dans la même publication, Google annonce la disponibilité générale de Cloud Pathways sur Google Kubernetes Engine et celle du découpage dynamique des groupes de TPU. Il décrit par ailleurs une suite d’outils pour agents en préversion. Ces statuts concernent les couches logicielles citées. Le texte ne donne pas de date d’ouverture générale ni de liste de régions pour les deux nouveaux systèmes matériels.
La différence entre le modèle et son infrastructure aide à lire cette annonce. Quand Google déploie les compétences de Gemini dans Workspace et Studio, le changement est visible dans les outils de travail. Les TPU 8tx et 8i Max se situent en dessous. Ils visent des contraintes de confidentialité ou de mémoire dont les effets se vérifieront sur des applications et des déploiements précis.