NVIDIA détaille quatre modèles Cosmos 3 pour générer des observations en simulation
Générer une scène et calculer sa physique restent deux opérations différentes. Les quatre exemples Cosmos 3 couvrent des usages précis de la simulation.
NVIDIA détaille le 5 novembre quatre modèles spécialisés de la famille Cosmos 3 Nano pour la simulation interactive. Ils génèrent des observations visuelles ou des données de capteurs à partir de commandes. Les fiches des modèles datent leur mise à disposition du 20 octobre 2026. Le nouveau billet explique leur utilisation. Il ne correspond pas au lancement initial de toute la famille Cosmos 3.
Quatre modèles pour des fonctions différentes
La présentation originale sur Hugging Face sépare quatre usages. Transfer-Auto produit des données de conduite synthétiques hors ligne. Sim-Auto génère progressivement des observations qui peuvent suivre de nouvelles commandes de conduite. Sim-Transfer transforme les informations d’un simulateur en images. Sim-Bimanual prédit des observations à partir des actions de deux bras robotiques ou de mouvements de caméra.
Cette distinction aide à comprendre ce que reçoit chaque modèle. Une description textuelle ne remplace pas tous les paramètres nécessaires. Une scène de conduite dépend de la géométrie fournie et de la configuration des capteurs. Une interaction robotique demande une représentation précise des actions. Les recettes publiées servent à relier ces entrées aux sorties générées. Elles ne constituent pas un environnement universel immédiatement adapté à tous les équipements.
La génération visuelle ne remplace pas toujours le simulateur physique
La fiche de Sim-Transfer décrit une séparation claire. Le simulateur conserve le calcul de la physique et l’état de la scène. Le modèle produit son apparence à partir d’informations comme la profondeur ou les contours. Une image photoréaliste ne garantit donc pas que toutes les interactions physiques ont été calculées par le modèle génératif. Il faut savoir quel composant fournit chaque information.
Des observations coordonnées pour la conduite
Les fiches de Transfer-Auto et de Sim-Auto décrivent des sorties comprenant plusieurs vues de caméra et des observations LiDAR. Ce capteur mesure des distances pour représenter l’environnement en trois dimensions. Générer ces informations ensemble vise à maintenir leur cohérence. Changer l’éclairage d’une scène tout en conservant son organisation peut servir à examiner la réaction d’un système de perception.
Une simulation en boucle fermée ajoute une autre étape. L’action choisie modifie le contexte transmis au générateur. Celui-ci produit les observations suivantes qui pourront guider une nouvelle action. Le billet technique de NVIDIA du 2 novembre précise les composants à relier pour construire cette boucle. Une vidéo de démonstration ne prouve pas que cette intégration fonctionne déjà sur un autre véhicule ou un autre robot.
Des poids accessibles avec des exigences techniques
La fiche de Sim-Bimanual annonce une utilisation commerciale ou non commerciale. Les quatre exemples emploient la licence OpenMDW 1.1. Elle prévoit notamment la conservation de la licence et des mentions d’origine lors de la redistribution des éléments concernés. Elle laisse à l’utilisateur la responsabilité des droits nécessaires pour ses propres données. L’accès aux poids ne transfère pas les droits sur toute image fournie au système.
Les fiches décrivent une intégration sous Linux sur des architectures NVIDIA Hopper ou Blackwell. Les besoins réels dépendent du modèle et de la configuration. Les chiffres génériques de mémoire d’un autre service Cosmos ne suffisent pas à dimensionner chacun de ces exemples. Aucun des modèles n’a été exécuté pour cet article. Les capacités décrites et les démonstrations proviennent de NVIDIA. Elles ne constituent pas une mesure indépendante de fiabilité.
La validation reste liée à l’usage visé
Comme pour Genie 4 et son aperçu de recherche, il faut relier les images générées à un périmètre précis. Ici, le but consiste à entraîner ou à évaluer des systèmes au moyen d’observations synthétiques. Leur transfert vers le monde réel demande ses propres vérifications. Un mouvement plausible à l’écran ne prouve ni la sécurité d’un robot ni la validité de toutes ses décisions.
Pour moi, l’apport concret tient à la précision des fonctions proposées. Chaque modèle occupe une place dans une chaîne de simulation. La bonne question devient alors celle des observations produites et de la façon dont leur fidélité sera évaluée.