Runway ouvre les poids et le code de Praxis-1 pour la robotique
Praxis-1 apprend à partir de vidéos et prédit des actions pour des robots. Runway publie les poids et le code sous licence Apache 2.0.
Runway a publié le 11 novembre les poids et le code de Praxis-1 sous licence Apache 2.0. Le modèle utilise des vidéos pour apprendre comment des objets se déplacent et prédit aussi des actions destinées à un robot. La publication donne aux équipes de robotique un accès aux fichiers et au code qui permettent d’évaluer le modèle sur leurs propres tâches.
De l’observation vidéo à la commande d’un robot
Un modèle qui génère une vidéo produit une suite d’images plausibles. Praxis-1 apprend aussi à produire des actions qui correspondent à un objectif. Le rapprochement des deux tâches donne au modèle des informations sur ce qui peut arriver après un mouvement. Dans la présentation de Runway, cette approche sert à préparer un modèle de base avant de l’adapter à un appareil.
l’annonce de disponibilité de Runway décrit Praxis-1 comme un modèle à mélange d’experts de 27 milliards de paramètres. L’éditeur publie une base et des variantes adaptées à des configurations de robots. le dépôt du code de Praxis-1 fournit les éléments de calcul et d’ajustement. La présence des fichiers permet d’étudier le fonctionnement et d’adapter le modèle. La compatibilité avec une caméra ou un bras précis reste à examiner. Les variantes DROID et YAM correspondent à des configurations distinctes. Elles permettent de situer l’évaluation et les fichiers de départ.
Le résultat de 46,2 % concerne une évaluation en simulation
le classement RoboLab-120 de NVIDIA présente un résultat de 46,2 % pour Praxis-1 dans sa configuration évaluée. La ligne correspond à 555 épisodes réussis sur 1 200. Le banc d’essai mesure l’exécution de tâches de manipulation en simulation. Le filtre du classement change les modèles affichés. Il faut garder le type de modèle et la configuration comparée à l’esprit en lisant les rangs.
Runway souligne les résultats de Praxis-1 au sein de la famille des modèles qui prédisent le monde et les actions. Ça ne signifie pas que le modèle réussit toutes les tâches de manipulation. Même dans ce protocole, plus de la moitié des épisodes ne remplissent pas les critères de réussite. Une évaluation sur un robot réel ajoute les variations d’éclairage et de position des objets ainsi que les contraintes propres à la machine.
Ce que change l’accès aux poids
Runway cite des essais avec plusieurs partenaires industriels. Ces exemples illustrent l’adaptation du modèle à différentes configurations. Ils ne constituent pas une mesure indépendante des performances sur tous les robots concernés. Le rapport du laboratoire NVIDIA donne un point de comparaison distinct des démonstrations sélectionnées par l’éditeur.
La publication permet à une équipe de commencer avec les fichiers existants et de mesurer ce que son robot sait réellement faire. Elle ne dispense pas de définir ce qui compte comme une réussite. Déplacer un objet fragile peut demander de contrôler la prise et la position finale. Dans l’essai de Gemini Robotics chez Mercedes-Benz, la question se posait déjà dans un environnement industriel réel. Pour Praxis-1, le résultat le plus utile sera donc celui obtenu dans les conditions de la tâche visée. Le code et les poids ouverts rendent cette évaluation possible pour davantage d’équipes.