Runway rend son modèle de robotique Praxis-1 disponible avec des poids ouverts

Runway AI a lancé Praxis-1, un modèle d’action mondiale pour la robotique que les développeurs peuvent utiliser sous licence Apache 2.0. Cette publication met les poids du modèle ainsi que le code d’inférence et de réglage fin entre les mains des développeurs, y compris pour des applications commerciales.

Praxis-1 est conçu pour prédire simultanément la vidéo et les actions du robot. Runway le décrit comme un transformeur de diffusion à mélange d’experts de 27 milliards de paramètres, fondé sur les travaux de l’entreprise concernant les modèles fondamentaux vidéo. L’idée sous-jacente est qu’apprendre à prédire l’évolution des scènes peut aider un système à construire une représentation utile du monde physique avant d’être entraîné à y agir.

L’entreprise avait annoncé Praxis-1 en septembre avec ses partenaires de lancement Noble Machines, Standard Bots et Ultra. Ces partenaires l’ont depuis exécuté sur plusieurs types de matériel : un robot humanoïde à jambes, un bras industriel à six axes et un robot d’entrepôt à deux bras. Cette disponibilité élargie signifie que d’autres équipes de robotique peuvent désormais évaluer, adapter et déployer le système sur leurs propres machines, plutôt que de le considérer uniquement comme une démonstration fermée.

De la prédiction vidéo à l’action physique

Andy Chen, responsable de la robotique chez Runway, a déclaré que l’approche du modèle reposait sur une observation pratique : un modèle entraîné à prédire la vidéo doit apprendre une quantité importante d’informations sur les objets, les mains, le mouvement et la progression des tâches. Dans Praxis-1, cette compréhension visuelle reste une partie de l’objectif d’entraînement, tandis que le système apprend à produire des actions.

Il s’agit d’un cadrage notable pour l’apprentissage robotique. Plutôt que d’aborder le contrôle comme une simple correspondance entre une image de caméra et une commande moteur, le modèle vise à réunir la perception, l’anticipation de ce qui va se produire et le choix d’une action. Le contenu source présente Praxis-1 comme un modèle d’action mondiale, une appellation qui reflète ce traitement combiné de l’observation et de l’action.

Chen a donné un exemple tiré du travail de Noble Machines dans les entrepôts. Un ancien modèle de Runway aurait nécessité un entraînement important pour apprendre à saisir individuellement des planches en bois et à les placer dans un conteneur. Il a déclaré que Praxis-1 avait appris cette tâche à partir d’environ une demi-heure d’exemples, puis l’avait accomplie avec succès 15 fois sur 15. Lors d’un second test, le modèle devait trier dans des bacs un tas désordonné de planches qu’il n’avait jamais vu auparavant. Chen a déclaré qu’il avait débarrassé entièrement le tas lors de six tentatives sur dix.

Ces résultats proviennent de tests de partenaires rapportés par l’entreprise et ne remplacent pas une évaluation indépendante menée sur différents sites et tâches. L’exemple illustre néanmoins le type de capacité recherché par les développeurs : un modèle de base pouvant être adapté à partir de démonstrations relativement limitées et capable de gérer des variations dépassant la configuration exacte observée pendant l’entraînement.

Position rapportée dans les benchmarks

Sur le benchmark RoboLab-120, Runway affirme que Praxis-1 a atteint un taux de réussite de 46,2 % sur 1 200 épisodes. L’article compare ce résultat aux 42,9 % de FLUX 3 Action, aux 36,8 % de Cosmos3 Nano et aux 28,0 % de π0.5. Le rapport indique que Praxis-1 se classe cinquième au classement général, tandis que Chen le décrit comme le modèle d’action mondiale le mieux classé et la politique open source de bout en bout la mieux classée du classement RoboLab de NVIDIA.

Les scores de benchmark sont utiles pour comparer les systèmes dans un cadre de test défini, mais leur relation avec une usine, un entrepôt ou un environnement de robot de service particulier n’est pas automatique. Les robots sont confrontés à des différences de position des caméras, d’éclairage, d’objets, de surfaces et de contraintes de sécurité. Pour les utilisateurs potentiels, la question décisive sera de savoir si le modèle peut être réglé et validé de manière fiable pour leurs équipements et conditions d’exploitation spécifiques.

La disponibilité de Praxis-1 pourrait faciliter cette évaluation. La publication prend en charge le réglage fin complet ainsi que l’adaptation de bas rang, ou LoRA. Les développeurs peuvent ainsi choisir entre un réentraînement approfondi du modèle pour un cas d’usage et une adaptation plus ciblée. Le modèle est également disponible via GitHub et Hugging Face, avec une prise en charge native de LeRobot, ainsi que via vLLM-Omni. L’inférence hébergée est disponible sur Reactor.

Déploiement sur du matériel NVIDIA

Runway affirme que Praxis-1 fonctionne sur une large gamme de matériel NVIDIA, des GPU H100 et B200 pour centres de données aux GPU RTX 5090 et RTX PRO 6000 pour stations de travail, ainsi que sur le matériel Jetson Thor intégré au robot lui-même. Cette couverture est importante, car les flux de travail robotiques s’étendent généralement sur plusieurs environnements informatiques : les équipes peuvent entraîner ou régler les modèles sur du matériel centralisé puissant, les tester sur des stations de travail et, finalement, devoir les exécuter à proximité de la machine.

La licence Apache 2.0 est également importante. Elle autorise l’utilisation commerciale, et Runway affirme que la publication ouverte couvre à la fois les poids du modèle et le code d’inférence et de réglage fin qui l’accompagne. Pour les développeurs en robotique, cela peut réduire la dépendance à un modèle propriétaire hébergé et permettre d’examiner et de modifier le système au sein d’une pile robotique plus vaste.

Cette publication ne tranche pas la question de savoir si un modèle généraliste peut remplacer l’ingénierie robotique traditionnelle. Un système déployé et utile doit toujours relier la perception et l’action aux capteurs, aux actionneurs, à l’espace de travail et aux dispositifs de sécurité opérationnelle d’un robot donné. Mais publier un modèle de base accompagné de démonstrations testées par des partenaires, d’outils d’adaptation et d’une licence ouverte change les acteurs capables d’effectuer ce travail.

Pourquoi cette publication est importante

Praxis-1 arrive alors que le secteur cherche à rendre les modèles robotiques plus réutilisables entre différents types de robots et différentes tâches. Les travaux rapportés par Runway avec ses partenaires couvrent un humanoïde, un bras industriel et un robot d’entrepôt, tandis que sa propre description met l’accent sur l’apprentissage des régularités physiques par la prédiction visuelle. Si les développeurs parviennent à reproduire et à étendre ces résultats, un modèle ouvert de cette ampleur pourrait devenir un point de départ commun pour les expériences de manipulation et d’automatisation des entrepôts.

Pour l’instant, le développement le plus concret est la publication elle-même : les développeurs peuvent obtenir le modèle, l’exécuter sur des systèmes NVIDIA compatibles et l’adapter à leur propre matériel. Les prochains tests détermineront dans quelle mesure ses performances rapportées dans les benchmarks et chez les partenaires se transposent aux environnements variés et imparfaits dans lesquels les robots sont censés travailler.

Cet article s’appuie sur un reportage de The Robot Report. Lire l’article original.

Originally published on therobotreport.com