Xiaomi affirme que l’entraînement des robots progresse plus avec les données qu’avec la taille du modèle

Xiaomi plaide pour faire monter en puissance les données robotiques avant les modèles robotiques

Xiaomi a publié un nouveau modèle de robotique, Xiaomi-Robotics-1, construit autour d’une idée qui pourrait influencer la façon dont la prochaine vague de systèmes robotiques sera entraînée : pour amener les machines à manipuler des objets dans le monde réel, les données pourraient compter davantage que des modèles plus grands.

Cette conclusion fait écho à un schéma familier dans les grands modèles de langage, où les performances s’améliorent souvent à mesure que les données d’entraînement et la puissance de calcul augmentent. Mais la robotique a un autre goulot d’étranglement. Les modèles de texte peuvent s’appuyer sur l’immense Internet public. Les modèles robotiques, non. Les données utiles pour saisir, soulever, placer et s’adapter à des environnements inconnus sont beaucoup plus difficiles à collecter, bien plus coûteuses à annoter, et généralement liées à des configurations matérielles étroites.

L’approche de Xiaomi est notable parce qu’elle tente de briser ce goulot d’étranglement sans s’appuyer principalement sur des flottes de robots physiques coûteux. À la place, l’entreprise dit avoir collecté l’essentiel de ses données de préentraînement à l’aide de pinces portatives munies de caméras. Des personnes ont utilisé ces outils directement à la main dans des environnements réels, capturant des tâches de manipulation dans des lieux tels que des cuisines, des bureaux, des magasins, des ateliers et des espaces extérieurs.

Le résultat, selon l’entreprise, est un jeu de données de plus de 100 000 heures d’enregistrements de mouvement recueillis dans plus de 1 700 environnements différents. Cette échelle compte parce que les systèmes d’apprentissage robotique peinent souvent à généraliser au-delà des agencements, objets et routines observés lors de campagnes de collecte très cadrées. En utilisant des équipements portatifs plutôt que des plateformes robotiques complètes durant la phase initiale de collecte, Xiaomi soutient qu’elle peut rassembler une expérience plus large, plus vite et à moindre coût.

Une autre réponse à la pénurie de données en robotique

La méthode standard de collecte de données de manipulation robotique est lente. Une personne guide à distance un robot dans les tâches, un mouvement à la fois, produisant des démonstrations adaptées aux capteurs, aux articulations et aux pinces de cette machine. La méthode peut fonctionner, mais elle ne s’échelle pas facilement et produit souvent des exemples répétitifs dans des environnements similaires.

La configuration portable de Xiaomi vise à contourner cette limite. Comme une personne peut simplement transporter la pince dans différents espaces et l’utiliser directement, l’entreprise peut recueillir des exemples dans bien plus de contextes qu’une flotte de robots ne couvrirait généralement. Cela n’élimine toutefois pas le problème de transfert. Une pince portative n’est pas la même chose qu’un robot à roues ou qu’un système à deux bras. Le modèle doit toujours apprendre comment les schémas de mouvement enregistrés par un outil manipulé par un humain se traduisent en contraintes physiques et en systèmes de contrôle de robots réels.

Xiaomi dit avoir répondu à cela en transférant le système préentraîné vers des robots physiques lors des étapes suivantes, notamment des plateformes à roues et des systèmes à deux bras. Pour le post-entraînement, elle a combiné ses propres enregistrements d’appartements réels avec des jeux de données robotiques open source et des données UMI annotées. Le tableau qui se dessine est un pipeline en plusieurs couches : collecter largement et à moindre coût l’expérience de manipulation, l’annoter à grande échelle, puis l’adapter au matériel qui exécutera réellement les tâches.

Cela pourrait être important pour l’ensemble du secteur robotique, car le domaine se heurte depuis longtemps à un décalage inconfortable. Les chercheurs veulent des comportements robotiques polyvalents, mais l’infrastructure de données pour les entraîner est souvent restée locale, sur mesure et coûteuse. Xiaomi soutient en pratique que l’IA robotique pourrait progresser moins comme l’ingénierie robotique classique et davantage comme le développement de modèles fondamentaux, où la qualité, la taille et la diversité des corpus de préentraînement deviennent des actifs stratégiques.

L’annotation automatisée rend la collecte à grande échelle viable

Collecter 100 000 heures de données de manipulation n’est que la moitié du problème. Ces enregistrements doivent aussi être accompagnés de descriptions dont un modèle peut apprendre. Xiaomi indique que l’annotation manuelle à cette échelle n’était pas praticable, et a donc utilisé un autre système d’IA pour générer des descriptions textuelles pour chaque segment de mouvement. L’entreprise affirme avoir annoté l’ensemble du jeu de données en environ deux semaines.

Cette étape est importante parce que les modèles robotiques conçus pour suivre des instructions orales ou écrites ont besoin d’un pont entre mouvement et langage. Si la qualité des annotations est suffisamment élevée, le modèle peut commencer à associer des objectifs textuels à des actions physiques et à des changements de scène. Si les annotations sont faibles ou incohérentes, l’échelle seule ne sauvera pas les performances. Le calendrier rapporté par Xiaomi suggère que l’annotation automatisée devient centrale en robotique, non seulement comme commodité, mais comme condition préalable à la création de jeux de données assez vastes pour permettre une généralisation large.

Le modèle lui-même est conçu pour suivre des commandes orales ou écrites dans des environnements inconnus sans exposition préalable, et pour s’adapter à de nouvelles tâches avec peu d’entraînement supplémentaire. C’est un objectif ambitieux, mais il s’inscrit dans une tendance plus large du secteur à passer de politiques robotiques spécifiques à une tâche à des systèmes capables de transférer des connaissances entre contextes et consignes.

Pourquoi le résultat de Xiaomi compte au-delà d’un seul lancement de modèle

Dans les tests de Xiaomi, l’augmentation de la taille du modèle a bien amélioré les performances, mais l’augmentation des données d’entraînement a produit des gains bien plus importants. C’est la conclusion essentielle. Si elle se confirme au-delà de l’évaluation interne de Xiaomi, cela suggérerait que le chemin le plus rapide vers une meilleure manipulation robotique ne serait pas forcément des architectures toujours plus grandes, mais plutôt la capacité à collecter une expérience physique plus riche et plus variée et à la relier à grande échelle au langage.

Cela a des implications concrètes pour l’allocation du capital par les entreprises. Les modèles plus grands exigent davantage de calcul, mais des jeux de données plus vastes et plus diversifiés exigent des systèmes de collecte, des pipelines d’annotation, du stockage, de la curation et des méthodes de transfert capables d’absorber la variabilité chaotique du monde réel. Une entreprise qui résout ces problèmes opérationnels peut acquérir un avantage difficile à reproduire par la seule montée en puissance des modèles.

Cela reformule aussi une question clé en robotique : non seulement l’intelligence abstraite d’un modèle, mais la part du monde physique qu’il a effectivement vue. Pour les modèles de langage, Internet a fourni cette ampleur. Pour les robots, il n’existe pas de corpus équivalent prêt à l’emploi. Le travail de Xiaomi suggère que le secteur devra peut-être fabriquer ce corpus au moyen de nouveaux outils et flux de travail plutôt que d’attendre qu’il apparaisse.

Des questions restent ouvertes. Le document fourni n’inclut pas de détails de benchmarking indépendants, de résultats de déploiement ni de taux d’échec sur des tâches précises. Il ne montre pas non plus à quel point le modèle conserve ses performances lorsqu’il est transféré entre des formes de robots très différentes. Mais même avec ces réserves, cette publication se distingue parce qu’elle déplace l’attention de la taille spectaculaire du modèle vers le problème moins glamour de la génération de données.

Pour un secteur désireux de construire des machines capables d’opérer dans les maisons, les lieux de travail et les espaces publics, ce changement peut être le plus déterminant. Xiaomi ne présente pas seulement un modèle robotique. Elle avance un argument sur l’origine probable des prochains progrès en IA robotique : un contact plus large avec le monde physique, capturé en volume et en diversité suffisants pour que les robots commencent à apprendre par l’expérience à une échelle plus proche de celle de l’IA moderne.

Cet article est basé sur le reportage de The Decoder. Lire l’article original.