Les entreprises de robotique recherchent de meilleures données, pas seulement des modèles plus grands

Memories.ai construit un pipeline de données conçu pour la robotique et l’IA physique, centré sur la vidéo à la première personne, ou égocentrée. L’entreprise, basée à San Francisco, associe une collecte vidéo standardisée à un traitement et une annotation assistés par IA, dans le but de transformer des images d’activités du monde réel en données d’entraînement pour les systèmes d’apprentissage robotique.

Le principe de l’entreprise est que les robots ont besoin de données montrant comment les personnes interagissent avec des objets et des environnements depuis une perspective physique utile. Au lieu d’agir uniquement comme un fournisseur de données, Memories.ai affirme vouloir devenir un partenaire d’infrastructure de données pour les équipes qui développent des systèmes robotiques, des modèles du monde, des modèles vision-langage-action et des robots humanoïdes.

Ce positionnement met l’accent sur une collecte et une préparation reproductibles. Les développeurs en robotique disposent peut-être de grandes quantités de vidéos, mais des configurations de caméra incohérentes, un étiquetage inégal et des points de vue mal adaptés peuvent compliquer l’utilisation de ces contenus pour une tâche d’entraînement précise. L’approche de Memories.ai consiste à standardiser les données d’entrée avant leur intégration au flux de développement des modèles du client.

Comment fonctionne le pipeline proposé

L’entreprise fournit aux collecteurs de données et à ses partenaires du matériel de capture standardisé, décrit comme une configuration de caméra modulaire, ainsi qu’un processus de collecte uniforme. L’objectif est de recueillir des images dans un format cohérent tout en conservant une certaine flexibilité pour différentes tâches et perspectives de caméra.

Après l’envoi des vidéos par les partenaires, Memories.ai affirme traiter et annoter les images avec ses propres modèles. Selon l’entreprise, son ensemble de modèles comprend Memories-H0 pour les informations sur la pose des mains et EgoAction pour les segments d’action. De telles annotations peuvent être utiles à l’entraînement des robots, car elles peuvent relier les scènes visuelles aux mouvements et aux actions qui s’y déroulent.

Le contenu obtenu est organisé sous la forme d’un lac de données vidéo organisé, avec des services d’annotation personnalisés et des outils pour les jeux de données. En pratique, le pipeline vise à donner aux développeurs en robotique accès à des exemples préparés, plutôt que de laisser chaque équipe résoudre séparément les problèmes de capture, de contrôle qualité, d’annotation et de stockage.

Pourquoi la vidéo égocentrée est importante

Les images à la première personne peuvent capturer la relation entre les mains, les outils, les objets et un environnement changeant. Pour les systèmes d’IA physique, cette relation est importante : un modèle destiné à prendre en charge la manipulation ou d’autres tâches du monde réel a besoin de plus qu’une reconnaissance générale d’un objet. Il peut devoir déduire l’action en cours, la position d’un objet par rapport à l’opérateur et la manière dont une activité se déroule dans le temps.

Memories.ai décrit son infrastructure de données comme étant conçue pour l’IA physique. Cette expression englobe les systèmes destinés à comprendre le monde réel ou à y agir, notamment les plateformes robotiques et les modèles vision-langage-action. L’objectif à long terme de l’entreprise est d’aider les robots à mieux comprendre les environnements physiques en fournissant des données et des traitements adaptés à ces usages.

Sa conception modulaire est également importante. Les tâches robotiques varient fortement, des flux de travail industriels à la manipulation domestique, et une seule perspective de caméra fixe ne conviendra pas à toutes les applications. Un système de collecte capable de prendre en charge plusieurs points de vue tout en conservant un processus standardisé pourrait faciliter la création de jeux de données adaptés à des tâches particulières.

Utiliser l’IA pour préparer les vidéos au développement des modèles

Memories.ai a déclaré avoir utilisé NVIDIA Cosmos pour interpréter les vidéos entrant dans son lac de données, puis sélectionner et organiser ces contenus afin de post-entraîner Cosmos pour les applications robotiques et industrielles de ses clients. L’entreprise présente ce processus comme une boucle transformant des vidéos du monde réel en modèles adaptés aux tâches des clients.

La distinction entre les images brutes et les données d’entraînement exploitables est au cœur du modèle économique. Capturer une vidéo n’est que la première étape. Les images doivent être traitées, segmentées, étiquetées et mises à disposition sous une forme utilisable par les développeurs de modèles. L’automatisation d’une partie de ce travail grâce à des modèles de compréhension vidéo peut aider à faire évoluer le pipeline, tandis qu’une annotation personnalisée peut adapter les jeux de données aux exigences particulières d’un client.

  • La capture standardisée vise à améliorer la cohérence entre les contributeurs.
  • L’annotation assistée par IA sert à étiqueter des éléments tels que la pose des mains et les segments d’action.
  • Un lac de données organisé offre aux clients une base commune pour le post-entraînement et le travail sur les jeux de données.
  • Le matériel modulaire est destiné à prendre en charge des tâches et des perspectives de caméra variées.

L’infrastructure devient un facteur de compétitivité

La montée de l’IA physique a fait de la collecte et de la curation des données un enjeu stratégique. Un robot ne peut apprendre qu’à partir des exemples mis à sa disposition, et les équipes travaillant sur des architectures de modèles similaires peuvent se différencier par la qualité, la pertinence et l’organisation de leurs données. Cela crée un espace pour des fournisseurs spécialisés dont la valeur réside dans la construction du pipeline autour du modèle plutôt que dans le modèle lui-même.

Memories.ai a également publié plusieurs éléments de ses recherches sur GitHub et fait état de publications à l’ICLR, à NeurIPS et à EMNLP. Ces éléments témoignent d’un effort pour participer à l’écosystème de la recherche tout en commercialisant une plateforme de données pour les clients de la robotique.

L’ambition affichée de l’entreprise reste vaste, et ses déclarations doivent être comprises comme sa propre description de la plateforme. La direction est toutefois claire : à mesure que la robotique passe des démonstrations à des déploiements plus variés dans le monde réel, des données standardisées à la première personne et une annotation fiable pourraient devenir aussi importantes que les algorithmes qui les exploitent.

Le défi central : transformer l’expérience en données d’entraînement

En robotique, l’unité de données utile est rarement un simple clip vidéo. Il s’agit d’un clip offrant suffisamment de contexte et de structure pour enseigner à un modèle quelque chose d’exploitable. En se concentrant sur les standards de capture, l’interprétation vidéo et les annotations ciblées, Memories.ai tente de conditionner l’activité physique quotidienne sous une forme plus précieuse. L’adoption généralisée de cette approche dépendra de la qualité des données, de la pertinence des annotations et des gains de performance que les clients pourront obtenir en l’utilisant.

Cet article s’appuie sur un reportage de The Robot Report. Lire l’article original.

Originally published on therobotreport.com