Empresas de robótica buscam dados melhores, não apenas modelos maiores
A Memories.ai está construindo um pipeline de dados projetado para robótica e IA física, centrado em vídeo em primeira pessoa, ou egocêntrico. A empresa, sediada em San Francisco, combina coleta padronizada de vídeo com processamento e anotação baseados em IA, com o objetivo de transformar imagens de atividades do mundo real em material de treinamento para sistemas de aprendizado robótico.
A premissa da empresa é que robôs precisam de dados que mostrem como as pessoas interagem com objetos e ambientes a partir de uma perspectiva física útil. Em vez de atuar apenas como fornecedora de dados, a Memories.ai afirma que quer se tornar uma parceira de infraestrutura de dados para equipes que desenvolvem sistemas robóticos, modelos de mundo, modelos de visão-linguagem-ação e robôs humanoides.
Esse posicionamento coloca o foco na coleta e preparação repetíveis. Desenvolvedores de robótica podem ter grandes volumes de vídeo disponíveis, mas configurações inconsistentes de câmera, rotulagem desigual e pontos de vista mal correspondentes podem dificultar o uso desse material em uma tarefa específica de treinamento. A abordagem da Memories.ai é padronizar a entrada antes que ela chegue ao fluxo de desenvolvimento de modelos do cliente.
Como funciona o pipeline proposto
A empresa fornece a coletores de dados e parceiros hardware padronizado de captura, descrito como uma configuração modular de câmera, juntamente com um processo uniforme de coleta. O objetivo é reunir imagens em um formato consistente, mantendo flexibilidade para diferentes tarefas e ângulos de câmera.
Depois que os parceiros enviam o vídeo, a Memories.ai afirma que processa e anota as imagens com seus próprios modelos. O conjunto de modelos divulgado inclui Memories-H0, para informações sobre a pose das mãos, e EgoAction, para segmentos de ação. Essas etiquetas podem ser valiosas no treinamento de robôs porque podem conectar cenas visuais aos movimentos e ações que ocorrem nelas.
O material resultante é organizado como um data lake de vídeo curado, com serviços personalizados de anotação e ferramentas para conjuntos de dados. Na prática, o pipeline pretende dar aos desenvolvedores de robótica acesso a exemplos preparados, em vez de deixar cada equipe resolver separadamente captura, controle de qualidade, anotação e armazenamento.
Por que o vídeo egocêntrico importa
Imagens em primeira pessoa podem capturar a relação entre mãos, ferramentas, objetos e um ambiente em transformação. Para sistemas de IA física, essa relação é importante: um modelo destinado a apoiar manipulação ou outras tarefas do mundo real precisa de mais do que um reconhecimento geral de um objeto. Ele pode precisar inferir qual ação está em andamento, onde um objeto está em relação ao operador e como uma atividade se desenrola ao longo do tempo.
A Memories.ai descreve sua infraestrutura de dados como construída para IA física. A expressão abrange sistemas destinados a compreender ou agir no mundo real, incluindo plataformas robóticas e modelos de visão-linguagem-ação. O objetivo de longo prazo da empresa é ajudar robôs a compreender melhor ambientes físicos, fornecendo dados e processamento adaptados a esses casos de uso.
Seu design modular também é significativo. As tarefas robóticas variam muito, de fluxos industriais à manipulação doméstica, e uma única perspectiva fixa de câmera não servirá para todas as aplicações. Um sistema de coleta capaz de oferecer múltiplos ângulos e preservar um processo padronizado poderia facilitar a criação de conjuntos de dados alinhados a tarefas específicas.
Uso de IA para preparar vídeo para o desenvolvimento de modelos
A Memories.ai disse que usou o NVIDIA Cosmos para interpretar vídeos que entram em seu data lake e depois seleciona e organiza esse material para pós-treinar o Cosmos para aplicações robóticas e industriais dos clientes. A empresa caracteriza isso como um ciclo que transforma vídeos do mundo real em modelos adaptados às tarefas dos clientes.
A distinção entre imagens brutas e dados de treinamento utilizáveis é central para o modelo de negócio. Capturar vídeo é apenas o primeiro passo. As imagens precisam ser processadas, segmentadas, rotuladas e disponibilizadas em uma forma que os desenvolvedores de modelos possam utilizar. Automatizar parte desse trabalho com modelos de compreensão de vídeo pode ajudar a escalar o pipeline, enquanto a anotação personalizada pode adaptar conjuntos de dados às exigências específicas de um cliente.
- A captura padronizada busca melhorar a consistência entre os colaboradores.
- A anotação baseada em IA é usada para rotular elementos como pose das mãos e segmentos de ação.
- Um data lake curado oferece aos clientes uma base compartilhada para pós-treinamento e trabalho com conjuntos de dados.
- O hardware modular foi projetado para apoiar tarefas e perspectivas de câmera variadas.
A infraestrutura se torna uma camada competitiva
A ascensão da IA física tornou a coleta e curadoria de dados uma preocupação estratégica. Um robô só pode aprender com os exemplos disponibilizados, e equipes que trabalham com arquiteturas de modelos semelhantes podem se diferenciar pela qualidade, relevância e organização de seus dados. Isso cria espaço para fornecedores especializados cujo valor está em construir o pipeline ao redor do modelo, e não o modelo em si.
A Memories.ai também publicou vários elementos de sua pesquisa no GitHub e informou atividade de publicação no ICLR, NeurIPS e EMNLP. Esses detalhes indicam um esforço para participar do ecossistema de pesquisa enquanto comercializa uma plataforma de dados para clientes de robótica.
A ambição declarada da empresa continua ampla, e suas afirmações devem ser entendidas como sua própria descrição da plataforma. Ainda assim, a direção é clara: à medida que a robótica avança de demonstrações para implantações mais variadas no mundo real, dados padronizados em primeira pessoa e anotações confiáveis podem se tornar tão importantes quanto os algoritmos que os consomem.
O desafio central: traduzir experiência em material de treinamento
Na robótica, a unidade útil de dados raramente é apenas um clipe de vídeo. É um clipe com contexto e estrutura suficientes para ensinar algo acionável a um modelo. Ao se concentrar em padrões de captura, interpretação de vídeo e anotações direcionadas, a Memories.ai tenta transformar atividades físicas cotidianas em uma forma mais valiosa. A adoção ampla dessa abordagem dependerá da qualidade dos dados, da aplicabilidade das etiquetas e dos ganhos de desempenho que os clientes conseguirem obter com seu uso.
Este artigo é baseado em uma reportagem do The Robot Report. Leia o artigo original.
Originally published on therobotreport.com






