Las empresas de robótica buscan mejores datos, no solo modelos más grandes

Memories.ai está construyendo una canalización de datos diseñada para la robótica y la IA física, centrada en vídeo en primera persona o egocéntrico. La empresa, con sede en San Francisco, combina la recopilación estandarizada de vídeo con procesamiento y anotación impulsados por IA, con el objetivo de convertir imágenes de actividades del mundo real en material de entrenamiento para sistemas de aprendizaje robótico.

La premisa de la empresa es que los robots necesitan datos que muestren cómo interactúan las personas con objetos y entornos desde una perspectiva física útil. En lugar de operar únicamente como proveedor de datos, Memories.ai afirma que quiere convertirse en un socio de infraestructura de datos para equipos que desarrollan sistemas robóticos, modelos del mundo, modelos de visión-lenguaje-acción y robots humanoides.

Esa posición pone el énfasis en una recopilación y preparación repetibles. Los desarrolladores de robótica pueden disponer de grandes cantidades de vídeo, pero las configuraciones de cámara inconsistentes, el etiquetado desigual y los puntos de vista mal ajustados pueden dificultar el uso de ese material para una tarea de entrenamiento concreta. El enfoque de Memories.ai consiste en estandarizar la entrada antes de que llegue al flujo de desarrollo de modelos del cliente.

Cómo funciona la canalización propuesta

La empresa proporciona a los recopiladores de datos y socios hardware de captura estandarizado, descrito como un sistema de cámara modular, junto con un proceso uniforme de recopilación. El objetivo es reunir imágenes en un formato coherente y mantener al mismo tiempo la flexibilidad para distintas tareas y perspectivas de cámara.

Después de que los socios envían el vídeo, Memories.ai afirma que procesa y anota las imágenes con sus propios modelos. Según la empresa, su conjunto de modelos incluye Memories-H0 para información sobre la postura de las manos y EgoAction para segmentos de acción. Estas etiquetas pueden resultar valiosas en el entrenamiento de robots porque pueden conectar las escenas visuales con los movimientos y acciones que tienen lugar en ellas.

El material resultante se organiza como un lago de datos de vídeo curado, con servicios de anotación personalizados y herramientas para conjuntos de datos. En términos prácticos, la canalización pretende dar a los desarrolladores de robótica acceso a ejemplos preparados, en lugar de obligar a cada equipo a resolver por separado la captura, el control de calidad, la anotación y el almacenamiento.

Por qué importa el vídeo egocéntrico

Las imágenes en primera persona pueden captar la relación entre manos, herramientas, objetos y un entorno cambiante. Para los sistemas de IA física, esa relación es importante: un modelo destinado a apoyar la manipulación u otras tareas del mundo real necesita más que un reconocimiento general de un objeto. Puede necesitar inferir qué acción está en curso, dónde se encuentra un objeto respecto al operador y cómo se desarrolla una actividad a lo largo del tiempo.

Memories.ai describe su infraestructura de datos como creada para la IA física. Esa expresión engloba sistemas destinados a comprender o actuar en el mundo real, incluidas las plataformas robóticas y los modelos de visión-lenguaje-acción. El objetivo a largo plazo de la empresa es ayudar a que los robots comprendan mejor los entornos físicos mediante datos y procesamiento adaptados a esos casos de uso.

Su diseño modular también es significativo. Las tareas robóticas varían mucho, desde flujos industriales hasta la manipulación doméstica, y una única perspectiva fija de cámara no encajará en todas las aplicaciones. Un sistema de recopilación que pueda admitir múltiples perspectivas y conservar un proceso estandarizado podría facilitar la creación de conjuntos de datos alineados con tareas concretas.

Uso de IA para preparar vídeo para el desarrollo de modelos

Memories.ai afirmó que utilizó NVIDIA Cosmos para interpretar el vídeo que entra en su lago de datos y que después selecciona y organiza ese material para realizar el postentrenamiento de Cosmos destinado a las aplicaciones robóticas e industriales de sus clientes. La empresa caracteriza esto como un ciclo que convierte vídeo del mundo real en modelos adaptados a las tareas de los clientes.

La distinción entre imágenes en bruto y datos de entrenamiento utilizables es central para el caso de negocio. Capturar vídeo es solo el primer paso. Las imágenes deben procesarse, segmentarse, etiquetarse y ponerse a disposición en un formato que los desarrolladores de modelos puedan utilizar. Automatizar parte de ese trabajo con modelos de comprensión de vídeo puede ayudar a escalar la canalización, mientras que la anotación personalizada puede adaptar los conjuntos de datos a los requisitos específicos de cada cliente.

  • La captura estandarizada busca mejorar la coherencia entre los colaboradores.
  • La anotación impulsada por IA se utiliza para etiquetar elementos como la postura de las manos y los segmentos de acción.
  • Un lago de datos curado proporciona a los clientes una base compartida para el postentrenamiento y el trabajo con conjuntos de datos.
  • El hardware modular está diseñado para admitir tareas y perspectivas de cámara variadas.

La infraestructura se convierte en una capa competitiva

El auge de la IA física ha convertido la recopilación y curación de datos en una preocupación estratégica. Un robot solo puede aprender de los ejemplos que se ponen a su disposición, y los equipos que trabajan con arquitecturas de modelos similares pueden diferenciarse por la calidad, relevancia y organización de sus datos. Esto crea espacio para proveedores especializados cuyo valor reside en construir la canalización alrededor del modelo, no el modelo en sí.

Memories.ai también ha publicado varios elementos de su investigación en GitHub y ha informado de actividad de publicación en ICLR, NeurIPS y EMNLP. Estos detalles indican un esfuerzo por participar en el ecosistema de investigación mientras comercializa una plataforma de datos para clientes de robótica.

La ambición declarada de la empresa sigue siendo amplia, y sus afirmaciones deben entenderse como su propia descripción de la plataforma. Aun así, la dirección es clara: a medida que la robótica pasa de las demostraciones a despliegues más variados en el mundo real, los datos estandarizados en primera persona y una anotación fiable pueden llegar a ser tan importantes como los algoritmos que los consumen.

El reto central: traducir la experiencia en material de entrenamiento

En robótica, la unidad de datos útil rara vez es solo un videoclip. Es un clip con suficiente contexto y estructura para enseñar a un modelo algo accionable. Al centrarse en estándares de captura, interpretación de vídeo y anotaciones específicas, Memories.ai intenta empaquetar la actividad física cotidiana en una forma más valiosa. Que este enfoque se adopte ampliamente dependerá de la calidad de los datos, la aplicabilidad de las etiquetas y las mejoras de rendimiento que los clientes puedan obtener al utilizarlo.

Este artículo se basa en un reportaje de The Robot Report. Leer el artículo original.

Originally published on therobotreport.com