Robotikunternehmen suchen bessere Daten, nicht nur größere Modelle
Memories.ai entwickelt eine Datenpipeline für Robotik und Physical AI, deren Schwerpunkt auf Videos aus der Ich-Perspektive beziehungsweise egocentrischen Videos liegt. Das in San Francisco ansässige Unternehmen verbindet standardisierte Videoerfassung mit KI-gestützter Verarbeitung und Annotation, um Aufnahmen realer Aktivitäten in Trainingsmaterial für Robot-Learning-Systeme zu verwandeln.
Die Prämisse des Unternehmens lautet, dass Roboter Daten benötigen, die zeigen, wie Menschen aus einer nützlichen physischen Perspektive mit Objekten und Umgebungen interagieren. Memories.ai will nach eigenen Angaben nicht nur als Datenanbieter auftreten, sondern als Dateninfrastrukturpartner für Teams, die Robotiksysteme, Weltmodelle, Vision-Language-Action-Modelle und humanoide Roboter entwickeln.
Diese Positionierung rückt eine wiederholbare Erfassung und Aufbereitung in den Mittelpunkt. Robotikentwickler verfügen möglicherweise über große Mengen an Videomaterial, doch uneinheitliche Kameraeinstellungen, inkonsistente Beschriftungen und unpassende Blickwinkel können die Nutzung dieses Materials für eine bestimmte Trainingsaufgabe erschweren. Memories.ai will die Eingabedaten standardisieren, bevor sie in den Modell-Entwicklungsworkflow eines Kunden gelangen.
So funktioniert die geplante Pipeline
Das Unternehmen stellt Datensammlern und Partnern standardisierte Aufnahmetechnik bereit, die als modulares Kamerasystem beschrieben wird, sowie einen einheitlichen Erfassungsprozess. Ziel ist es, Aufnahmen in einem konsistenten Format zu sammeln und zugleich Flexibilität für unterschiedliche Aufgaben und Kameraperspektiven zu erhalten.
Nachdem Partner die Videos eingereicht haben, verarbeitet und annotiert Memories.ai die Aufnahmen nach eigenen Angaben mit eigenen Modellen. Zum veröffentlichten Modellbestand gehören Memories-H0 für Informationen zur Handhaltung und EgoAction für Aktionssegmente. Solche Labels können für das Robotertraining wertvoll sein, weil sie visuelle Szenen mit den darin stattfindenden Bewegungen und Aktionen verknüpfen können.
Das entstehende Material wird als kuratierter Video-Data-Lake mit individuellen Annotationsdiensten und Dataset-Tools organisiert. Praktisch soll die Pipeline Robotikentwicklern vorbereitete Beispiele zugänglich machen, statt jedes Team Erfassung, Qualitätskontrolle, Annotation und Speicherung separat lösen zu lassen.
Warum egocentrische Videos wichtig sind
Aufnahmen aus der Ich-Perspektive können die Beziehung zwischen Händen, Werkzeugen, Objekten und einer sich verändernden Umgebung erfassen. Für Physical-AI-Systeme ist diese Beziehung entscheidend: Ein Modell, das Manipulation oder andere Aufgaben in der realen Welt unterstützen soll, braucht mehr als die allgemeine Erkennung eines Objekts. Es muss möglicherweise ableiten, welche Handlung gerade stattfindet, wo sich ein Objekt relativ zum Bediener befindet und wie sich eine Aktivität im Zeitverlauf entwickelt.
Memories.ai beschreibt seine Dateninfrastruktur als speziell für Physical AI entwickelt. Der Begriff umfasst Systeme, die die reale Welt verstehen oder in ihr handeln sollen, darunter Robotikplattformen und Vision-Language-Action-Modelle. Das langfristige Ziel des Unternehmens ist es, Robotern durch auf diese Anwendungsfälle zugeschnittene Daten und Verarbeitung zu einem besseren Verständnis physischer Umgebungen zu verhelfen.
Auch das modulare Design ist relevant. Robotikaufgaben unterscheiden sich stark – von industriellen Abläufen bis zur Manipulation im Haushalt – und eine einzige feste Kameraperspektive eignet sich nicht für jede Anwendung. Ein Erfassungssystem, das mehrere Blickwinkel unterstützt und zugleich einen standardisierten Prozess beibehält, könnte den Aufbau auf bestimmte Aufgaben abgestimmter Datensätze erleichtern.
Videos mithilfe von KI für die Modellentwicklung aufbereiten
Memories.ai erklärte, das Unternehmen nutze NVIDIA Cosmos, um Videos zu interpretieren, die in seinen Data-Lake gelangen, und kuratiere dieses Material anschließend, um Cosmos für die Robotik- und Industrieanwendungen seiner Kunden nachzutrainieren. Das Unternehmen beschreibt dies als Kreislauf, der reale Videos in an Kundenaufgaben angepasste Modelle verwandelt.
Die Unterscheidung zwischen Rohaufnahmen und nutzbaren Trainingsdaten ist zentral für den Geschäftszweck. Die Videoaufnahme ist nur der erste Schritt. Das Material muss verarbeitet, segmentiert, beschriftet und in einer Form bereitgestellt werden, die Modellierer verwenden können. Die Automatisierung eines Teils dieser Arbeit durch Videoverständnismodelle kann die Skalierung der Pipeline unterstützen, während individuelle Annotationen Datensätze an die spezifischen Anforderungen eines Kunden anpassen können.
- Die standardisierte Erfassung soll die Konsistenz zwischen den Beitragenden verbessern.
- KI-gestützte Annotationen kennzeichnen Elemente wie Handhaltungen und Aktionssegmente.
- Ein kuratierter Data-Lake bietet Kunden eine gemeinsame Grundlage für Post-Training und Dataset-Arbeiten.
- Die modulare Hardware soll unterschiedliche Aufgaben und Kameraperspektiven unterstützen.
Infrastruktur wird zu einer Wettbewerbsebene
Der Aufstieg von Physical AI hat Datensammlung und -kuratierung zu einer strategischen Frage gemacht. Ein Roboter kann nur aus den verfügbaren Beispielen lernen, und Teams mit ähnlichen Modellarchitekturen können sich durch die Qualität, Relevanz und Organisation ihrer Daten unterscheiden. Dadurch entsteht Raum für spezialisierte Anbieter, deren Wert im Aufbau der Pipeline rund um das Modell liegt – nicht im Modell selbst.
Memories.ai hat außerdem mehrere Forschungsergebnisse auf GitHub veröffentlicht und über Publikationsaktivitäten bei ICLR, NeurIPS und EMNLP berichtet. Diese Details deuten darauf hin, dass das Unternehmen am Forschungsökosystem teilnehmen und zugleich eine Datenplattform für Robotikkunden kommerzialisieren will.
Der erklärte Anspruch des Unternehmens bleibt weitreichend, und seine Aussagen sollten als eigene Beschreibung der Plattform verstanden werden. Die Richtung ist dennoch klar: Während sich die Robotik von Demonstrationen hin zu vielfältigeren Einsätzen in der realen Welt bewegt, könnten standardisierte Daten aus der Ich-Perspektive und zuverlässige Annotationen ebenso wichtig werden wie die Algorithmen, die sie nutzen.
Die zentrale Herausforderung: Erfahrungen in Trainingsmaterial übersetzen
In der Robotik ist die nützliche Dateneinheit selten nur ein Videoclip. Es handelt sich um einen Clip mit genügend Kontext und Struktur, um einem Modell etwas Handlungsrelevantes beizubringen. Durch den Fokus auf Erfassungsstandards, Videointerpretation und gezielte Annotationen versucht Memories.ai, alltägliche physische Aktivitäten in eine wertvollere Form zu bringen. Ob dieser Ansatz breite Akzeptanz findet, wird von der Datenqualität, der Anwendbarkeit der Labels und den Leistungssteigerungen abhängen, die Kunden damit erzielen können.
Dieser Artikel basiert auf einer Berichterstattung von The Robot Report. Originalartikel lesen.
Originally published on therobotreport.com






