Runway stellt sein Robotikmodell Praxis-1 mit offenen Gewichten bereit
Runway AI hat Praxis-1 veröffentlicht, ein Weltaktionsmodell für die Robotik, das Entwickler unter der Apache-2.0-Lizenz nutzen können. Die Veröffentlichung stellt Entwicklern die Modellgewichte sowie den Inferenz- und Fine-Tuning-Code zur Verfügung, auch für kommerzielle Anwendungen.
Praxis-1 ist darauf ausgelegt, Videos und Roboteraktionen gemeinsam vorherzusagen. Runway beschreibt das Modell als einen Diffusion-Transformer mit einer Mixture of Experts und 27 Milliarden Parametern, der auf der Arbeit des Unternehmens an Video-Foundation-Modellen aufbaut. Die zugrunde liegende Idee ist, dass das Lernen, wie sich Szenen entwickeln, einem System helfen kann, eine nützliche Repräsentation der physischen Welt aufzubauen, bevor es darauf trainiert wird, in ihr zu handeln.
Das Unternehmen hatte Praxis-1 im September gemeinsam mit den Launch-Partnern Noble Machines, Standard Bots und Ultra angekündigt. Diese Partner haben das Modell inzwischen auf mehreren Hardwaretypen ausgeführt: einem humanoiden Roboter mit Beinen, einem sechsachsigen Industrieroboterarm und einem Lagerroboter mit zwei Armen. Die breitere Verfügbarkeit bedeutet, dass andere Robotikteams das System nun auf ihren eigenen Maschinen evaluieren, anpassen und einsetzen können, anstatt es ausschließlich als geschlossene Demonstration zu betrachten.
Von der Videovorhersage zur physischen Aktion
Andy Chen, Leiter der Robotikabteilung von Runway, sagte, der Ansatz des Modells beruhe auf einer praktischen Beobachtung: Ein Modell, das darauf trainiert wird, Videos vorherzusagen, muss umfangreiche Informationen über Objekte, Hände, Bewegungen und den Fortschritt von Aufgaben lernen. In Praxis-1 bleibt dieses visuelle Verständnis Teil des Trainingsziels, während das System lernt, Aktionen zu erzeugen.
Das ist eine bemerkenswerte Perspektive auf das Roboterlernen. Anstatt Steuerung als isolierte Abbildung eines Kamerabildes auf einen Motorbefehl zu behandeln, soll das Modell Wahrnehmung, eine Erwartung dessen, was als Nächstes passiert, und die Wahl einer Aktion miteinander verbinden. Das Ausgangsmaterial bezeichnet Praxis-1 als Weltaktionsmodell – eine Bezeichnung, die diese gemeinsame Behandlung von Beobachtung und Aktion widerspiegelt.
Chen nannte als Beispiel die Lagerarbeit von Noble Machines. Ein früheres Runway-Modell habe Berichten zufolge umfangreiches Training benötigt, um eine Aufgabe zu lernen, bei der Holzbretter einzeln aufgenommen und in einen Behälter gelegt werden. Er sagte, Praxis-1 habe diese Aufgabe anhand von etwa einer halben Stunde an Beispielen gelernt und anschließend 15 von 15 Versuchen erfolgreich abgeschlossen. In einem zweiten Test erhielt das Modell einen zuvor unbekannten, ungeordneten Bretterhaufen, der in Behälter sortiert werden sollte. Chen zufolge räumte es den gesamten Haufen in sechs von zehn Versuchen ab.
Bei diesen Ergebnissen handelt es sich um vom Unternehmen gemeldete Partnertests, nicht um einen Ersatz für unabhängige Bewertungen über verschiedene Standorte und Aufgaben hinweg. Dennoch veranschaulicht das Beispiel die Art von Fähigkeiten, die Entwickler anstreben: ein Basismodell, das sich anhand relativ weniger Demonstrationen anpassen lässt und mit Abweichungen über die exakte Anordnung aus dem Training hinaus umgehen kann.
Gemeldete Position in Benchmarks
Im RoboLab-120-Benchmark erreichte Praxis-1 laut Runway eine Erfolgsquote von 46,2 % über 1.200 Episoden. Der Artikel vergleicht dieses Ergebnis mit 42,9 % für FLUX 3 Action, 36,8 % für Cosmos3 Nano und 28,0 % für π0.5. Dem Bericht zufolge belegt Praxis-1 insgesamt Platz fünf auf der Rangliste. Chen bezeichnete es hingegen als bestplatziertes Weltaktionsmodell und als bestplatzierte Open-Source-End-to-End-Policy auf der NVIDIA-RoboLab-Rangliste.
Benchmarkwerte sind hilfreich, um Systeme unter einem festgelegten Testaufbau zu vergleichen. Ihre Beziehung zu einer bestimmten Fabrik, einem Lager oder einer Umgebung für Serviceroboter ergibt sich jedoch nicht automatisch. Roboter treffen auf Unterschiede bei Kameraposition, Beleuchtung, Objekten, Oberflächen und Sicherheitsanforderungen. Für potenzielle Nutzer wird daher entscheidend sein, ob sich ein Modell zuverlässig für ihre konkreten Geräte und Betriebsbedingungen abstimmen und validieren lässt.
Die Verfügbarkeit von Praxis-1 könnte diese Bewertung erleichtern. Die Veröffentlichung unterstützt sowohl vollständiges Fine-Tuning als auch Low-Rank-Adaptation, kurz LoRA. Entwickler können damit zwischen einem umfangreichen erneuten Training für einen bestimmten Anwendungsfall und einer gezielteren Anpassung wählen. Das Modell ist außerdem über GitHub und Hugging Face mit nativer LeRobot-Unterstützung sowie über vLLM-Omni verfügbar. Gehostete Inferenz wird auf Reactor angeboten.
Einsatz auf NVIDIA-Hardware
Runway zufolge läuft Praxis-1 auf einer Reihe von NVIDIA-Hardware, von H100- und B200-GPUs für Rechenzentren über RTX-5090- und RTX-PRO-6000-Workstation-GPUs bis hin zu Jetson-Thor-Hardware direkt am Roboter. Diese Bandbreite ist bedeutsam, weil Robotik-Workflows häufig mehrere Rechenumgebungen umfassen: Teams können Modelle auf leistungsstarker zentralisierter Hardware trainieren oder feinabstimmen, sie auf Workstations testen und sie letztlich in der Nähe der Maschine ausführen müssen.
Auch die Apache-2.0-Lizenz ist relevant. Sie erlaubt die kommerzielle Nutzung, und Runway zufolge umfasst die offene Veröffentlichung sowohl die Modellgewichte als auch den begleitenden Inferenz- und Fine-Tuning-Code. Für Robotikentwickler kann dies die Abhängigkeit von einem proprietären gehosteten Modell verringern und ermöglichen, das System als Teil eines größeren Robotik-Stacks zu untersuchen und zu verändern.
Die Veröffentlichung beantwortet nicht die Frage, ob ein universell einsetzbares Modell die herkömmliche Robotikentwicklung ersetzen kann. Ein nützliches eingesetztes System muss Wahrnehmung und Aktion weiterhin mit den Sensoren, Aktoren, dem Arbeitsraum und den Betriebsschutzmaßnahmen eines bestimmten Roboters verbinden. Die Veröffentlichung eines Basismodells mit von Partnern getesteten Demonstrationen, Anpassungswerkzeugen und einer offenen Lizenz verändert jedoch, wer diese Arbeit durchführen kann.
Warum die Veröffentlichung wichtig ist
Praxis-1 erscheint in einer Phase, in der Modelle für die Robotik über verschiedene Roboterkörper und Aufgaben hinweg wiederverwendbarer werden sollen. Die von Runway gemeldete Arbeit mit Partnern umfasst einen humanoiden Roboter, einen Industriearm und einen Lagerroboter. Die eigene Beschreibung des Unternehmens betont derweil das Lernen physischer Gesetzmäßigkeiten aus visueller Vorhersage. Wenn Entwickler diese Ergebnisse reproduzieren und erweitern können, könnte ein offenes Modell dieser Größenordnung zu einem gemeinsamen Ausgangspunkt für Experimente in der Manipulation und Lagerautomatisierung werden.
Der bislang konkreteste Fortschritt ist die Veröffentlichung selbst: Entwickler können das Modell beziehen, auf unterstützten NVIDIA-Systemen ausführen und an ihre eigene Hardware anpassen. Kommende Tests werden zeigen, wie gut sich die gemeldete Benchmark- und Partnerleistung auf die vielfältigen und unvollkommenen Umgebungen übertragen lässt, in denen Roboter arbeiten sollen.
Dieser Artikel basiert auf einer Berichterstattung von The Robot Report. Originalartikel lesen.
Originally published on therobotreport.com




