Runway pone a disposición del público su modelo de robótica Praxis-1 con pesos abiertos
Runway AI ha lanzado Praxis-1, un modelo de acción mundial para robótica que los desarrolladores pueden utilizar bajo la licencia Apache 2.0. El lanzamiento pone en manos de los desarrolladores los pesos del modelo y el código de inferencia y ajuste fino, incluso para aplicaciones comerciales.
Praxis-1 está diseñado para predecir conjuntamente vídeo y acciones robóticas. Runway lo describe como un transformador de difusión de mezcla de expertos con 27.000 millones de parámetros, basado en el trabajo de la empresa con modelos fundacionales de vídeo. La idea subyacente es que aprender a predecir cómo evolucionan las escenas puede ayudar al sistema a construir una representación útil del mundo físico antes de entrenarse para actuar en él.
La empresa había anunciado Praxis-1 en septiembre junto con sus socios de lanzamiento Noble Machines, Standard Bots y Ultra. Desde entonces, esos socios lo han ejecutado en varios tipos de hardware: un robot humanoide con piernas, un brazo industrial de seis ejes y un robot de almacén de dos brazos. Su disponibilidad más amplia significa que otros equipos de robótica pueden evaluar, adaptar y desplegar ahora el sistema en sus propias máquinas, en lugar de tratarlo únicamente como una demostración cerrada.
De la predicción de vídeo a la acción física
Andy Chen, responsable de robótica de Runway, afirmó que el enfoque del modelo se basa en una observación práctica: un modelo entrenado para predecir vídeo debe aprender una cantidad sustancial de información sobre objetos, manos, movimiento y progreso de las tareas. En Praxis-1, esa comprensión visual sigue formando parte del objetivo de entrenamiento mientras el sistema aprende a producir acciones.
Es un planteamiento destacable para el aprendizaje robótico. En lugar de abordar el control como una asignación aislada de un fotograma de cámara a una orden motora, el modelo pretende combinar percepción, una expectativa de lo que ocurrirá a continuación y una elección de acción. El material original caracteriza Praxis-1 como un modelo de acción mundial, una denominación que refleja este tratamiento conjunto de la observación y la acción.
Chen ofreció un ejemplo del trabajo de Noble Machines en almacenes. Según se informa, un modelo anterior de Runway necesitó un entrenamiento considerable para aprender una tarea que consistía en recoger tablones de madera uno a uno y colocarlos en un contenedor. Dijo que Praxis-1 aprendió la tarea a partir de aproximadamente media hora de ejemplos y después la completó con éxito 15 de 15 veces. En una segunda prueba, el modelo recibió un montón desordenado de tablones que no había visto antes para clasificarlos en contenedores. Chen afirmó que despejó todo el montón en seis de diez intentos.
Esos resultados proceden de pruebas de socios comunicadas por la empresa, no sustituyen una evaluación independiente en distintos lugares y tareas. Aun así, el ejemplo ilustra el tipo de capacidad que buscan los desarrolladores: un modelo base que pueda adaptarse a partir de demostraciones relativamente limitadas y afrontar variaciones más allá de la disposición exacta observada durante el entrenamiento.
Posición comunicada en los benchmarks
En el benchmark RoboLab-120, Runway dijo que Praxis-1 logró una tasa de éxito del 46,2 % en 1.200 episodios. El artículo compara ese resultado con el 42,9 % de FLUX 3 Action, el 36,8 % de Cosmos3 Nano y el 28,0 % de π0.5. El informe afirma que Praxis-1 ocupa el quinto puesto general de la clasificación, mientras Chen lo describió como el modelo de acción mundial mejor clasificado y la política de extremo a extremo de código abierto mejor clasificada en la tabla de RoboLab de NVIDIA.
Las puntuaciones de los benchmarks son útiles para comparar sistemas bajo una configuración de prueba definida, pero su relación con una fábrica, un almacén o un entorno de robots de servicio concretos no es automática. Los robots encuentran diferencias en la posición de las cámaras, la iluminación, los objetos, las superficies y las restricciones de seguridad. Para los posibles usuarios, la cuestión más importante será si el modelo puede ajustarse y validarse de forma fiable para sus equipos y condiciones operativas específicas.
La disponibilidad de Praxis-1 puede facilitar esa evaluación. El lanzamiento incluye compatibilidad tanto con el ajuste fino completo como con la adaptación de bajo rango, o LoRA. Esto ofrece a los desarrolladores la posibilidad de volver a entrenar ampliamente el modelo para un caso de uso o realizar una adaptación más específica. El modelo también está disponible a través de GitHub y Hugging Face, con compatibilidad nativa con LeRobot, y mediante vLLM-Omni. Reactor ofrece inferencia alojada.
Despliegue en hardware de NVIDIA
Runway afirmó que Praxis-1 funciona en una amplia gama de hardware de NVIDIA, desde las GPU H100 y B200 para centros de datos hasta las GPU RTX 5090 y RTX PRO 6000 para estaciones de trabajo, además del hardware Jetson Thor instalado en el propio robot. Esta amplitud es importante porque los flujos de trabajo robóticos suelen abarcar varios entornos informáticos: los equipos pueden entrenar o ajustar modelos en hardware centralizado potente, probarlos en estaciones de trabajo y, en última instancia, necesitar ejecutarlos cerca de la máquina.
La licencia Apache 2.0 también es relevante. Permite el uso comercial, y Runway afirma que el lanzamiento abierto incluye tanto los pesos del modelo como el código de inferencia y ajuste fino que los acompaña. Para los desarrolladores de robótica, esto puede reducir la dependencia de un modelo propietario alojado y permitir examinar y modificar el sistema como parte de una pila robótica más amplia.
El lanzamiento no resuelve si un modelo de propósito general puede sustituir a la ingeniería robótica convencional. Un sistema desplegado útil todavía debe conectar percepción y acción con los sensores, actuadores, espacio de trabajo y medidas de seguridad operativa de un robot concreto. Pero publicar un modelo base con demostraciones probadas por socios, herramientas de adaptación y una licencia abierta cambia quién puede realizar ese trabajo.
Por qué es importante el lanzamiento
Praxis-1 llega en medio de un esfuerzo por hacer que los modelos robóticos sean más reutilizables en distintos cuerpos y tareas. El trabajo comunicado por Runway con sus socios abarca un humanoide, un brazo industrial y un robot de almacén, mientras que la descripción de la empresa hace hincapié en aprender regularidades físicas a partir de la predicción visual. Si los desarrolladores pueden reproducir y ampliar esos resultados, un modelo abierto de esta escala podría convertirse en un punto de partida común para experimentos de manipulación y automatización de almacenes.
Por ahora, el avance más concreto es el propio lanzamiento: los desarrolladores pueden obtener el modelo, ejecutarlo en sistemas NVIDIA compatibles y adaptarlo a su hardware. Las próximas pruebas determinarán hasta qué punto su rendimiento comunicado en benchmarks y con socios se transfiere a los entornos variados e imperfectos en los que se espera que trabajen los robots.
Este artículo se basa en una información de The Robot Report. Leer el artículo original.
Originally published on therobotreport.com




