Runway disponibiliza o modelo de robótica Praxis-1 com pesos abertos

A Runway AI lançou o Praxis-1, um modelo de ação mundial para robótica que os desenvolvedores podem usar sob a licença Apache 2.0. O lançamento coloca nas mãos dos desenvolvedores os pesos do modelo e o código de inferência e ajuste fino, inclusive para aplicações comerciais.

O Praxis-1 foi projetado para prever vídeo e ações robóticas em conjunto. A Runway o descreve como um transformer de difusão com mistura de especialistas e 27 bilhões de parâmetros, construído a partir do trabalho da empresa com modelos fundacionais de vídeo. A ideia central é que aprender a prever como as cenas evoluem pode ajudar o sistema a criar uma representação útil do mundo físico antes de ser treinado para agir nele.

A empresa havia anunciado o Praxis-1 em setembro com os parceiros de lançamento Noble Machines, Standard Bots e Ultra. Desde então, esses parceiros o executaram em vários tipos de hardware: um robô humanoide com pernas, um braço industrial de seis eixos e um robô de armazém com dois braços. A disponibilidade mais ampla significa que outras equipes de robótica agora podem avaliar, adaptar e implantar o sistema em suas próprias máquinas, em vez de tratá-lo apenas como uma demonstração fechada.

Da previsão de vídeo à ação física

Andy Chen, chefe de robótica da Runway, disse que a abordagem do modelo se baseia em uma observação prática: um modelo treinado para prever vídeo precisa aprender informações substanciais sobre objetos, mãos, movimento e progresso das tarefas. No Praxis-1, essa compreensão visual continua fazendo parte do objetivo de treinamento enquanto o sistema aprende a produzir ações.

Essa é uma abordagem notável para o aprendizado robótico. Em vez de tratar o controle como um mapeamento isolado de um quadro de câmera para um comando de motor, o modelo pretende combinar percepção, uma expectativa do que acontecerá em seguida e uma escolha de ação. O material original caracteriza o Praxis-1 como um modelo de ação mundial, um rótulo que reflete esse tratamento combinado de observação e ação.

Chen deu um exemplo do trabalho da Noble Machines em armazéns. Um modelo anterior da Runway teria precisado de treinamento substancial para aprender uma tarefa que envolvia pegar tábuas de madeira individualmente e colocá-las em um contêiner. Ele disse que o Praxis-1 aprendeu a tarefa com cerca de meia hora de exemplos e depois a concluiu com sucesso 15 vezes em 15 tentativas. Em um segundo teste, o modelo recebeu uma pilha desorganizada de tábuas, nunca vista antes, para separar em caixas. Chen disse que o modelo limpou toda a pilha em seis de dez tentativas.

Esses resultados vêm de testes de parceiros divulgados pela empresa e não substituem uma avaliação independente em diferentes locais e tarefas. Ainda assim, o exemplo ilustra o tipo de capacidade que os desenvolvedores buscam: um modelo-base que possa ser adaptado a partir de demonstrações relativamente limitadas e lidar com variações além da disposição exata vista durante o treinamento.

Posição divulgada em benchmark

No benchmark RoboLab-120, a Runway disse que o Praxis-1 alcançou uma taxa de sucesso de 46,2% em 1.200 episódios. O artigo compara esse resultado com 42,9% do FLUX 3 Action, 36,8% do Cosmos3 Nano e 28,0% do π0.5. O relatório afirma que o Praxis-1 ocupa a quinta posição geral na tabela, enquanto Chen o descreveu como o modelo de ação mundial mais bem classificado e a política de ponta a ponta de código aberto mais bem classificada na tabela RoboLab da NVIDIA.

As pontuações de benchmark são úteis para comparar sistemas sob uma configuração de teste definida, mas sua relação com uma fábrica, um armazém ou um ambiente de robôs de serviço específico não é automática. Os robôs encontram diferenças na posição das câmeras, iluminação, objetos, superfícies e restrições de segurança. Para os possíveis usuários, a questão mais importante será saber se o modelo pode ser ajustado e validado de forma confiável para seus equipamentos e condições operacionais específicas.

A disponibilidade do Praxis-1 pode facilitar essa avaliação. O lançamento inclui suporte tanto para ajuste fino completo quanto para adaptação de baixa ordem, ou LoRA. Isso dá aos desenvolvedores a opção de retreinar amplamente o modelo para um caso de uso ou fazer uma adaptação mais direcionada. O modelo também está disponível pelo GitHub e Hugging Face, com suporte nativo ao LeRobot, e pelo vLLM-Omni. A inferência hospedada está disponível no Reactor.

Implantação em hardware NVIDIA

A Runway disse que o Praxis-1 funciona em uma variedade de hardware NVIDIA, das GPUs H100 e B200 para data centers às GPUs RTX 5090 e RTX PRO 6000 para workstations, além do hardware Jetson Thor no próprio robô. Essa amplitude é significativa porque os fluxos de trabalho de robótica geralmente abrangem vários ambientes computacionais: as equipes podem treinar ou ajustar modelos em hardware centralizado potente, testá-los em workstations e, por fim, precisar executá-los perto da máquina.

A licença Apache 2.0 também é importante. Ela permite uso comercial, e a Runway afirma que o lançamento aberto inclui tanto os pesos do modelo quanto o código de inferência e ajuste fino que os acompanha. Para desenvolvedores de robótica, isso pode reduzir a dependência de um modelo proprietário hospedado e permitir que o sistema seja examinado e alterado como parte de uma pilha robótica maior.

O lançamento não resolve se um modelo de uso geral pode substituir a engenharia robótica convencional. Um sistema implantado útil ainda precisa conectar percepção e ação aos sensores, atuadores, espaço de trabalho e proteções operacionais de um robô específico. Mas lançar um modelo-base com demonstrações testadas por parceiros, ferramentas de adaptação e uma licença aberta muda quem pode realizar esse trabalho.

Por que o lançamento é importante

O Praxis-1 chega em meio a um esforço para tornar os modelos de robótica mais reutilizáveis em diferentes corpos e tarefas. O trabalho divulgado pela Runway com seus parceiros abrange um humanoide, um braço industrial e um robô de armazém, enquanto sua própria descrição enfatiza o aprendizado de regularidades físicas por meio da previsão visual. Se os desenvolvedores conseguirem reproduzir e ampliar esses resultados, um modelo aberto dessa escala poderá se tornar um ponto de partida comum para experimentos de manipulação e automação de armazéns.

Por enquanto, o desenvolvimento mais concreto é o próprio lançamento: os desenvolvedores podem obter o modelo, executá-lo em sistemas NVIDIA compatíveis e adaptá-lo ao seu hardware. Os próximos testes determinarão até que ponto seu desempenho divulgado em benchmarks e com parceiros se transfere para os ambientes variados e imperfeitos em que se espera que os robôs trabalhem.

Este artigo baseia-se em uma reportagem do The Robot Report. Leia o artigo original.

Originally published on therobotreport.com