Skild AI affirme que son modèle S1 permet aux robots d’apprendre à partir d’une vidéo

Skild AI avance une vaste promesse sur l’apprentissage des robots

Skild AI a dévoilé S1, son modèle fondation phare pour les robots, et l’entreprise le présente comme une étape majeure vers une robotique plus polyvalente. L’affirmation centrale est ambitieuse : au lieu de réentraîner un robot pour chaque nouvelle tâche, S1 peut prendre une seule vidéo d’un humain accomplissant cette tâche dans le cadre du prompt, puis reproduire le comportement sur un robot. Si le système fonctionne comme décrit, cela marquerait un changement notable par rapport à l’adaptation lente, tâche par tâche, qui a limité le déploiement de la robotique à grande échelle.

L’entreprise, fondée en 2023, a levé près de 1,7 milliard de dollars pour poursuivre ce qu’elle décrit comme un cerveau robotique à usage général. L’ampleur de ce financement montre à quel point les investisseurs prennent au sérieux l’idée que la robotique pourrait suivre la trajectoire des grands modèles de langage dans le logiciel : entraîner un modèle général sur des données vastes et diverses, puis utiliser le prompting et le contexte pour l’adapter à de nombreux usages en aval. S1 est la tentative la plus claire à ce jour de Skild AI pour montrer ce cadre appliqué à des machines physiques.

Ce que S1 est censé changer

Dans les flux de travail robotiques actuels, les nouvelles tâches nécessitent souvent un post-entraînement. Cela signifie collecter des données pour une action précise, ajuster le modèle, valider le comportement, puis répéter le processus lorsque la tâche change. Le coût n’est pas seulement informatique. Il ralentit aussi le déploiement, réduit l’éventail des cas d’usage pratiques et rend difficile la montée en échelle des robots dans des environnements moins structurés.

Skild AI affirme que S1 répond à ce goulot d’étranglement grâce à l’apprentissage en contexte. Le PDG et cofondateur Deepak Pathak a décrit le fonctionnement du système en termes simples : fournir une vidéo d’un humain en train d’effectuer une action dans le prompt, et le robot peut la suivre. L’entreprise précise que les tâches visées ne sont pas de courtes démonstrations, mais des comportements plus complexes et à long horizon.

Si cette capacité se confirme, cela compterait car elle déplace l’effort du réentraînement explicite vers l’interprétation. Le robot n’aurait pas besoin d’un cycle de fine-tuning personnalisé à chaque nouvelle mission. Il utiliserait plutôt un modèle fondation qui a déjà intégré de larges a priori sur l’action, la perception et le contrôle, puis s’adapterait à l’exécution à partir de l’exemple montré.

Pourquoi Skild combine quatre types de données

Un élément clé de l’argument de Skild AI est que la robotique n’a pas une seule meilleure source d’entraînement. Pathak a présenté quatre catégories utilisées par l’entreprise pour le pré-entraînement : les données de téléopération, les vidéos humaines, la simulation et les gants de capture de données. Chacune a ses compromis. La téléopération produit des données robotiques très pertinentes, mais sa collecte est lente et coûteuse. Les vidéos humaines sont abondantes et variées, mais ne correspondent pas directement à l’incarnation du robot. La simulation se déploie bien, mais peut diverger des conditions réelles. La capture par gants se situe entre les deux, offrant des démonstrations humaines plus évolutives avec une transférabilité directe moindre que la téléopération.

La position de Skild est que le secteur s’est souvent trop engagé sur l’un de ces pipelines à la fois. En les combinant, l’entreprise affirme pouvoir utiliser les forces de l’un pour compenser les faiblesses d’un autre. Les vidéos humaines apportent de l’ampleur. La téléopération et la capture par gants améliorent l’ancrage physique. La simulation élargit la couverture à moindre coût. La stratégie consiste moins à choisir une source de données pure qu’à construire un modèle assez robuste pour généraliser à travers des sources imparfaites.

Cette approche reflète une tendance plus large de l’IA, où l’échelle et la diversité des données d’entraînement peuvent produire une généralisation surprenante. Mais la robotique ajoute une contrainte plus forte : les sorties du modèle doivent interagir avec le monde physique. Une erreur logicielle peut être gênante ; une erreur robotique peut endommager des biens, faire échouer une tâche ou créer un risque pour la sécurité. Cela rend la stratégie de données centrale, et non secondaire.

Un modèle conçu pour de nombreux robots, pas pour un seul marché

Un autre aspect remarquable du lancement de Skild AI est ce que l’entreprise ne fait pas. Elle ne centre pas S1 sur un seul secteur ni sur une tâche robotique étroitement définie. Au contraire, elle présente le modèle comme une base transversale capable de soutenir différents formats et cas d’usage. C’est un choix de positionnement audacieux. Les entreprises de robotique verticale réussissent souvent en réduisant le périmètre, en maîtrisant l’environnement et en optimisant un seul flux de travail. Skild parie qu’un système plus général peut devenir utile dans plusieurs catégories.

La promesse est claire. Un modèle fondation commun pourrait réduire la fragmentation du développement robotique, permettant aux développeurs et fabricants de s’appuyer sur des capacités partagées plutôt que de réinventer les piles de perception et d’action pour chaque appareil. Il pourrait aussi raccourcir le chemin entre démonstration et déploiement, en particulier dans les contextes où les tâches changent fréquemment ou ne peuvent pas être entièrement scénarisées à l’avance.

Le risque est tout aussi clair. La généralité est facile à promettre et difficile à prouver. L’article de The Robot Report s’appuie sur l’explication fournie par Skild concernant la conception de son entraînement et sa méthode d’inférence, mais ne fournit pas de benchmark indépendant dans le texte transmis. La question ouverte la plus importante est donc la performance dans des conditions réelles variées : différents corps robotiques, environnements changeants, cas limites et reprise après échec.

Pourquoi ce lancement compte maintenant

Même avec ces questions sans réponse, S1 est un lancement important car il montre où se dirige le secteur de la robotique. Le domaine évolue de l’automatisation étroite vers des systèmes centrés sur les modèles qui cherchent à transférer l’apprentissage entre tâches et machines. Les entreprises veulent désormais des robots qu’on peut instruire davantage comme des agents logiciels, avec des démonstrations et du contexte remplaçant une grande partie du travail d’ingénierie manuelle.

Le lancement de Skild AI reflète aussi la façon dont la robotique converge avec le développement de l’IA grand public. Les modèles fondation, le prompting, les données multimodales et l’apprentissage en contexte ne sont plus seulement des concepts logiciels. Ils deviennent aussi les idées structurantes de l’intelligence physique. Que S1 devienne une plateforme décisive ou une étape intermédiaire, il capture un vrai changement dans la manière dont les principales entreprises de robotique pensent que le progrès va se produire.

Le constat immédiat n’est pas que les robots ont résolu l’apprentissage général. C’est que l’une des startups les mieux financées du secteur avance une réponse précise au problème de passage à l’échelle de la robotique : entraîner largement, combiner plusieurs sources de données et laisser les exemples du prompt faire davantage du travail d’adaptation. C’est un pari important, et l’industrie observera de près si S1 peut transformer cette théorie en comportement fiable dans le monde réel.

Cet article s’appuie sur un reportage de The Robot Report. Lire l’article original.