General Intuition lève 320 millions de dollars pour entraîner des robots avec des données de gameplay

General Intuition mise gros sur la vidéo annotée par des actions

General Intuition a levé 320 millions de dollars lors d’un financement de série A, un tour qui, selon l’entreprise, l’aidera à construire des systèmes d’IA capables de percevoir, de prédire et d’agir dans des environnements virtuels et physiques. Ce financement valorise la société basée à New York à 2,3 milliards de dollars et porte son financement total à 454 millions de dollars, après les 134 millions de dollars levés en octobre.

Ce chiffre de gros titre est remarquable en soi, mais la partie la plus intéressante du discours de l’entreprise concerne la stratégie de données qui le sous-tend. General Intuition affirme qu’elle entraîne ses modèles non pas principalement sur des textes écrits, des jeux de données robotiques conventionnels ou des sorties de simulation synthétique, mais sur des milliards de clips de gameplay téléchargés sur Medal, la plateforme de jeu cofondée par son directeur général, Pim de Witte.

Ces clips ne montrent pas seulement ce qui s’est passé à l’écran. Selon l’entreprise, ils incluent des étiquettes d’action intégrées qui enregistrent quel bouton un joueur a pressé et à quel moment. Cela signifie que le jeu de données relie le contexte visuel à des actions humaines précises dans le temps. Pour une entreprise qui cherche à entraîner des systèmes capables d’interpréter des environnements et de décider quoi faire ensuite, cet appariement est essentiel.

Pourquoi ce jeu de données se démarque

Une grande partie de l’industrie actuelle de l’IA reste organisée autour du langage. Les grands modèles fondamentaux ont été construits sur d’immenses corpus de mots écrits, et de nombreux systèmes étendent cette approche aux images, à l’audio ou au code. General Intuition soutient que ce paradigme ne suffit pas pour ce qu’elle appelle l’IA physique.

La position de l’entreprise est que de simples descriptions textuelles ne peuvent pas fournir le type d’apprentissage incarné et orienté vers l’action nécessaire aux machines qui interagissent avec le monde. Dans cette logique, l’intelligence ne consiste pas seulement à décrire la réalité, mais à percevoir une situation, à décider d’une action et à en éprouver les conséquences. Les images de gameplay, en particulier lorsqu’elles sont associées à des métadonnées d’action, offrent des exemples répétés de ce cycle dans de nombreux contextes.

Cet argument est important, car il met en évidence une lacune persistante dans la robotique et l’IA incarnée. Les données d’entraînement pour robots dans le monde réel sont coûteuses et lentes à collecter. La simulation de haute qualité peut aider, mais construire des environnements synthétiques offrant une diversité utile est en soi un chantier majeur. General Intuition tente de contourner ce goulet d’étranglement en exploitant un jeu de données qui capture déjà des humains naviguant dans des environnements complexes sous des objectifs changeants.

Le matériau source ne prétend pas que les séquences de jeu vidéo sont un substitut direct aux données robotiques du monde réel, et cette distinction est importante. Les traces d’action virtuelles ne résolvent pas automatiquement la dynamique de contact, le bruit des capteurs ou la fiabilité du déploiement dans les systèmes physiques. Mais la thèse de l’entreprise est qu’elles peuvent fournir des a priori à grande échelle pour la perception, la prédiction et la prise de décision, surtout pendant le pré-entraînement.

Des mots aux mondes

Le langage employé par General Intuition à propos de sa technologie est exceptionnellement explicite. L’entreprise affirme que les machines véritablement intelligentes doivent aller “from words to worlds”, en acquérant ce qu’elle appelle une intuition générale de la réalité. En pratique, cela signifie développer des modèles qui ne se contentent pas d’étiqueter des scènes ou de répondre à des invites, mais qui anticipent la manière dont les environnements changent lorsque des actions sont entreprises.

Pour soutenir cette ambition, l’entreprise indique développer depuis sa création en 2015 deux grandes catégories de modèles. La première est celle des action models, qui décident quelle action entreprendre. La seconde est celle des world models, qui prédisent le résultat de ces actions. Cette distinction reflète une séparation croissante dans la recherche avancée en IA entre des systèmes qui choisissent et des systèmes qui simulent les conséquences.

L’entreprise dit également tester les world models comme environnements d’entraînement pour des agentic models. Si cette approche fonctionne, elle pourrait créer une boucle de rétroaction dans laquelle des modèles d’environnement appris aideraient à générer des opportunités d’entraînement pour des systèmes de décision, réduisant ainsi la dépendance à la collecte coûteuse de données du monde réel. Le texte fourni ne propose ni benchmarks ni validation externe, mais le concept s’aligne sur des efforts plus larges du secteur visant à rendre l’IA incarnée plus économe en données.

Les investisseurs soutiennent vigoureusement l’approche

Le financement lui-même suggère que les investisseurs voient la thèse de l’entreprise comme plus qu’une simple expérience de niche. General Catalyst a mené le tour, avec la participation de Jeff Bezos et d’Eric Schmidt, ancien directeur général de Google. L’ampleur de la levée montre que les marchés financiers restent prêts à financer des paris ambitieux sur l’IA incarnée, en particulier lorsque ces paris associent une source de données différenciée à une histoire de plateforme large.

General Intuition affirme qu’elle utilisera ce nouveau financement pour accroître sa capacité de calcul et pré-entraîner la prochaine version de son modèle. Ce sont des étapes coûteuses, mais elles correspondent à l’économie actuelle du développement de l’IA de pointe. Des données uniques peuvent créer l’avantage initial, mais transformer cet avantage en modèles utiles exige toujours d’importantes ressources d’infrastructure, d’ingénierie et d’itération.

L’entreprise prévoit également de rendre son API plus largement disponible cet été, selon le texte source fourni. Ce détail compte, car il suggère que General Intuition ne se limite pas à un récit de recherche. Elle cherche à devenir une couche d’infrastructure sur laquelle d’autres pourront s’appuyer, que ce soit pour la robotique, les agents dans des environnements simulés ou les systèmes qui relient les deux.

Ce que cela signifie pour la robotique et l’IA incarnée

La portée stratégique de l’annonce est majeure. Les développeurs en robotique se heurtent depuis longtemps à un décalage entre la complexité des comportements du monde réel et la rareté des données d’entraînement évolutives. La réponse de General Intuition consiste à utiliser le gameplay humain comme pont : une vaste archive d’exemples perception-action collectés en dehors de l’industrie robotique, mais potentiellement utiles à celle-ci.

Si cela fonctionne, cela pourrait élargir l’éventail des pipelines de données disponibles pour les entreprises d’IA incarnée. Au lieu de choisir principalement entre une collecte coûteuse dans le monde réel et des environnements entièrement synthétiques, les développeurs pourraient de plus en plus s’appuyer sur des approches hybrides qui exploitent des données d’interaction humaine générées naturellement dans des environnements virtuels.

Il reste des questions ouvertes auxquelles le matériel fourni ne répond pas, notamment la capacité des modèles dérivés du gameplay à se transférer vers des robots physiques, les domaines qui en bénéficient le plus et la manière dont les performances sont évaluées par rapport aux approches plus classiques. Mais l’entreprise n’a pas besoin de trancher immédiatement toutes ces questions pour influencer le marché. Une série A de 320 millions de dollars est déjà un signal que les investisseurs pensent que la prochaine phase de la concurrence en IA pourrait être définie moins par celui qui possède le plus de texte et davantage par celui qui dispose des données d’action les plus riches.

Pour l’heure, General Intuition a établi trois faits clairs. Elle a levé un nouveau tour de financement important, elle s’entraîne sur des milliards de clips de gameplay avec des étiquettes d’action intégrées, et elle utilise ces données pour poursuivre des modèles destinés à percevoir, prédire et agir dans des environnements virtuels et physiques. Dans un secteur qui cherche des moyens évolutifs d’entraîner des machines plus capables, cela suffit à faire de l’entreprise l’un des acteurs de l’IA incarnée les plus surveillés du moment.

Cet article s’appuie sur le reportage de The Robot Report. Lire l’article original.