Les données d’entraînement de l’IA pourraient devenir la prochaine course à 100 milliards de dollars

Le prochain goulot d’étranglement de l’IA pourrait être les données, pas la taille du modèle

Un ancien chercheur d’OpenAI avance un argument appuyé selon lequel la prochaine grande course aux armements de l’IA portera sur les données d’entraînement plutôt que sur la seule montée en échelle. D’après le reportage de The Decoder, Andrew Ho a quitté OpenAI après huit mois pour créer une entreprise consacrée à la production de jeux de données spécialisés de haute qualité, convaincu que les grands modèles de langage généralisent encore mal dans des tâches économiquement importantes.

Cette affirmation va à l’encontre de l’une des hypothèses les plus tenaces de l’IA moderne: des modèles plus grands, entraînés avec davantage de calcul, continueront à élargir leurs compétences à travers les domaines. La position de Ho est que cela ne suffit pas. Selon lui, de nombreuses formes de travail utiles sont trop contextuelles, trop mal représentées ou trop difficiles à évaluer dans les ensembles de données existants pour que le manuel actuel de la montée en échelle permette de les saisir de manière fiable.

Cette thèse compte parce qu’elle déplace l’attention de la compétition visible entre les laboratoires de modèles de pointe vers l’activité moins glamour mais de plus en plus stratégique qu’est la création de données. Si Ho a raison, le prochain avantage durable en IA pourrait revenir à celui qui saura collecter, structurer et valider des exemples propres à chaque tâche à l’échelle industrielle.

Pourquoi les jeux de données actuels pourraient être insuffisants

Le rapport source indique que Ho estime que le problème central est que la plupart des compétences ayant une valeur économique sont à peine représentées dans les corpus d’entraînement existants. Le texte issu d’Internet à grande échelle a suffi à créer des chatbots performants, des assistants de code et des outils de recherche, mais il n’est peut-être pas suffisant pour apprendre aux modèles à exécuter un travail spécialisé avec une fiabilité constante.

La critique de Ho est d’autant plus marquante qu’elle vient de l’intérieur de l’écosystème des modèles de pointe, et non d’un sceptique extérieur. Il soutient que même lorsque les humains peuvent observer un “chemin d’or” à travers une tâche, il est difficile de savoir si des chemins alternatifs sont eux aussi bons, mauvais ou incomplets. Cette ambiguïté rend de nombreuses compétences du monde réel difficiles à traduire en environnements de benchmark bien délimités.

Autrement dit, le défi ne consiste pas simplement à collecter davantage de texte. Il s’agit de construire des jeux de données qui conservent le contexte, les résultats, les cas limites et les signaux de qualité dans des domaines où les erreurs coûtent cher et où la bonne exécution dépend d’un savoir tacite. C’est un problème de données bien plus difficile que le simple moissonnage du web public.

De l’ambition générale en IA à l’exécution dans des domaines plus étroits

La thèse de Ho est renforcée dans le reportage par les travaux du chercheur de Cambridge Adam Hunt et par le soutien de chercheurs de Google DeepMind, qui affirment que les systèmes actuels deviennent plus spécialisés plutôt que plus universellement capables. L’implication est que certains progrès très visibles peuvent masquer une image sous-jacente plus inégale: les modèles peuvent s’améliorer dans quelques domaines tout en stagnation ou en régression dans d’autres.

Cette distinction est importante pour les entreprises qui cherchent à déployer l’IA dans des laboratoires, des flux de travail de santé, des analyses scientifiques ou d’autres environnements à forte valeur. Un modèle qui impressionne en démonstration mais se montre incohérent en conditions réelles ne suffit pas. La fiabilité, la répétabilité et la compétence propre au domaine comptent davantage qu’une aisance large mais superficielle.

Si les développeurs de modèles atteignent un plafond en résolution créative de problèmes ou en transfert généralisé, alors les données ciblées deviennent un moyen de faire progresser les capacités là où elles comptent vraiment. C’est, en substance, le pari de Ho: non pas que la montée en échelle soit inutile, mais que ses rendements diminuent si elle n’est pas accompagnée de données conçues autour de tâches concrètes.

Les premiers cibles: la bioinformatique et le travail de laboratoire courant

L’entreprise que Ho lance commencerait par deux domaines. L’un est la bioinformatique, où l’article indique que même des modèles actuels comme GPT-5.6 Sol n’atteignent qu’un taux de réussite d’environ 30 % sur des analyses scientifiques complexes liées aux travaux antérieurs de Ho chez OpenAI. Le second est le travail de laboratoire courant, y compris des situations où des chercheurs soumettent des images d’expériences à des systèmes d’IA pour évaluation.

Ces points de départ sont révélateurs. Dans les deux cas, une IA utile exige bien plus qu’une simple imitation du langage. La bioinformatique implique souvent un raisonnement en plusieurs étapes, des conventions disciplinaires, un contexte scientifique et une forte sensibilité aux erreurs. Les flux de laboratoire peuvent dépendre du jugement visuel, de la compréhension procédurale et de l’interprétation pratique plutôt que de réponses de manuel. Ce sont précisément les types d’environnements où des données génériques ou de mauvaise qualité peuvent donner l’impression que les modèles sont performants dans les métriques globales, tout en échouant dans les usages décisifs.

Le rapport précise que la chimie, les sciences des matériaux, la santé et le travail intellectuel au sens large sont prévus ensuite. Cette feuille de route suggère une stratégie commerciale construite autour de secteurs où les erreurs ont un coût et où des données sur mesure pourraient devenir une infrastructure défendable.

Un défi à l’économie des laboratoires de pointe

Ho semble aussi sceptique quant aux valorisations élevées attribuées aux laboratoires d’IA de pointe. Comme le résume The Decoder, il soutient que des sociétés comme OpenAI et Anthropic sont structurellement peu rentables parce qu’elles doivent continuer à dépenser massivement pour de nouveaux modèles simplement afin de rester devant des concurrents à moindre coût comme Qwen ou Kimi. Qu’on adhère ou non à ce diagnostic complet, il met en lumière une tension croissante sur le marché.

Si le coût marginal de la montée en échelle de pointe reste élevé tandis que des concurrents ouverts ou moins chers réduisent l’écart, alors l’avantage propriétaire devra peut-être venir de quelque chose de plus difficile à reproduire que la seule taille du modèle. Les jeux de données curés, les flux de travail privés, les résultats vérifiés et les boucles de retour spécifiques au domaine répondent mieux à cette exigence que la simple échelle brute. Ils sont plus lents à construire, plus difficiles à copier et souvent plus étroitement liés aux cas d’usage des clients.

Cela ne signifie pas que les modèles fondamentaux cessent d’être importants. Cela signifie que leur différenciation dépendra de plus en plus de la qualité des données qui les entourent. Dans ce scénario, les entreprises de données ne sont pas en aval des laboratoires de modèles; elles deviennent une composante essentielle de la pile de capacités.

Ce qu’indiquerait un marché des données de 100 milliards de dollars

L’estimation de Ho selon laquelle les laboratoires d’IA dépenseront plus de 100 milliards de dollars pour la collecte ciblée de données dans les années à venir est une prévision audacieuse, mais sa logique stratégique est facile à suivre. Si les données web générales sont épuisées comme source de gains faciles, alors l’industrie a besoin de matière première nouvelle. Cette matière première pourrait être des tâches scientifiques annotées, des flux de travail d’entreprise validés, des enregistrements de laboratoire multimodaux ou d’autres formes d’expérience structurée que les modèles actuels ne voient pas assez pendant l’entraînement.

Une telle dépense modifierait aussi les bénéficiaires du boom de l’IA. Au lieu de concentrer la valeur principalement chez les fabricants de puces, les hyperscalers et les développeurs de modèles de pointe, un cycle centré sur les données élèverait les experts métiers, les systèmes d’annotation, les outils de données synthétiques, les partenariats de données d’entreprise et les organisations capables de mesurer la qualité dans des environnements spécialisés.

Le constat plus large est que la concurrence en IA pourrait entrer dans une phase moins visible mais plus fondamentale. Le prochain bond en avant ne viendra peut-être pas simplement du fait de rendre les modèles plus grands. Il pourrait venir du fait de mieux les enseigner, avec des données conçues pour le travail chaotique, contextuel et à forts enjeux qui résiste encore à l’automatisation. Ho parie que ce changement n’est pas une histoire secondaire. Il parie qu’il deviendra l’un des marchés déterminants du prochain cycle de l’IA.

Cet article s’appuie sur le reportage de The Decoder. Lire l’article original.