OpenAI affirme que des sessions WebSocket persistantes réduisent d'environ 40 % la latence des boucles d'agents

Le virage WebSocket

Le changement le plus important était architectural : remplacer une série d'appels API synchrones distincts par une connexion persistante au Responses API via WebSockets. En pratique, cela signifie que le client et l'API peuvent rester connectés sur l'ensemble de la boucle d'agent au lieu de détruire et reconstruire sans cesse l'état de la requête.

OpenAI affirme que les sessions persistantes lui ont permis de conserver des informations utiles attachées à la connexion elle-même. Cela a réduit le travail de configuration répété et aidé le système à réutiliser le contexte plus efficacement d'un tour à l'autre. Le résultat, selon l'entreprise, a été une amélioration d'environ 40 % de la vitesse de la boucle d'agent de bout en bout.

Pour les utilisateurs, l'intérêt est clair. Si un agent de programmation ou de recherche a besoin de nombreux appels d'outils pour terminer une tâche, réduire la surcharge de chaque cycle peut avoir un effet plus important que d'accélérer une seule étape. Un workflow qui semblait autrefois bloqué entre les actions peut commencer à se rapprocher d'une interaction en temps réel.

Ce qu'OpenAI a optimisé

• Mise en cache liée à la connexion pour éviter de répéter des opérations de configuration coûteuses.
• Moins de sauts réseau inutiles entre les services API et les services d'inférence.
• Contrôles de sécurité plus rapides dans certaines parties de la chaîne de modération et de classification.
• Un canal WebSocket persistant pour réduire le coût de l'utilisation d'outils sur plusieurs tours.

OpenAI a présenté ce travail comme une réponse à une évolution plus large du secteur : l'inférence devient suffisamment rapide pour que les systèmes environnants déterminent de plus en plus la qualité perçue du produit. Dans cet environnement, un modèle peut penser rapidement, mais l'expérience peut encore sembler lente si les couches d'orchestration prennent du retard.

Pourquoi cela compte au-delà de Codex

Bien qu'OpenAI ait illustré le problème avec Codex, les implications s'étendent à tout agent utilisant des outils. Les assistants d'entreprise, les systèmes de service client, les copilotes de recherche et les agents logiciels reposent tous sur de nombreuses interactions courtes plutôt que sur une seule longue complétion du modèle. Des sessions persistantes et une orchestration moins coûteuse peuvent donc compter autant que les performances brutes des benchmarks.

Le billet donne aussi un aperçu d'un paysage concurrentiel en mutation. Pendant des années, les fournisseurs de modèles ont mis l'accent sur un meilleur raisonnement et des fenêtres de contexte plus larges. Mais ils sont de plus en plus en concurrence sur l'ingénierie des systèmes : débit, réactivité, latence de sécurité et efficacité avec laquelle un modèle peut rester dans la boucle avec des outils externes.

Le message d'OpenAI est que l'infrastructure autour du modèle est désormais une fonctionnalité du produit à part entière. Si les vitesses d'inférence continuent d'augmenter, cela deviendra probablement encore plus vrai.

Le signal plus large

Le constat le plus profond n'est pas seulement que les WebSockets sont plus rapides que les appels synchrones répétés. C'est que les produits d'agents mûrissent en systèmes logiciels temps réel dont la performance dépend de la coordination entre API, caches, couches de sécurité et runtimes d'outils.

Cela fait de cette mise à jour bien plus qu'une note d'ingénierie. C'est le signe que les prochains gains d'utilisabilité de l'IA pourraient venir de la réduction des frictions entre les étapes du modèle, et pas seulement du fait de rendre chaque étape individuelle plus intelligente. À mesure que les systèmes agentiques prennent en charge des tâches plus longues et plus complexes, cette distinction pourrait déterminer s'ils paraissent expérimentaux ou opérationnels.

Cet article s'appuie sur un reportage d'OpenAI. Lire l'article original.