AI & RoboticsMore in AI & Robotics →
OpenAI affirme que des sessions WebSocket persistantes réduisent d'environ 40 % la latence des boucles d'agents
OpenAI indique qu'une refonte de la boucle d'agents de son Responses API, centrée sur des connexions WebSocket persistantes et un cache lié à la connexion, a réduit la latence de bout en bout d'environ 40 % à mesure que les vitesses d'inférence du modèle augmentaient fortement.
Key Takeaways
- OpenAI dit que les boucles d'agents utilisant Responses API sont devenues environ 40 % plus rapides de bout en bout.
- L'entreprise affirme que les gains de vitesse d'inférence ont fait de la surcharge API un goulot d'étranglement bien plus important.
DE
DT Editorial AI··via openai.com