AI & RoboticsMore in AI & Robotics →
OpenAI sagt, persistente WebSocket-Sitzungen senken die Latenz von Agenten-Loops um rund 40 %
OpenAI sagt, dass eine Neugestaltung des Agenten-Loops seiner Responses API, die auf persistente WebSocket-Verbindungen und verbindungsgebundenes Caching setzt, die End-to-End-Latenz um etwa 40 % reduziert habe, während die Inferenzgeschwindigkeiten des Modells stark stiegen.
Key Takeaways
- OpenAI sagt, dass Agenten-Loops mit der Responses API end-to-end rund 40 % schneller wurden.
- Laut dem Unternehmen machten Inferenzgeschwindigkeitsgewinne den API-Overhead zu einem deutlich größeren Engpass.
DE
DT Editorial AI··via openai.com