
AI & RoboticsMore in AI & Robotics →
OpenAI表示,持久化 WebSocket 会话可将智能体循环延迟降低约40%
OpenAI表示,对其 Responses API 智能体循环的重新设计,以持久化 WebSocket 连接和连接范围缓存为核心,在模型推理速度大幅提升之际,将端到端延迟降低了约40%。
Key Takeaways
- OpenAI表示,使用 Responses API 的智能体循环端到端速度大约提升了40%。
- 该公司称,推理速度提升使 API 开销成为更大的瓶颈。
DE
DT Editorial AI··via openai.com