AI & RoboticsMore in AI & Robotics →
OpenAI、持続的なWebSocketセッションでエージェントループのレイテンシを約40%短縮と発表
OpenAIは、持続的なWebSocket接続と接続スコープのキャッシュを中心にResponses APIのエージェントループを再設計し、モデル推論速度が急速に上がる中で、エンドツーエンドのレイテンシを約40%削減したと述べている。
Key Takeaways
- OpenAIは、Responses APIを使うエージェントループのエンドツーエンド速度が約40%向上したと述べている。
- 同社によれば、推論速度の向上でAPIのオーバーヘッドが大きなボトルネックになった。
DE
DT Editorial AI··via openai.com