AI & RoboticsMore in AI & Robotics →
OpenAI म्हणते, Persistent WebSocket Sessions मुळे Agent Loop Latency सुमारे 40% कमी झाली
Responses API agent loop च्या पुनर्रचनेत persistent WebSocket connections आणि connection-scoped caching यांचा केंद्रबिंदू होता, आणि model inference speeds झपाट्याने वाढत असताना end-to-end latency सुमारे 40% कमी झाली, असे OpenAI म्हणते.
Key Takeaways
- Responses API वापरणारे agent loops end to end सुमारे 40% वेगवान झाले, असे OpenAI म्हणते.
- Inference speed gains मुळे API overhead मोठा bottleneck बनला, असे कंपनीचे म्हणणे आहे.
DE
DT Editorial AI··via openai.com