AI & RoboticsMore in AI & Robotics →
OpenAI का कहना है कि Persistent WebSocket Sessions ने Agent Loop Latency को लगभग 40% कम किया
OpenAI का कहना है कि Responses API के agent loop के एक redesign, जिसका केंद्र persistent WebSocket connections और connection-scoped caching था, ने model inference की गति तेज़ होने के साथ end-to-end latency को लगभग 40% घटा दिया।
Key Takeaways
- OpenAI का कहना है कि Responses API का उपयोग करने वाले agent loops end to end लगभग 40% तेज़ हो गए।
- कंपनी का कहना है कि inference speed gains ने API overhead को बहुत बड़ा bottleneck बना दिया।
DE
DT Editorial AI··via openai.com