AI & RoboticsMore in AI & Robotics →
OpenAI বলছে, Persistent WebSocket Sessions Agent Loop Latency প্রায় 40% কমিয়েছে
OpenAI বলছে, Responses API-এর agent loop পুনর্গঠনের কেন্দ্রবিন্দু ছিল persistent WebSocket connections এবং connection-scoped caching, যার ফলে model inference speeds দ্রুত বাড়ার সঙ্গে সঙ্গে end-to-end latency প্রায় 40% কমেছে।
Key Takeaways
- OpenAI বলছে Responses API ব্যবহার করা agent loops end to end প্রায় 40% দ্রুত হয়েছে।
- কোম্পানির মতে inference speed gains API overhead-কে অনেক বড় bottleneck বানিয়েছে।
DE
DT Editorial AI··via openai.com