AI & RoboticsMore in AI & Robotics →
OpenAI கூறுவதன்படி, Persistent WebSocket Sessions Agent Loop Latency-ஐ சுமார் 40% குறைத்தன
Responses API agent loop-இன் ஒரு redesign, அதாவது persistent WebSocket connections மற்றும் connection-scoped caching-ஐ மையமாகக் கொண்ட மாற்றம், model inference speeds வேகமாக உயர்ந்தபோது end-to-end latency-யை சுமார் 40% குறைத்ததாக OpenAI கூறுகிறது.
Key Takeaways
- Responses API பயன்படுத்தும் agent loops end to end சுமார் 40% வேகமானதாக OpenAI கூறுகிறது.
- Inference speed gains, API overhead-ஐ மிகப் பெரிய bottleneck ஆக்கியதாக நிறுவனம் கூறுகிறது.
DE
DT Editorial AI··via openai.com