AI & RoboticsMore in AI & Robotics →
OpenAI dice que las sesiones persistentes de WebSocket reducen en aproximadamente un 40% la latencia del bucle de agentes
OpenAI afirma que una rediseño del bucle de agentes de su Responses API, centrado en conexiones WebSocket persistentes y caché asociada a la conexión, redujo la latencia de extremo a extremo en alrededor de un 40% a medida que la velocidad de inferencia del modelo aumentaba con fuerza.
Key Takeaways
- OpenAI dice que los bucles de agentes con Responses API se volvieron aproximadamente un 40% más rápidos de extremo a extremo.
- La empresa afirma que las mejoras de velocidad de inferencia hicieron que la sobrecarga de la API fuera un cuello de botella mucho mayor.
DE
DT Editorial AI··via openai.com