L’IA vocale ne paraît naturelle que lorsque le réseau disparaît

OpenAI a publié un rare aperçu, au niveau de l’infrastructure, de la manière dont elle fournit une IA vocale à faible latence à l’échelle mondiale, en détaillant une refonte de sa pile WebRTC pour prendre en charge des interactions vocales en temps réel dans des produits comme la voix de ChatGPT, la Realtime API et des workflows d’agents qui doivent traiter l’audio pendant que l’utilisateur parle encore.

Le problème d’ingénierie est simple à décrire et difficile à résoudre. La conversation orale tolère beaucoup moins de délai que bien d’autres formes d’interaction logicielle. Lorsqu’un système hésite, coupe la parole à un utilisateur ou répond trop lentement à une interruption, cela se remarque immédiatement. OpenAI cadre le défi autour de trois exigences concrètes : une portée mondiale pour plus de 900 millions d’utilisateurs actifs hebdomadaires, une mise en route rapide de la connexion pour que les utilisateurs puissent parler dès le démarrage d’une session, et un temps aller-retour média faible et stable, avec un minimum de gigue et de pertes de paquets, afin que le tour de parole reste fluide.

Ces objectifs expliquent pourquoi le dernier travail de l’entreprise se concentre moins sur le comportement du modèle seul que sur les systèmes de transport qui rendent la parole immédiate. Dans les produits vocaux, l’intelligence du modèle n’est qu’une partie de l’expérience. Le reste dépend de la vitesse et de la fiabilité avec lesquelles les paquets circulent.

Pourquoi WebRTC compte pour les produits d’IA

Le billet d’OpenAI souligne que WebRTC reste une base pratique pour l’IA vocale client vers serveur, car il standardise des éléments difficiles de la diffusion de médias interactifs. Cela comprend l’établissement de la connectivité et le traversée de NAT via ICE, le transport chiffré via DTLS et SRTP, la négociation de codecs, le contrôle qualité via RTCP, ainsi que des capacités côté client comme la suppression d’écho et le tampon de gigue.

Pour une entreprise opérant sur des navigateurs, des applications mobiles et une infrastructure serveur, cette standardisation réduit la fragmentation. Sans elle, chaque environnement client aurait besoin de solutions distinctes pour la connectivité, le chiffrement, la prise en charge des codecs et l’adaptation au réseau. En s’appuyant sur une norme mature et sur l’écosystème open source WebRTC plus large, OpenAI dit pouvoir concentrer ses efforts d’ingénierie sur l’infrastructure qui relie les flux médias temps réel aux modèles, plutôt que de reconstruire toute la pile de communication à partir de zéro.

C’est un message pragmatique pour l’industrie de l’IA au sens large. L’IA en temps réel ne consiste pas seulement à générer de l’audio rapidement. Il s’agit d’intégrer des protocoles de communication établis à des systèmes de serving de modèles d’une manière qui préserve le comportement familier côté client tout en changeant ce qui se passe plus profondément dans le réseau.