Le modèle vocal Eleven v4 d'ElevenLabs affine l'expressivité et la cohérence des voix

ElevenLabs repousse les limites de la parole IA expressive

ElevenLabs déploie Eleven v4, un nouveau modèle vocal qui, selon l'entreprise, suit les indications de mise en scène plus précisément que son prédécesseur et maintient la voix d'un narrateur ou d'un personnage stable sur de longues productions. En parallèle, l'entreprise propose une variante plus rapide destinée spécifiquement aux applications en temps réel, où les agents vocaux réactifs ont historiquement dû faire des compromis sur l'expression.

Cette sortie intervient environ un an après Eleven v3, qui avait déjà introduit la prise en charge des balises audio mais suivait ces instructions avec moins de précision. Avec v4, ElevenLabs parie que la différence entre une voix synthétique utilisable et une voix véritablement performative tient à la fidélité avec laquelle un modèle interprète les directives données par un scénariste ou un producteur — et au peu de dérive de cette performance au fil d'un livre audio, d'un projet de doublage ou d'une longue session interactive.

Les indications de mise en scène deviennent bien plus fiables

La promesse centrale d'Eleven v4 est le contrôle. Les utilisateurs peuvent annoter un script avec des balises qui précisent l'émotion, les pauses et les effets sonores ligne par ligne, ou simplement décrire ce qu'ils veulent en phrases claires. Selon ElevenLabs, la nouvelle version gère ces instructions bien mieux que v3.

Concrètement, cela signifie que les sons non verbaux — rires, chuchotements, claquement de porte — sont générés plus fiablement et au bon endroit. Ce sont exactement le genre de détails qui distinguent une lecture synthétique plate d'une performance avec de la texture. Un rire scripté qui tombe sur la mauvaise syllabe, ou un chuchotement qui arrive avec la mauvaise intensité, brise immédiatement l'illusion ; ElevenLabs positionne v4 comme la version qui comble une grande partie de cet écart.

Les contrôles de prononciation ont également été renforcés. Les scénaristes peuvent utiliser l'orthographe phonétique pour fixer la prononciation des noms, des termes de marque et du vocabulaire technique, et l'entreprise affirme que ces contrôles fonctionnent désormais plus régulièrement qu'auparavant. Pour quiconque produit du contenu rempli d'acronymes, de noms chimiques ou de noms propres non anglophones, cette fiabilité est sans doute aussi précieuse que l'étendue émotionnelle.

Une architecture conçue pour maintenir une voix stable

ElevenLabs attribue ces améliorations à une nouvelle architecture de modèle qui analyse le ton, le rythme et le contexte d'un script plutôt que de traiter chaque ligne comme une unité de texte isolée. Cette conscience du contexte compte surtout lorsqu'une production s'étend sur la durée.

Les narrateurs et les personnages doivent sonner de manière cohérente tout au long d'un projet, même dans des flux de travail où des lignes individuelles sont régénérées plusieurs fois lors du montage. Quiconque a assemblé une voix off à partir de dizaines de prises séparées connaît le mode de défaillance : une phrase par-ci par-là qui change subtilement de timbre, d'énergie ou d'accent, laissant une couture audible. ElevenLabs affirme que v4 est conçu pour empêcher cette dérive.

Chaque requête peut traiter jusqu'à 10 000 caractères, soit environ dix minutes d'audio finalisé. Les œuvres plus longues comme les livres audio sont assemblées à partir de plusieurs segments, et l'entreprise s'attend à ce que le rythme et l'interprétation restent stables à travers ces transitions. Dans le dialogue, le modèle est censé répondre au contexte d'une scène entière plutôt que d'interpréter la réplique de chaque locuteur isolément — un changement qui devrait rendre les échanges plus proches d'une conversation et moins d'une alternance de monologues.

Une couverture linguistique élargie et des outils de clonage rétablis

Eleven v4 prend en charge plus de 90 langues, contre environ 70 pour v3. Cette expansion s'accompagne d'une affirmation précise concernant les voix clonées : elles devraient pouvoir parler d'autres langues avec des accents naturels sans revenir progressivement à l'accent de l'enregistrement d'origine. Ce type de dérive a longtemps été un reproche dans le doublage multilingue, où une voix construite à partir de sources anglophones peut trahir ses origines lorsqu'on lui demande de parler, disons, espagnol ou japonais.

ElevenLabs indique également que les Professional Voice Clones fonctionnent à nouveau dans v4 après avoir été non pris en charge dans v3, rétablissant une capacité que les flux de production haut de gamme avaient perdue. À l'autre extrémité du spectre, un Instant Voice Clone ne nécessite que dix secondes d'audio, ce qui maintient le prototypage rapide accessible aux utilisateurs qui n'ont pas d'enregistrements de qualité studio sous la main.

Turbo se tourne vers les agents vocaux en temps réel

La seconde moitié de l'annonce concerne la vitesse. Eleven v4 Turbo est conçu pour les usages en temps réel comme les appels au service client et les personnages de jeu, où une pause de plus d'une fraction de seconde rend une interaction artificielle.

Selon les tests d'ElevenLabs, Turbo commence à produire une parole audible en environ 150 millisecondes. L'entreprise présente cela comme la résolution d'un compromis de longue date : les développeurs d'agents vocaux devaient auparavant choisir entre une réponse rapide et une réponse expressive. Turbo est censé offrir les deux, ce qui pourrait faire ressembler les agents conversationnels moins à des arbres téléphoniques scriptés et plus à des participants à un échange en direct.

Eleven v4 en un coup d'œil

• Respect plus précis des balises de mise en scène et des instructions en langage clair pour l'émotion, les pauses et les effets sonores
• Rires, chuchotements et effets comme les claquements de porte générés plus fiablement que dans v3
• Voix de narrateur et de personnage cohérentes sur de longues productions, y compris lorsque des lignes individuelles sont régénérées
• Jusqu'à 10 000 caractères par requête, soit environ dix minutes d'audio
• Prise en charge de plus de 90 langues, contre environ 70 dans v3
• Les voix clonées devraient conserver des accents natifs dans d'autres langues sans dériver
• Professional Voice Clones rétablis après avoir été non pris en charge dans v3 ; Instant Voice Clone nécessite dix secondes d'audio
• Eleven v4 Turbo commence à parler en environ 150 millisecondes, ce qui, selon ElevenLabs, dépasse les modèles concurrents

Pourquoi les détails comptent plus que le titre

La frontière concurrentielle de la synthèse vocale a changé. Un audio fluide et naturel est désormais la norme minimale ; ce qui distingue les plateformes, c'est la contrôlabilité — la capacité d'un réalisateur à demander une interprétation précise et à l'obtenir inchangée, prise après prise. L'argument d'Eleven v4 porte essentiellement sur la prévisibilité à grande échelle, du téléchargement d'un chapitre de dix minutes à un agent en direct répondant à un client en un cinquième de seconde.

Pour les producteurs de livres audio, de vidéos doublées et de personnages interactifs, les questions pratiques seront de savoir comment la vitesse de Turbo résiste aux conditions réelles de conversation et si l'assemblage segment par segment tient véritablement son équilibre tonal sur un titre complet. Ce sont les affirmations qu'ElevenLabs avance aujourd'hui ; les mois de production à venir détermineront dans quelle mesure elles tiennent.

Cet article est basé sur un reportage de The Decoder. Lire l'article original.