ElevenLabs' Eleven v4 Sprachmodell schärft Ausdruckskraft und Stimmkonsistenz

ElevenLabs setzt neue Maßstäbe für ausdrucksstarke KI-Sprache

ElevenLabs führt Eleven v4 ein, ein neues Sprachmodell, das laut Unternehmen Regieanweisungen präziser befolgt als sein Vorgänger und die Stimme eines Erzählers oder einer Figur über langformatige Produktionen hinweg stabil hält. Daneben bringt das Unternehmen eine schnellere Variante auf den Markt, die direkt auf Echtzeitanwendungen abzielt, wo reaktionsschnelle Sprachagenten bisher Kompromisse bei der Ausdruckskraft eingehen mussten.

Die Veröffentlichung erfolgt rund ein Jahr nach Eleven v3, das bereits die Unterstützung von Audio-Tags einführte, diese Anweisungen jedoch mit geringerer Präzision befolgte. Mit v4 setzt ElevenLabs darauf, dass der Unterschied zwischen einer brauchbaren synthetischen Stimme und einer wirklich performativen davon abhängt, wie treu ein Modell die Anweisungen interpretiert, die ein Autor oder Produzent ihm gibt – und wie wenig diese Performance im Verlauf eines Hörbuchs, eines Synchronisationsprojekts oder einer langen interaktiven Sitzung driftet.

Regieanweisungen werden deutlich zuverlässiger

Das Kernversprechen von Eleven v4 ist Kontrolle. Nutzer können ein Skript mit Tags versehen, die Emotion, Pausen und Soundeffekte Zeile für Zeile festlegen, oder sie können einfach in klaren Sätzen beschreiben, was sie wollen. Laut ElevenLabs verarbeitet die neue Version diese Anweisungen erheblich besser als v3.

In der Praxis bedeutet das, dass nonverbale Geräusche – Lachen, Flüstern, das Zuschlagen einer Tür – zuverlässiger und an der richtigen Stelle erzeugt werden. Genau das sind die Details, die eine flache synthetische Lesung von einer Performance mit Textur unterscheiden. Ein einstudiertes Kichern, das auf der falschen Silbe landet, oder ein Flüstern mit der falschen Intensität zerstört die Illusion sofort; ElevenLabs positioniert v4 als die Version, die einen Großteil dieser Lücke schließt.

Auch die Aussprachekontrollen wurden verschärft. Autoren können phonetische Schreibweisen verwenden, um festzulegen, wie Namen, Markenbegriffe und technisches Vokabular gesprochen werden, und das Unternehmen sagt, dass diese Kontrollen nun konsistenter funktionieren als zuvor. Für alle, die Inhalte voller Akronyme, chemischer Namen oder nicht-englischer Eigennamen produzieren, ist diese Zuverlässigkeit wohl ebenso wertvoll wie die emotionale Bandbreite.

Eine Architektur, die eine Stimme stabil hält

ElevenLabs führt die Verbesserungen auf eine neue Modellarchitektur zurück, die Ton, Tempo und Kontext eines Skripts analysiert, statt jede Zeile als isolierte Texteinheit zu behandeln. Dieses Kontextbewusstsein ist am wichtigsten, wenn eine Produktion lang wird.

Erzähler und Figuren sollen während eines Projekts konsistent klingen, selbst in Arbeitsabläufen, in denen einzelne Zeilen während der Bearbeitung mehrfach neu generiert werden. Wer schon einmal einen Voice-over aus Dutzenden separaten Takes zusammengesetzt hat, kennt das Fehlerbild: eine Phrase hier oder dort, die sich in Timbre, Energie oder Akzent subtil verschiebt und eine hörbare Naht hinterlässt. ElevenLabs sagt, v4 sei darauf ausgelegt, diese Drift zu verhindern.

Jede Anfrage kann bis zu 10.000 Zeichen verarbeiten, was etwa zehn Minuten fertigen Audio entspricht. Längere Werke wie Hörbücher werden aus mehreren Segmenten zusammengesetzt, und das Unternehmen erwartet, dass Tempo und Vortrag über diese Übergänge hinweg stabil bleiben. Im Dialog soll das Modell auf den Kontext einer gesamten Szene reagieren, statt die Zeile jedes Sprechers isoliert zu performen – eine Änderung, die Hin-und-Her-Wechsel mehr wie ein Gespräch und weniger wie abwechselnde Monologe wirken lassen dürfte.

Breitere Sprachabdeckung und wiederbelebte Klon-Tools

Eleven v4 unterstützt mehr als 90 Sprachen, ein Anstieg gegenüber den rund 70, die v3 bot. Die Erweiterung geht mit einer spezifischen Aussage zu geklonten Stimmen einher: Sie sollen andere Sprachen mit muttersprachlich klingenden Akzenten sprechen können, ohne allmählich zum Akzent der Originalaufnahme zurückzukehren. Diese Art von Drift war lange ein Kritikpunkt beim mehrsprachigen Dubbing, wo eine aus englischem Quellmaterial erstellte Stimme ihre Herkunft verraten kann, wenn sie etwa Spanisch oder Japanisch sprechen soll.

ElevenLabs sagt außerdem, dass Professional Voice Clones in v4 wieder funktionieren, nachdem sie in v3 nicht unterstützt wurden, womit eine Fähigkeit wiederhergestellt wird, die hochwertigere Produktionsabläufe verloren hatten. Am anderen Ende des Spektrums benötigt ein Instant Voice Clone nur zehn Sekunden Audio, was schnelles Prototyping für Nutzer zugänglich hält, die keine Aufnahmen in Studioqualität zur Hand haben.

Turbo drängt in Richtung Echtzeit-Sprachagenten

Die zweite Hälfte der Ankündigung dreht sich um Geschwindigkeit. Eleven v4 Turbo ist für Echtzeitanwendungen wie Kundenservice-Anrufe und Spielcharaktere konzipiert, wo eine Pause von mehr als einem Bruchteil einer Sekunde eine Interaktion künstlich wirken lässt.

Laut den Tests von ElevenLabs beginnt Turbo in etwa 150 Millisekunden mit hörbarer Sprachausgabe. Das Unternehmen stellt dies als Auflösung eines langjährigen Kompromisses dar: Entwickler von Sprachagenten mussten zuvor zwischen einer schnellen und einer ausdrucksstarken Antwort wählen. Turbo soll beides liefern, was konversationelle Agenten weniger wie skriptgesteuerte Telefonbäume und mehr wie Teilnehmer an einem Live-Austausch klingen lassen könnte.

Eleven v4 auf einen Blick

• Genauere Befolgung von Regie-Tags und Klartext-Anweisungen für Emotion, Pausen und Soundeffekte
• Lachen, Flüstern und Effekte wie zuschlagende Türen werden zuverlässiger erzeugt als in v3
• Konsistente Erzähler- und Figurenstimmen über lange Produktionen hinweg, auch wenn einzelne Zeilen neu generiert werden
• Bis zu 10.000 Zeichen pro Anfrage, etwa zehn Minuten Audio
• Unterstützung für mehr als 90 Sprachen, gegenüber etwa 70 in v3
• Geklonte Stimmen sollen in anderen Sprachen native Akzente halten, ohne zurückzudriften
• Professional Voice Clones wiederhergestellt, nachdem sie in v3 nicht unterstützt wurden; Instant Voice Clone benötigt zehn Sekunden Audio
• Eleven v4 Turbo beginnt in rund 150 Millisekunden mit dem Sprechen, was laut ElevenLabs konkurrierende Modelle übertrifft

Warum die Details mehr zählen als die Schlagzeile

Die Wettbewerbsfront in der Sprachsynthese hat sich verschoben. Flüssiges, menschlich klingendes Audio ist inzwischen Grundvoraussetzung; was Plattformen unterscheidet, ist die Steuerbarkeit – ob ein Regisseur eine bestimmte Darbietung verlangen und sie unverändert zurückbekommen kann, Take für Take. Das Versprechen von Eleven v4 dreht sich im Wesentlichen um Vorhersagbarkeit im großen Maßstab, vom zehnminütigen Kapitel-Download bis zum Live-Agenten, der einem Kunden innerhalb einer Fünftelsekunde antwortet.

Für Produzenten von Hörbüchern, synchronisiertem Video und interaktiven Charakteren werden die praktischen Fragen sein, wie gut die Geschwindigkeit von Turbo echten Gesprächsbedingungen standhält und ob die segmentweise Montage über einen Titel in voller Länge wirklich ihren tonalen Stand hält. Das sind die Behauptungen, die ElevenLabs jetzt aufstellt; die kommenden Monate der Produktionsarbeit werden zeigen, wie gut sie halten.

Dieser Artikel basiert auf einer Reportage von The Decoder. Originalartikel lesen.