ElevenLabs、表現力豊かなAI音声の基準を引き上げる
ElevenLabsは新しい音声モデル「Eleven v4」を展開している。同社によれば、前世代よりも演出指示を正確に追従し、長編制作を通じてナレーターやキャラクターの声を安定して保つという。同時に、リアルタイム用途に照準を合わせた高速版も提供する。応答性の高い音声エージェントはこれまで、表現力を犠牲にせざるを得なかった。
このリリースは、音声タグのサポートをすでに導入していたものの、その指示への追従精度が低かったEleven v3から約1年後の登場となる。v4でElevenLabsは、実用的な合成音声と真に演技的な音声の違いは、モデルが脚本家やプロデューサーの指示をどれだけ忠実に解釈するか、そしてその演技がオーディオブックや吹き替えプロジェクト、長時間のインタラクティブセッションの中でどれだけぶれないかにかかっていると賭けている。
演出指示がはるかに信頼できるものに
Eleven v4の核心的な約束はコントロールだ。ユーザーは台本にタグを付けて、感情や間、効果音を行単位で指定できるほか、欲しい内容を平易な文章で記述するだけでもよい。ElevenLabsによれば、新バージョンはこれらの指示をv3よりもかなり上手く扱う。
実際には、笑い声やささやき、ドアのバタンという音といった非言語音が、より確実に、正しい位置で生成されることを意味する。これらはまさに、平坦な合成音声の読み上げと、質感を伴う演技を分ける細部だ。誤った音節で笑いが入ったり、意図と違う強さでささやきが来たりすれば、すぐに作り物めいた印象が露呈する。ElevenLabsはv4を、そのギャップの多くを埋めるバージョンとして位置づけている。
発音のコントロールも強化された。脚本家は phonetic spelling（発音表記）を使って人名やブランド用語、専門用語の読み方を固定でき、同社によればこれらのコントロールは以前より一貫して機能するようになった。頭字語や化学物質名、非英語の固有名詞が多いコンテンツを制作する人にとって、この信頼性は感情表現の幅と同程度に価値があると言えるだろう。
声を安定して保つために設計されたアーキテクチャ
ElevenLabsはこの改善を、各行を独立したテキスト単位として扱うのではなく、台本のトーンやペース、文脈を分析する新しいモデルアーキテクチャによるものとしている。この文脈認識は、制作が長尺になるほど重要になる。
ナレーターやキャラクターは、編集中に個々の行を何度も再生成するワークフローであっても、プロジェクト全体を通じて一貫した声であることが求められる。数十の別テイクをつなぎ合わせてボイスオーバーを仕上げた経験がある人なら、失敗のパターンを知っているだろう。あちこちのフレーズで音色やエネルギー、アクセントが微妙に変わり、耳につく継ぎ目が残るのだ。ElevenLabsはv4がそのぶれを防ぐように作られていると述べている。
1回のリクエストで最大10,000文字を処理でき、これは完成音声でおよそ10分に相当する。オーディオブックのような長編作品は複数のセグメントから組み立てられ、同社はそれらの切り替えをまたいでもペースと話し方が安定し続けると見込んでいる。対話では、各話者の行を個別に演じるのではなく、シーン全体の文脈に反応するとされ、この変更によりやり取りが交互のモノローグではなく会話のように感じられるはずだ。
対応言語の拡大とクローン機能の復活
Eleven v4は90以上の言語をサポートし、v3の約70言語から増加した。この拡大は、クローン音声に関する具体的な主張と対をなす。つまり、元の録音のアクセントに徐々に戻ることなく、ネイティブに聞こえるアクセントで他言語を話せるべきだというものだ。この種のぶれは多言語吹き替えで長く不満の種であり、英語の素材から作られた声が、スペイン語や日本語を話させるとその出自を露呈することがあった。
ElevenLabsはまた、v3では非対応だったProfessional Voice Clonesがv4で再び機能すると述べており、ハイエンドな制作ワークフローが失っていた機能を復活させた。もう一方の端では、Instant Voice Cloneがわずか10秒の音声しか必要とせず、スタジオ品質の録音を手元に持たないユーザーでも迅速なプロトタイピングが可能だ。
Turboはリアルタイム音声エージェントへ前進
発表の後半はスピードに関するものだ。Eleven v4 Turboはカスタマーサービス通話やゲームキャラクターといったリアルタイム用途向けに作られており、1秒の何分の一を超える間が生じるとインタラクションが不自然に感じられる場面で使われる。
ElevenLabsのテストによれば、Turboは約150ミリ秒で発話音声を出し始める。同社はこれを、長年のトレードオフを解消するものと位置づける。音声エージェントの開発者はこれまで、速い応答か表現力豊かな応答かのどちらかを選ばなければならなかった。Turboはその両方を実現することを目指しており、会話エージェントが台本通りの電話メニューのようではなく、ライブのやり取りの参加者のように聞こえる可能性がある。
Eleven v4の概要
- 感情、間、効果音に関する演出タグおよび平易な言葉での指示への追従精度が向上
- 笑い声、ささやき、ドアをバタンと閉める音などの効果音がv3より確実に生成される
- 長編制作を通じてナレーターやキャラクターの声が一貫し、個々の行を再生成した場合も維持される
- 1リクエストあたり最大10,000文字、およそ10分の音声
- 90以上の言語をサポート、v3の約70言語から増加
- クローン音声は他言語でもネイティブのアクセントを保ち、元に戻らないことが期待される
- Professional Voice Clonesがv3での非対応を経て復活。Instant Voice Cloneは10秒の音声で可能
- Eleven v4 Turboは約150ミリ秒で発話を開始し、ElevenLabsによれば競合モデルを上回る
見出しよりも細部が重要な理由
音声合成の競争の最前線は移り変わった。流暢で人間らしく聞こえる音声は今や前提条件であり、プラットフォームを分けるのは制御性だ。演出家が特定の話し方を求めたとき、何テイク取っても同じものが返ってくるかどうかである。Eleven v4の売り込みは本質的に、10分の章のダウンロードから0.2秒以内に顧客へ応答するライブエージェントまで、規模を問わない予測可能性にある。
オーディオブックや吹き替え映像、インタラクティブキャラクターの制作者にとって、実用的な疑問は、Turboの速度が実際の会話条件下でどこまで維持されるか、そしてセグメントごとの組み立てがフルレングスの作品全体で本当にトーンの足場を保つかどうかだろう。これらは今ElevenLabsが掲げている主張であり、今後数か月の制作現場での取り組みが、それらがどこまで持ちこたえるかを決める。
この記事はThe Decoderの報道に基づいています。元の記事を読む。
Originally published on the-decoder.com
