ElevenLabs 提升富有表现力的 AI 语音标准
ElevenLabs 正在推出 Eleven v4，这是一款新的语音模型，该公司称其比前代产品能更准确地遵循导演指令，并在长篇制作中保持旁白者或角色的声音稳定。与此同时，该公司还推出了一款更快的变体，直接面向实时应用——在这些场景中，响应迅速的语音代理历来不得不在表现力上做出妥协。
此次发布距离 Eleven v3 大约一年，后者已经引入了对音频标签的支持，但遵循这些指令的精确度较低。借助 v4，ElevenLabs 押注的是：可用的合成语音与真正具有表演性的合成语音之间的差异，取决于模型对编剧或制作人给出的指令的忠实程度——以及这种表演在整本有声书、一个配音项目或长时间互动会话中漂移的程度有多小。
导演指令变得可靠得多
Eleven v4 的核心承诺是控制力。用户可以在脚本中逐行标注标签，指定情感、停顿和音效，也可以直接用平实的句子描述他们想要的效果。据 ElevenLabs 称，新版本处理这些指令的能力比 v3 好得多。
在实践中，这意味着非语言声音——笑声、耳语、关门声——能够更可靠地生成，并出现在正确的位置。这些正是区分平淡的合成朗读与富有质感的表演的细节。一个落在错误音节上的脚本笑声，或一个强度不对的耳语，会立刻打破幻觉；ElevenLabs 将 v4 定位为弥合大部分这一差距的版本。
发音控制也得到了加强。编剧可以使用音标拼写来确定姓名、品牌术语和技术词汇的发音方式，该公司称这些控制现在比以往更一致地发挥作用。对于任何制作充满缩写、化学名称或非英语专有名词内容的人来说，这种可靠性可以说与情感范围同样有价值。
为保持声音稳定而设计的架构
ElevenLabs 将改进归功于一种新的模型架构，该架构分析脚本的语气、节奏和上下文，而不是将每一行视为孤立的文本单元。这种上下文感知在制作篇幅较长时最为重要。
旁白者和角色预计在整个项目中听起来保持一致，即使在编辑过程中个别行被多次重新生成的工作流中也是如此。任何从数十个单独录音片段中拼接出配音的人都知道这种失败模式：这里或那里有一个短语在音色、能量或口音上微妙地变化，留下可听见的接缝。ElevenLabs 表示，v4 的构建就是为了防止这种漂移。
每个请求最多可处理 10,000 个字符，大约相当于十分钟的成品音频。有声书等较长的作品由多个片段组装而成，该公司预计节奏和表达在这些过渡中保持稳定。在对话中，该模型据称会响应整个场景的上下文，而不是孤立地表演每个说话者的台词——这一变化应该会让来回交流更像对话，而不像交替的独白。
更广泛的语言覆盖与恢复的克隆工具
Eleven v4 支持超过 90 种语言，比 v3 提供的大约 70 种有所增加。这一扩展伴随着一个关于克隆声音的具体主张：它们应该能够以听起来像母语的口音说其他语言，而不会逐渐回到原始录音的口音。这种漂移长期以来一直是多语言配音中的抱怨，因为用英语源材料构建的声音在被要求说西班牙语或日语时，可能会暴露其来源。
ElevenLabs 还表示，Professional Voice Clones 在 v4 中再次可用，此前在 v3 中不受支持，恢复了高端制作工作流失去的一项能力。在另一端，Instant Voice Clone 只需要十秒钟的音频，让没有录音室级录音的用户也能进行快速原型制作。
Turbo 迈向实时语音代理
公告的后半部分是关于速度的。Eleven v4 Turbo 专为实时用途而构建，例如客户服务电话和游戏角色，在这些场景中，超过零点几秒的停顿会让互动显得不自然。
根据 ElevenLabs 的测试，Turbo 在大约 150 毫秒内开始产生可听见的语音。该公司将此描述为解决一个长期存在的权衡：语音代理开发者此前不得不在快速响应和富有表现力之间做出选择。Turbo 旨在同时实现两者，这可能使对话代理听起来不像脚本化的电话树，而更像实时交流的参与者。
Eleven v4 一览
- 更准确地遵循导演标签和关于情感、停顿和音效的平实语言指令
- 笑声、耳语和关门声等音效比 v3 更可靠地生成
- 在长篇制作中保持旁白者和角色声音一致，包括个别行被重新生成时
- 每个请求最多 10,000 个字符，约十分钟音频
- 支持超过 90 种语言，高于 v3 的约 70 种
- 克隆声音预计在其他语言中保持母语口音，而不会漂移回去
- Professional Voice Clones 在 v3 中不受支持后恢复；Instant Voice Clone 需要十秒钟音频
- Eleven v4 Turbo 在大约 150 毫秒内开始说话，ElevenLabs 称其优于竞争模型
为什么细节比标题更重要
语音合成的竞争前沿已经转移。流畅、听起来像人的音频如今已是基本要求；区分平台的是可控性——导演能否要求特定的表达方式，并在一次又一次的录制中不变地得到它。Eleven v4 的卖点本质上是关于大规模的可预测性，从十分钟的章节下载到在五分之一秒内回答客户的实时代理。
对于有声书、配音视频和互动角色的制作者来说，实际问题将是 Turbo 的速度在真实对话条件下能保持多好，以及逐段组装是否真的能在整部长篇作品中保持其音调立足点。这些是 ElevenLabs 现在提出的主张；未来几个月的制作工作将决定它们能站得住脚多久。
本文基于 The Decoder 的报道。阅读原文。
Originally published on the-decoder.com