El modelo de voz Eleven v4 de ElevenLabs mejora la expresividad y la consistencia vocal

ElevenLabs eleva el listón de la voz sintética expresiva

ElevenLabs está lanzando Eleven v4, un nuevo modelo de voz que, según la compañía, sigue las indicaciones de dirección con mayor precisión que su predecesor y mantiene estable la voz de un narrador o personaje a lo largo de producciones de formato largo. Junto a él, la compañía lanza una variante más rápida orientada directamente a aplicaciones en tiempo real, donde los agentes de voz con capacidad de respuesta han tenido que comprometer históricamente la expresividad.

El lanzamiento llega aproximadamente un año después de Eleven v3, que ya introdujo el soporte para etiquetas de audio, pero seguía esas instrucciones con menos precisión. Con v4, ElevenLabs apuesta a que la diferencia entre una voz sintética utilizable y una genuinamente interpretativa se reduce a la fidelidad con la que un modelo interpreta las indicaciones que le da un guionista o productor, y a lo poco que esa interpretación se desvía a lo largo de un audiolibro, un proyecto de doblaje o una sesión interactiva prolongada.

Las indicaciones de dirección se vuelven mucho más fiables

La promesa central de Eleven v4 es el control. Los usuarios pueden anotar un guion con etiquetas que especifican emoción, pausas y efectos de sonido línea por línea, o simplemente describir lo que quieren en frases sencillas. Según ElevenLabs, la nueva versión maneja estas instrucciones considerablemente mejor que v3.

En la práctica, eso significa que los sonidos no verbales —risas, susurros, el golpe de una puerta— se generan de forma más fiable y en el lugar correcto. Son exactamente el tipo de detalles que separan una lectura sintética plana de una interpretación con textura. Una risa guionizada que cae en la sílaba equivocada, o un susurro que llega con la intensidad incorrecta, rompe la ilusión de inmediato; ElevenLabs posiciona v4 como la versión que cierra buena parte de esa brecha.

Los controles de pronunciación también se han ajustado. Los guionistas pueden usar grafía fonética para fijar cómo se pronuncian nombres, términos de marca y vocabulario técnico, y la compañía afirma que esos controles ahora funcionan de manera más consistente que antes. Para cualquiera que produzca contenido lleno de siglas, nombres químicos o nombres propios no ingleses, esa fiabilidad es posiblemente tan valiosa como el rango emocional.

Una arquitectura diseñada para mantener la voz estable

ElevenLabs atribuye las mejoras a una nueva arquitectura de modelo que analiza el tono, el ritmo y el contexto de un guion en lugar de tratar cada línea como una unidad de texto aislada. Esa conciencia contextual importa sobre todo cuando una producción se alarga.

Se espera que los narradores y personajes suenen consistentes a lo largo de un proyecto, incluso en flujos de trabajo donde las líneas individuales se regeneran varias veces durante la edición. Cualquiera que haya ensamblado una locución a partir de docenas de tomas separadas conoce el modo de fallo: una frase aquí o allá que cambia sutilmente de timbre, energía o acento, dejando una costura audible. ElevenLabs afirma que v4 está diseñado para evitar esa deriva.

Cada solicitud puede manejar hasta 10.000 caracteres, lo que equivale a unos diez minutos de audio finalizado. Las obras más largas, como los audiolibros, se ensamblan a partir de múltiples segmentos, y la compañía espera que el ritmo y la interpretación se mantengan estables a través de esas transiciones. En el diálogo, se dice que el modelo responde al contexto de una escena completa en lugar de interpretar la línea de cada hablante de forma aislada, un cambio que debería hacer que los intercambios de ida y vuelta se sientan más como una conversación y menos como monólogos alternos.

Mayor cobertura de idiomas y herramientas de clonación recuperadas

Eleven v4 admite más de 90 idiomas, un aumento respecto a los aproximadamente 70 que ofrecía v3. La ampliación se acompaña de una afirmación concreta sobre las voces clonadas: deberían poder hablar otros idiomas con acentos nativos sin revertir gradualmente al acento de la grabación original. Ese tipo de deriva ha sido durante mucho tiempo una queja en el doblaje multilingüe, donde una voz creada a partir de material de origen en inglés puede delatar sus orígenes cuando se le pide hablar, por ejemplo, español o japonés.

ElevenLabs también afirma que los Professional Voice Clones vuelven a funcionar en v4 después de no ser compatibles en v3, restaurando una capacidad que los flujos de trabajo de producción de gama alta habían perdido. En el otro extremo del espectro, un Instant Voice Clone solo requiere diez segundos de audio, manteniendo el prototipado rápido accesible a usuarios que no tienen grabaciones con calidad de estudio a mano.

Turbo avanza hacia los agentes de voz en tiempo real

La segunda mitad del anuncio trata sobre la velocidad. Eleven v4 Turbo está diseñado para usos en tiempo real, como llamadas de atención al cliente y personajes de videojuegos, donde una pausa de más de una fracción de segundo hace que una interacción parezca artificial.

Según las pruebas de ElevenLabs, Turbo comienza a producir voz audible en unos 150 milisegundos. La compañía lo presenta como la resolución de un compromiso de larga data: los desarrolladores de agentes de voz antes tenían que elegir entre una respuesta rápida y una expresiva. Turbo pretende ofrecer ambas, lo que podría hacer que los agentes conversacionales suenen menos como árboles telefónicos guionizados y más como participantes en un intercambio en vivo.

Eleven v4 de un vistazo

• Mayor precisión al seguir etiquetas de dirección e instrucciones en lenguaje natural para emoción, pausas y efectos de sonido
• Risas, susurros y efectos como puertas que se cierran de golpe generados de forma más fiable que en v3
• Voces de narrador y personaje consistentes a lo largo de producciones largas, incluso cuando se regeneran líneas individuales
• Hasta 10.000 caracteres por solicitud, aproximadamente diez minutos de audio
• Compatibilidad con más de 90 idiomas, frente a unos 70 en v3
• Se espera que las voces clonadas mantengan acentos nativos en otros idiomas sin retroceder
• Professional Voice Clones restaurados tras no ser compatibles en v3; Instant Voice Clone necesita diez segundos de audio
• Eleven v4 Turbo comienza a hablar en aproximadamente 150 milisegundos, lo que según ElevenLabs supera a los modelos competidores

Por qué los detalles importan más que el titular

La frontera competitiva en la síntesis de voz ha cambiado. El audio fluido y con sonido humano ya es lo mínimo exigible; lo que separa a las plataformas es la controlabilidad: si un director puede pedir una interpretación específica y recibirla sin cambios, toma tras toma. La propuesta de Eleven v4 gira esencialmente en torno a la previsibilidad a escala, desde la descarga de un capítulo de diez minutos hasta un agente en vivo que responde a un cliente en una quinta parte de segundo.

Para los productores de audiolibros, vídeo doblado y personajes interactivos, las preguntas prácticas serán qué tan bien sobrevive la velocidad de Turbo en condiciones conversacionales reales y si el ensamblaje segmento a segmento realmente mantiene su base tonal a lo largo de un título de larga duración. Esas son las afirmaciones que ElevenLabs hace ahora; los próximos meses de trabajo de producción determinarán hasta qué punto se sostienen.

Este artículo se basa en la cobertura de The Decoder. Leer el artículo original.