ElevenLabs వ్యక్తీకరణాత్మక AI స్పీచ్కు ప్రమాణాన్ని పెంచుతుంది

ElevenLabs Eleven v4 ను విడుదల చేస్తోంది, ఇది కంపెనీ చెప్పిన ప్రకారం దాని మునుపటి మోడల్ కంటే దర్శకత్వ సూచనలను మరింత ఖచ్చితంగా అనుసరిస్తుంది మరియు దీర్ఘకాలిక నిర్మాణాలలో కథకుడు లేదా పాత్ర యొక్క వాయిస్ను స్థిరంగా ఉంచుతుంది. దీనితో పాటు, కంపెనీ నేరుగా రియల్-టైమ్ అనువర్తనాలను లక్ష్యంగా చేసుకున్న వేగవంతమైన వేరియంట్ను విడుదల చేస్తోంది, ఇక్కడ ప్రతిస్పందించే వాయిస్ ఏజెంట్లు చారిత్రాత్మకంగా వ్యక్తీకరణపై రాజీ పడవలసి వచ్చింది.

ఈ విడుదల Eleven v3 తర్వాత సుమారు ఒక సంవత్సరం తర్వాత వస్తుంది, ఇది ఇప్పటికే ఆడియో ట్యాగ్లకు మద్దతును ప్రవేశపెట్టింది కానీ ఆ సూచనలను తక్కువ ఖచ్చితత్వంతో అనుసరించింది. v4 తో, ఉపయోగించగల సింథటిక్ వాయిస్ మరియు నిజంగా ప్రదర్శనాత్మకమైన వాయిస్ మధ్య వ్యత్యాసం ఒక రచయిత లేదా నిర్మాత ఇచ్చే దిశలను మోడల్ ఎంత నమ్మకంగా అర్థం చేసుకుంటుంది — మరియు ఆ ప్రదర్శన ఒక ఆడియోబుక్, డబ్బింగ్ ప్రాజెక్ట్ లేదా దీర్ఘకాలిక ఇంటరాక్టివ్ సెషన్ కోర్సులో ఎంత తక్కువగా మారుతుంది అనే దానిపై ఆధారపడి ఉంటుందని ElevenLabs పందెం వేస్తోంది.

దిశా సూచనలు చాలా విశ్వసనీయంగా మారుతాయి

Eleven v4 యొక్క ప్రధాన వాగ్దానం నియంత్రణ. వినియోగదారులు భావోద్వేగం, విరామాలు మరియు ధ్వని ప్రభావాలను లైన్-బై-లైన్ ప్రాతిపదికన పేర్కొనే ట్యాగ్లతో స్క్రిప్ట్ను వ్యాఖ్యానించవచ్చు, లేదా వారు కావాల్సినదాన్ని సాధారణ వాక్యాలలో వివరించవచ్చు. ElevenLabs ప్రకారం, కొత్త వెర్షన్ ఈ సూచనలను v3 కంటే చాలా మెరుగ్గా నిర్వహిస్తుంది.

ఆచరణలో, దీని అర్థం అశాబ్దిక శబ్దాలు — నవ్వు, గుసగుసలు, తలుపు గట్టిగా మూసే శబ్దం — మరింత విశ్వసనీయంగా మరియు సరైన స్థానంలో ఉత్పత్తి అవుతాయి. ఇవి ఖచ్చితంగా ఫ్లాట్ సింథటిక్ పఠనాన్ని ఆకృతి ఉన్న ప్రదర్శన నుండి వేరు చేసే వివరాల రకాలు. తప్పు అక్షరంపై పడే స్క్రిప్టెడ్ నవ్వు, లేదా తప్పు తీవ్రతతో వచ్చే గుసగుస, భ్రమను వెంటనే బద్దలు కొడుతుంది; ElevenLabs ఆ అంతరాన్ని చాలా వరకు మూసివేసే వెర్షన్గా v4 ను ప్రదర్శిస్తోంది.

ఉచ్చారణ నియంత్రణలు కూడా కఠినతరం చేయబడ్డాయి. రచయితలు పేర్లు, బ్రాండ్ పదాలు మరియు సాంకేతిక పదజాలం ఎలా పలకబడతాయో నిర్ణయించడానికి ఫొనెటిక్ స్పెల్లింగ్ను ఉపయోగించవచ్చు, మరియు ఆ నియంత్రణలు ఇప్పుడు మునుపటి కంటే మరింత స్థిరంగా పనిచేస్తాయని కంపెనీ చెబుతోంది. సంక్షిప్తాక్షరాలు, రసాయన పేర్లు లేదా ఆంగ్లేతర స్వనామాలతో నిండిన కంటెంట్ను ఉత్పత్తి చేసే ఎవరికైనా, ఆ విశ్వసనీయత భావోద్వేగ పరిధి వలె విలువైనది.

Elevenlabs interface showing a dialogue script for two speakers, with orange-highlighted tags like warm, long pause, Gong sounds, and nervous laugh in the text, along with settings for voice, model Eleven v4, stability, and similarity.
Tags in the script let users set emotions, pauses, and sound effects for each line. | Image: Elevenlabs
Introducing Playground: Create and play custom games
More in AI & Robotics

Google launches Playground, an experimental no-code game creation platform

Google has introduced Playground, an experimental browser-based platform that lets people create, play and share custom games through text prompts without coding.

Read article

వాయిస్ను స్థిరంగా ఉంచడానికి రూపకల్పన చేసిన ఆర్కిటెక్చర్

ప్రతి లైన్ను ప్రత్యేక టెక్స్ట్ యూనిట్గా పరిగణించకుండా స్క్రిప్ట్ యొక్క స్వరం, వేగం మరియు సందర్భాన్ని విశ్లేషించే కొత్త మోడల్ ఆర్కిటెక్చర్కు ElevenLabs ఈ మెరుగుదలలను ఆపాదిస్తుంది. ఆ సందర్భోచిత అవగాహన ఒక నిర్మాణం దీర్ఘకాలం కొనసాగినప్పుడు చాలా ముఖ్యం.

ఎడిటింగ్ సమయంలో వ్యక్తిగత లైన్లు అనేకసార్లు పునరుత్పత్తి చేయబడే వర్క్ఫ్లోలలో కూడా, కథకులు మరియు పాత్రలు ప్రాజెక్ట్ అంతటా స్థిరంగా వినిపించాలని ఆశించబడుతుంది. డజన్ల కొద్దీ వేర్వేరు టేక్ల నుండి వాయిస్-ఓవర్ను కలిపిన ఎవరికైనా ఆ వైఫల్య విధానం తెలుసు: ఇక్కడా అక్కడా టింబ్రే, శక్తి లేదా యాసలో సూక్ష్మంగా మారే పదబంధం, వినగలిగే సీమ్ను మిగులుస్తుంది. ఆ డ్రిఫ్ట్ను నిరోధించడానికి v4 నిర్మించబడిందని ElevenLabs చెబుతోంది.

ప్రతి అభ్యర్థన 10,000 అక్షరాల వరకు నిర్వహించగలదు, ఇది సుమారు పది నిమిషాల పూర్తయిన ఆడియోకు సమానం. ఆడియోబుక్ల వంటి పొడవైన రచనలు బహుళ విభాగాల నుండి సమావేశపరచబడతాయి, మరియు ఆ పరివర్తనల అంతటా వేగం మరియు ప్రదర్శన స్థిరంగా ఉంటాయని కంపెనీ ఆశిస్తోంది. సంభాషణలో, ప్రతి వక్త యొక్క లైన్ను ప్రత్యేకంగా ప్రదర్శించడానికి బదులుగా మొత్తం దృశ్యం యొక్క సందర్భానికి మోడల్ ప్రతిస్పందిస్తుందని చెప్పబడింది — ఈ మార్పు మాటల మార్పిడులను ప్రత్యామ్నాయ మోనోలాగ్ల వలె కాకుండా సంభాషణలా అనిపించేలా చేయాలి.

విస్తృత భాషా కవరేజ్ మరియు పునరుజ్జీవింపబడిన క్లోన్ సాధనాలు

Eleven v4 90 కి పైగా భాషలకు మద్దతు ఇస్తుంది, ఇది v3 అందించిన సుమారు 70 నుండి పెరుగుదల. ఈ విస్తరణ క్లోన్ చేసిన వాయిస్ల గురించి ఒక నిర్దిష్ట వాదనతో జత చేయబడింది: అవి క్రమంగా అసలు రికార్డింగ్ యొక్క యాసకు తిరిగి రాకుండా స్థానికంగా వినిపించే యాసలతో ఇతర భాషలు మాట్లాడగలగాలి. బహుభాషా డబ్బింగ్లో ఇటువంటి డ్రిఫ్ట్ చాలాకాలంగా ఒక ఫిర్యాదుగా ఉంది, ఇక్కడ ఆంగ్ల మూల పదార్థం నుండి నిర్మించిన వాయిస్ స్పానిష్ లేదా జపనీస్ మాట్లాడమని అడిగినప్పుడు దాని మూలాలను బయటపెట్టగలదు.

Bar chart showing median time to first audible speech, with Eleven v4 Turbo at 150 ms ahead of Cartesia Sonic 3.6 at 262 ms, xAI TTS at 362 ms, Gemini 3.8 Flash-Lite TTS at 685 ms, and OpenAI GPT-4o mini TTS at 814 ms.
In Elevenlabs' benchmarks, Eleven v4 Turbo starts producing speech much faster than the competing models tested. | Image: Elevenlabs

v3 లో మద్దతు లేని తర్వాత Professional Voice Clones v4 లో మళ్లీ పనిచేస్తాయని కూడా ElevenLabs చెబుతోంది, ఉన్నత-స్థాయి నిర్మాణ వర్క్ఫ్లోలు కోల్పోయిన సామర్థ్యాన్ని పునరుద్ధరిస్తోంది. స్పెక్ట్రమ్ యొక్క మరొక చివరలో, ఒక Instant Voice Clone కు కేవలం పది సెకన్ల ఆడియో మాత్రమే అవసరం, స్టూడియో-నాణ్యత రికార్డింగ్లు చేతిలో లేని వినియోగదారులకు వేగవంతమైన ప్రోటోటైపింగ్ను అందుబాటులో ఉంచుతుంది.

A robot arm picking a box from a conveyor belt.
More in AI & Robotics

SafeWorld launches robot safety simulation platform with $12.2M seed round

SafeWorld has emerged from stealth with $12.2 million in seed funding to build simulation tools for testing how AI-powered robots behave in rare and hazardous scenarios.

Read article

Turbo రియల్-టైమ్ వాయిస్ ఏజెంట్ల వైపు నెట్టుబడి ఉంది

ప్రకటనలో రెండవ సగం వేగం గురించి. Eleven v4 Turbo కస్టమర్ సర్వీస్ కాల్స్ మరియు గేమ్ పాత్రల వంటి రియల్-టైమ్ ఉపయోగాల కోసం నిర్మించబడింది, ఇక్కడ సెకనులో కొంత భాగం కంటే ఎక్కువ విరామం పరస్పర చర్యను కృత్రిమంగా అనిపించేలా చేస్తుంది.

ElevenLabs పరీక్షల ప్రకారం, Turbo సుమారు 150 మిల్లీసెకన్లలో వినగలిగే మాటను ఉత్పత్తి చేయడం ప్రారంభిస్తుంది. ఇది దీర్ఘకాలిక రాజీని పరిష్కరిస్తుందని కంపెనీ చెబుతోంది: వాయిస్ ఏజెంట్ డెవలపర్లు ఇంతకుముందు వేగవంతమైన ప్రతిస్పందన లేదా వ్యక్తీకరణాత్మకమైనది ఎంచుకోవలసి వచ్చింది. Turbo రెండింటినీ అందించడానికి ఉద్దేశించబడింది, ఇది సంభాషణాత్మక ఏజెంట్లను స్క్రిప్టెడ్ ఫోన్ ట్రీల వలె కాకుండా ప్రత్యక్ష మార్పిడిలో పాల్గొనేవారిలా వినిపించేలా చేయగలదు.

ఒక చూపులో Eleven v4

  • భావోద్వేగం, విరామాలు మరియు ధ్వని ప్రభావాల కోసం దిశా ట్యాగ్లు మరియు సాధారణ-భాషా సూచనలకు మరింత ఖచ్చితమైన కట్టుబడి
  • నవ్వు, గుసగుసలు మరియు తలుపులు గట్టిగా మూసే వంటి ప్రభావాలు v3 కంటే మరింత విశ్వసనీయంగా ఉత్పత్తి అవుతాయి
  • వ్యక్తిగత లైన్లు పునరుత్పత్తి చేయబడినప్పుడు సహా దీర్ఘకాలిక నిర్మాణాలలో స్థిరమైన కథకుడు మరియు పాత్ర వాయిస్లు
  • ప్రతి అభ్యర్థనకు 10,000 అక్షరాల వరకు, సుమారు పది నిమిషాల ఆడియో
  • v3 లో సుమారు 70 నుండి 90 కి పైగా భాషలకు మద్దతు
  • క్లోన్ చేసిన వాయిస్లు తిరిగి డ్రిఫ్ట్ కాకుండా ఇతర భాషలలో స్థానిక యాసలను నిలుపుకుంటాయని ఆశించబడుతుంది
  • v3 లో మద్దతు లేని తర్వాత Professional Voice Clones పునరుద్ధరించబడ్డాయి; Instant Voice Clone కు పది సెకన్ల ఆడియో అవసరం
  • Eleven v4 Turbo సుమారు 150 మిల్లీసెకన్లలో మాట్లాడటం ప్రారంభిస్తుంది, ఇది పోటీ మోడల్లను ఓడిస్తుందని ElevenLabs చెబుతోంది
STK155_OPEN_AI_CVirginia_C (1)
More in AI & Robotics

OpenAI Doubles Down on Firing Three AI Safety Researchers

OpenAI says an internal investigation found a "significant breach of trust" and that the dismissals of Jasmine Wang, Tomek Korbak and Mikita Balesni were not about their AI safety advocacy.

Read article

హెడ్లైన్ కంటే వివరాలు ఎందుకు ముఖ్యం

స్పీచ్ సింథసిస్లో పోటీ సరిహద్దు మారింది. సరళమైన, మానవులలా వినిపించే ఆడియో ఇప్పుడు ప్రాథమిక అవసరం; వేదికలను వేరు చేసేది నియంత్రణ — ఒక దర్శకుడు నిర్దిష్ట ప్రదర్శనను అడగగలరా మరియు టేక్ తర్వాత టేక్ మారకుండా దాన్ని తిరిగి పొందగలరా. Eleven v4 యొక్క ప్రచారం ప్రధానంగా స్కేల్ వద్ద అంచనా వేయగలిగే సామర్థ్యం గురించి, పది నిమిషాల అధ్యాయ డౌన్లోడ్ నుండి ఐదవ వంతు సెకనులో కస్టమర్కు సమాధానమిచ్చే ప్రత్యక్ష ఏజెంట్ వరకు.

ఆడియోబుక్లు, డబ్ చేసిన వీడియో మరియు ఇంటరాక్టివ్ పాత్రల నిర్మాతలకు, ఆచరణాత్మక ప్రశ్నలు ఏమిటంటే Turbo యొక్క వేగం నిజమైన సంభాషణ పరిస్థితులలో ఎంత బాగా నిలుస్తుంది మరియు విభాగం-వారీగా సమావేశం పూర్తి-నిడివి శీర్షిక అంతటా దాని స్వర పునాదిని నిజంగా నిలుపుకుంటుందా. ఇవి ElevenLabs ఇప్పుడు చేస్తున్న వాదనలు; రాబోయే నెలల నిర్మాణ పని అవి ఎంత బాగా నిలుస్తాయో నిర్ణయిస్తుంది.

This article is based on reporting by The Decoder. Read the original article.

Originally published on the-decoder.com