ElevenLabs का Eleven v4 स्पीच मॉडल अभिव्यक्ति और आवाज़ की निरंतरता को और तेज़ करता है

ElevenLabs अभिव्यंजक AI स्पीच के लिए मानक ऊँचा करता है

ElevenLabs Eleven v4 पेश कर रहा है, एक नया स्पीच मॉडल जो कंपनी के अनुसार अपने पूर्ववर्ती की तुलना में निर्देशकीय संकेतों को अधिक सटीकता से ट्रैक करता है और लंबी-फॉर्म प्रोडक्शन में एक वाचक या पात्र की आवाज़ को स्थिर रखता है। इसके साथ, कंपनी एक तेज़ वेरिएंट भी लॉन्च कर रही है जो सीधे रीयल-टाइम अनुप्रयोगों पर लक्षित है, जहाँ संवेदनशील वॉइस एजेंट्स को ऐतिहासिक रूप से अभिव्यक्ति पर समझौता करना पड़ता था।

यह रिलीज़ Eleven v3 के लगभग एक साल बाद आई है, जिसने पहले ही ऑडियो टैग के लिए समर्थन पेश किया था लेकिन उन निर्देशों का कम सटीकता से पालन किया था। v4 के साथ, ElevenLabs यह दांव लगा रहा है कि एक उपयोगी सिंथेटिक आवाज़ और वास्तव में प्रदर्शनकारी आवाज़ के बीच का अंतर इस बात पर निर्भर करता है कि एक मॉडल लेखक या निर्माता द्वारा दिए गए निर्देशों की कितनी faithfully व्याख्या करता है — और एक ऑडियोबुक, डबिंग प्रोजेक्ट, या लंबे इंटरैक्टिव सत्र के दौरान वह प्रदर्शन कितना कम बहकता है।

निर्देश संकेत कहीं अधिक विश्वसनीय हो जाते हैं

Eleven v4 का मुख्य वादा नियंत्रण है। उपयोगकर्ता एक स्क्रिप्ट को टैग के साथ एनोटेट कर सकते हैं जो भावना, विराम और ध्वनि प्रभावों को पंक्ति-दर-पंक्ति निर्दिष्ट करते हैं, या वे सरल वाक्यों में बता सकते हैं कि उन्हें क्या चाहिए। ElevenLabs के अनुसार, नया संस्करण इन निर्देशों को v3 की तुलना में काफी बेहतर तरीके से संभालता है।

व्यवहार में, इसका मतलब है कि गैर-मौखिक ध्वनियाँ — हँसी, फुसफुसाहट, दरवाज़े का ज़ोर से बंद होना — अधिक विश्वसनीयता से और सही जगह पर उत्पन्न होती हैं। ये वास्तव में वही विवरण हैं जो एक सपाट सिंथेटिक पठन को बनावट वाले प्रदर्शन से अलग करते हैं। एक स्क्रिप्टेड हल्की हँसी जो गलत अक्षर पर पड़ती है, या एक फुसफुसाहट जो गलत तीव्रता के साथ आती है, भ्रम को तुरंत तोड़ देती है; ElevenLabs v4 को उस संस्करण के रूप में स्थापित कर रहा है जो उस अंतराल का अधिकांश हिस्सा भर देता है।

उच्चारण नियंत्रण भी कड़े किए गए हैं। लेखक ध्वन्यात्मक वर्तनी का उपयोग यह तय करने के लिए कर सकते हैं कि नाम, ब्रांड शब्द और तकनीकी शब्दावली कैसे बोले जाएँ, और कंपनी का कहना है कि ये नियंत्रण अब पहले की तुलना में अधिक सुसंगत रूप से काम करते हैं। जो कोई भी संक्षिप्ताक्षरों, रासायनिक नामों, या गैर-अंग्रेज़ी व्यक्तिवाचक संज्ञाओं से भरी सामग्री बनाता है, उसके लिए वह विश्वसनीयता भावनात्मक रेंज जितनी ही मूल्यवान हो सकती है।

एक आवाज़ को स्थिर रखने के लिए डिज़ाइन की गई आर्किटेक्चर

ElevenLabs इन सुधारों का श्रेय एक नई मॉडल आर्किटेक्चर को देता है जो प्रत्येक पंक्ति को पाठ की एक पृथक इकाई मानने के बजाय स्क्रिप्ट के स्वर, गति और संदर्भ का विश्लेषण करती है। यह प्रासंगिक जागरूकता तब सबसे अधिक मायने रखती है जब कोई प्रोडक्शन लंबा चलता है।

वाचकों और पात्रों से अपेक्षा की जाती है कि वे पूरे प्रोजेक्ट में सुसंगत सुनाई दें, यहाँ तक कि उन वर्कफ़्लो में भी जहाँ संपादन के दौरान अलग-अलग पंक्तियाँ कई बार पुनर्जीवित की जाती हैं। जिसने भी दर्जनों अलग-अलग टेक्स से वॉइस-ओवर जोड़ा है, वह विफलता मोड जानता है: यहाँ-वहाँ एक वाक्यांश जो टिम्बर, ऊर्जा, या उच्चारण में सूक्ष्म रूप से बदल जाता है, जिससे एक श्रव्य सीम दिखाई देती है। ElevenLabs का कहना है कि v4 उस बहाव को रोकने के लिए बनाया गया है।

प्रत्येक अनुरोध अधिकतम 10,000 अक्षर संभाल सकता है, जो लगभग दस मिनट के तैयार ऑडियो के बराबर है। ऑडियोबुक जैसे लंबे कार्य कई खंडों से इकट्ठे किए जाते हैं, और कंपनी को उम्मीद है कि उन संक्रमणों में गति और प्रस्तुति स्थिर रहेगी। संवाद में, मॉडल कहा जाता है कि प्रत्येक वक्ता की पंक्ति को अलग-अलग प्रस्तुत करने के बजाय पूरे दृश्य के संदर्भ पर प्रतिक्रिया देता है — एक ऐसा बदलाव जो आगे-पीछे के आदान-प्रदान को एकालाप के बजाय बातचीत जैसा महसूस कराएगा।

व्यापक भाषा कवरेज और पुनर्जीवित क्लोन टूल्स

Eleven v4 90 से अधिक भाषाओं का समर्थन करता है, जो v3 द्वारा प्रदान की गई लगभग 70 भाषाओं से अधिक है। यह विस्तार क्लोन की गई आवाज़ों के बारे में एक विशिष्ट दावे के साथ जोड़ा गया है: उन्हें मूल-जैसे उच्चारण के साथ अन्य भाषाएँ बोलने में सक्षम होना चाहिए, बिना धीरे-धीरे मूल रिकॉर्डिंग के उच्चारण पर लौटे। इस प्रकार का बहाव लंबे समय से बहुभाषी डबिंग में एक शिकायत रहा है, जहाँ अंग्रेज़ी स्रोत सामग्री से बनी आवाज़ स्पेनिश या जापानी बोलने के लिए कहे जाने पर अपनी उत्पत्ति का खुलासा कर सकती है।

ElevenLabs यह भी कहता है कि Professional Voice Clones v3 में असमर्थित होने के बाद v4 में फिर से काम करते हैं, जिससे उच्च-स्तरीय प्रोडक्शन वर्कफ़्लो की खोई हुई क्षमता बहाल होती है। स्पेक्ट्रम के दूसरे छोर पर, एक Instant Voice Clone के लिए केवल दस सेकंड का ऑडियो चाहिए, जिससे तेज़ प्रोटोटाइपिंग उन उपयोगकर्ताओं के लिए सुलभ रहती है जिनके पास स्टूडियो-गुणवत्ता वाली रिकॉर्डिंग नहीं है।

Turbo रीयल-टाइम वॉइस एजेंट्स की ओर बढ़ता है

घोषणा का दूसरा आधा हिस्सा गति के बारे में है। Eleven v4 Turbo ग्राहक सेवा कॉल और गेम पात्रों जैसे रीयल-टाइम उपयोगों के लिए बनाया गया है, जहाँ एक सेकंड के एक अंश से अधिक का विराम किसी इंटरैक्शन को कृत्रिम महसूस कराता है।

ElevenLabs के परीक्षण के अनुसार, Turbo लगभग 150 मिलीसेकंड में श्रव्य भाषण उत्पन्न करना शुरू कर देता है। कंपनी इसे एक लंबे समय से चले आ रहे समझौते को हल करने के रूप में प्रस्तुत करती है: वॉइस एजेंट डेवलपर्स को पहले तेज़ प्रतिक्रिया और अभिव्यंजक प्रतिक्रिया के बीच चुनना पड़ता था। Turbo का उद्देश्य दोनों प्रदान करना है, जो संवादात्मक एजेंट्स को स्क्रिप्टेड फ़ोन ट्री की तरह कम और एक जीवंत आदान-प्रदान में प्रतिभागियों की तरह अधिक सुनाई दे सकता है।

एक नज़र में Eleven v4

• भावना, विराम और ध्वनि प्रभावों के लिए निर्देश टैग और सरल-भाषा निर्देशों का अधिक सटीक पालन
• हँसी, फुसफुसाहट, और दरवाज़े के ज़ोर से बंद होने जैसे प्रभाव v3 की तुलना में अधिक विश्वसनीयता से उत्पन्न
• लंबे प्रोडक्शन में सुसंगत वाचक और पात्र आवाज़ें, जिसमें अलग-अलग पंक्तियों का पुनर्जनन भी शामिल है
• प्रति अनुरोध अधिकतम 10,000 अक्षर, लगभग दस मिनट का ऑडियो
• 90 से अधिक भाषाओं का समर्थन, v3 में लगभग 70 से अधिक
• क्लोन की गई आवाज़ों से अपेक्षा है कि वे अन्य भाषाओं में मूल उच्चारण बनाए रखें, बिना वापस बहकर
• Professional Voice Clones v3 में असमर्थित होने के बाद बहाल; Instant Voice Clone के लिए दस सेकंड का ऑडियो चाहिए
• Eleven v4 Turbo लगभग 150 मिलीसेकंड में बोलना शुरू करता है, जो ElevenLabs के अनुसार प्रतिस्पर्धी मॉडलों को पीछे छोड़ता है

शीर्षक से अधिक विवरण क्यों मायने रखते हैं

स्पीच सिंथेसिस में प्रतिस्पर्धात्मक सीमा बदल गई है। धाराप्रवाह, मानव-जैसा ऑडियो अब न्यूनतम अपेक्षा है; प्लेटफ़ॉर्म को अलग करने वाली चीज़ नियंत्रणीयता है — क्या एक निर्देशक एक विशिष्ट प्रस्तुति माँग सकता है और उसे बिना बदले वापस पा सकता है, बार-बार। Eleven v4 का प्रस्ताव अनिवार्य रूप से पैमाने पर पूर्वानुमेयता के बारे में है, दस मिनट के अध्याय डाउनलोड से लेकर एक सेकंड के पाँचवें हिस्से के भीतर ग्राहक को जवाब देने वाले लाइव एजेंट तक।

ऑडियोबुक, डब किए गए वीडियो और इंटरैक्टिव पात्रों के निर्माताओं के लिए, व्यावहारिक प्रश्न यह होंगे कि Turbo की गति वास्तविक संवादात्मक परिस्थितियों में कितनी अच्छी तरह टिकती है और क्या खंड-दर-खंड असेंबली वास्तव में पूरी-लंबाई के शीर्षक में अपनी स्वर-संबंधी स्थिति बनाए रखती है। ये वे दावे हैं जो ElevenLabs अब कर रहा है; आने वाले महीनों का प्रोडक्शन कार्य तय करेगा कि वे कितने अच्छे टिकते हैं।

यह लेख The Decoder की रिपोर्टिंग पर आधारित है। मूल लेख पढ़ें।