ElevenLabs चे Eleven v4 स्पीच मॉडेल अभिव्यक्ती आणि आवाज सातत्य अधिक सुधारते

ElevenLabs अभिव्यक्तीशील AI स्पीचसाठी मानक उंचावते

ElevenLabs हे Eleven v4 सादर करत आहे, एक नवीन स्पीच मॉडेल जे कंपनीच्या म्हणण्यानुसार त्याच्या पूर्वीच्या आवृत्तीपेक्षा दिग्दर्शकीय संकेतांचा अधिक अचूकपणे मागोवा घेते आणि दीर्घ-स्वरूपातील निर्मितींमध्ये वर्णनकर्ता किंवा पात्राचा आवाज स्थिर ठेवते. त्यासोबतच, कंपनी रिअल-टाइम अनुप्रयोगांना लक्ष्य करणारा एक वेगवान प्रकार पाठवत आहे, जिथे प्रतिसादात्मक व्हॉइस एजंट्सना ऐतिहासिकदृष्ट्या अभिव्यक्तीवर तडजोड करावी लागत होती.

ही आवृत्ती Eleven v3 नंतर सुमारे एक वर्षानंतर येत आहे, ज्याने आधीच ऑडिओ टॅग्ससाठी समर्थन सादर केले होते परंतु त्या सूचनांचे कमी अचूकतेने पालन केले होते. v4 सह, ElevenLabs असा दावा करत आहे की वापरण्यायोग्य कृत्रिम आवाज आणि खरोखर सादरीकरणात्मक आवाज यातील फरक हा मॉडेल लेखक किंवा निर्माता देत असलेल्या दिशानिर्देशांचे किती विश्वासार्हपणे अर्थ लावते — आणि ऑडिओबुक, डबिंग प्रोजेक्ट किंवा दीर्घ परस्परसंवादी सत्रादरम्यान ते सादरीकरण किती कमी विचलित होते — यावर अवलंबून असतो.

दिग्दर्शन संकेत अधिक विश्वासार्ह होतात

Eleven v4 चे मुख्य वचन म्हणजे नियंत्रण. वापरकर्ते स्क्रिप्टला टॅग्ससह ओळ-दर-ओळ भावना, विराम आणि ध्वनी-प्रभाव निर्दिष्ट करू शकतात, किंवा ते साध्या वाक्यांमध्ये त्यांना काय हवे आहे ते वर्णन करू शकतात. ElevenLabs नुसार, नवीन आवृत्ती या सूचनांना v3 पेक्षा बरीच चांगल्या प्रकारे हाताळते.

प्रत्यक्षात, याचा अर्थ असा की अ-शाब्दिक ध्वनी — हसणे, कुजबुज, दाराचा आवाज — अधिक विश्वासार्हपणे आणि योग्य ठिकाणी तयार होतात. हेच ते तपशील आहेत जे सपाट कृत्रिम वाचन आणि पोत असलेल्या सादरीकरणात फरक करतात. चुकीच्या अक्षरावर येणारे नियोजित हसू, किंवा चुकीच्या तीव्रतेने येणारी कुजबुज, भ्रम तात्काळ तोडते; ElevenLabs v4 ला तो मोठा फरक भरून काढणारी आवृत्ती म्हणून सादर करत आहे.

उच्चार नियंत्रणे देखील अधिक कडक करण्यात आली आहेत. लेखक ध्वन्यात्मक शब्दलेखन वापरून नावे, ब्रँड संज्ञा आणि तांत्रिक शब्दसंग्रह कसे उच्चारले जातात हे निश्चित करू शकतात, आणि कंपनीच्या म्हणण्यानुसार ती नियंत्रणे आता पूर्वीपेक्षा अधिक सातत्याने कार्य करतात. संक्षेपाक्षरे, रासायनिक नावे किंवा इंग्रजीतर सर्वनामांनी भरलेली सामग्री तयार करणाऱ्या कोणासाठीही, ती विश्वासार्हता भावनिक श्रेणीइतकीच मौल्यवान आहे.

आवाज स्थिर ठेवण्यासाठी रचलेली आर्किटेक्चर

ElevenLabs हे सुधारणांचे श्रेय नवीन मॉडेल आर्किटेक्चरला देते जे प्रत्येक ओळीला पृथक मजकूर एकक म्हणून न वागवता स्क्रिप्टचा सूर, गती आणि संदर्भ यांचे विश्लेषण करते. ही संदर्भ-जागरूकता निर्मिती दीर्घ चालते तेव्हा सर्वात महत्त्वाची ठरते.

वर्णनकर्ते आणि पात्रे संपूर्ण प्रोजेक्टभर सुसंगत वाटली पाहिजेत, अशा कार्यप्रवाहांमध्येही जिथे संपादनादरम्यान वैयक्तिक ओळी अनेक वेळा पुन्हा तयार केल्या जातात. डझनभर स्वतंत्र टेक्समधून व्हॉइस-ओव्हर जोडणाऱ्या कोणालाही तो दोष माहीत आहे: इथे-तिथे एक वाक्य ज्याचा टिंबर, ऊर्जा किंवा उच्चार सूक्ष्मपणे बदलतो, ज्यामुळे ऐकू येणारी शिवण तयार होते. ElevenLabs म्हणते की v4 हा विचलन रोखण्यासाठी तयार केले आहे.

प्रत्येक विनंती 10,000 अक्षरे हाताळू शकते, जे सुमारे दहा मिनिटांच्या तयार ऑडिओइतके होते. ऑडिओबुकसारखी दीर्घ कामे अनेक विभागांमधून एकत्र केली जातात, आणि कंपनीला अपेक्षा आहे की त्या संक्रमणांमध्ये गती आणि सादरीकरण स्थिर राहील. संवादात, मॉडेल प्रत्येक वक्त्याची ओळ पृथकपणे सादर करण्याऐवजी संपूर्ण दृश्याच्या संदर्भाला प्रतिसाद देते असे म्हटले जाते — हा बदल परस्पर संवादांना पर्यायी एकपात्री भाषणांऐवजी संभाषणासारखे वाटायला लावेल.

विस्तृत भाषा व्याप्ती आणि पुनरुज्जीवित क्लोन साधने

Eleven v4 90 हून अधिक भाषांना समर्थन देते, जे v3 ने दिलेल्या सुमारे 70 पेक्षा वाढ आहे. या विस्तारासोबत क्लोन केलेल्या आवाजांबद्दल एक विशिष्ट दावा जोडलेला आहे: ते मूळ रेकॉर्डिंगच्या उच्चाराकडे हळूहळू परत न जाता देशी-सारख्या उच्चारांसह इतर भाषा बोलू शकले पाहिजेत. अशा प्रकारचे विचलन बहुभाषिक डबिंगमध्ये बराच काळ तक्रारीचा विषय राहिले आहे, जिथे इंग्रजी स्रोत सामग्रीतून तयार केलेला आवाज स्पॅनिश किंवा जपानी बोलण्यास सांगितल्यावर त्याचे मूळ उघड करू शकतो.

ElevenLabs असेही म्हणते की Professional Voice Clones v3 मध्ये असमर्थित असल्यानंतर v4 मध्ये पुन्हा कार्य करतात, ज्यामुळे उच्च-स्तरीय उत्पादन कार्यप्रवाहांनी गमावलेली क्षमता पुन्हा मिळते. स्पेक्ट्रमच्या दुसऱ्या टोकाला, Instant Voice Clone ला फक्त दहा सेकंदांचा ऑडिओ आवश्यक असतो, ज्यामुळे स्टुडिओ-दर्जाच्या रेकॉर्डिंग्ज नसलेल्या वापरकर्त्यांसाठी जलद प्रोटोटाइपिंग सुलभ राहते.

Turbo रिअल-टाइम व्हॉइस एजंट्सकडे वाटचाल करते

घोषणेचा दुसरा अर्धा भाग वेगाबद्दल आहे. Eleven v4 Turbo ग्राहक सेवा कॉल्स आणि गेम पात्रांसारख्या रिअल-टाइम वापरांसाठी तयार केले आहे, जिथे सेकंदाच्या अंशापेक्षा जास्त विराम परस्परसंवाद कृत्रिम वाटायला लावतो.

ElevenLabs च्या चाचणीनुसार, Turbo सुमारे 150 मिलिसेकंदांत ऐकू येणारे बोलणे सुरू करते. कंपनी हे दीर्घकाळ चाललेली तडजोड सोडवणारे म्हणून मांडते: व्हॉइस एजंट विकसकांना पूर्वी वेगवान प्रतिसाद आणि अभिव्यक्तीशील प्रतिसाद यात निवड करावी लागत होती. Turbo दोन्ही देण्याचा उद्देश ठेवते, ज्यामुळे संभाषणात्मक एजंट्स नियोजित फोन ट्रीऐवजी थेट संवादातील सहभागींसारखे वाटू शकतात.

Eleven v4 एका दृष्टिक्षेपात

• भावना, विराम आणि ध्वनी-प्रभावांसाठी दिग्दर्शन टॅग्स आणि साध्या-भाषेतील सूचनांचे अधिक अचूक पालन
• v3 पेक्षा हसणे, कुजबुज आणि दार आपटण्यासारखे प्रभाव अधिक विश्वासार्हपणे तयार
• दीर्घ निर्मितींमध्ये सुसंगत वर्णनकर्ता आणि पात्र आवाज, वैयक्तिक ओळी पुन्हा तयार केल्यावरही
• प्रत्येक विनंतीमागे 10,000 अक्षरे, अंदाजे दहा मिनिटांचा ऑडिओ
• 90 हून अधिक भाषांना समर्थन, v3 मधील सुमारे 70 पेक्षा वाढ
• क्लोन केलेले आवाज इतर भाषांमध्ये मूळ उच्चार टिकवतील आणि परत विचलित होणार नाहीत
• v3 मध्ये असमर्थित असल्यानंतर Professional Voice Clones पुन्हा सुरू; Instant Voice Clone ला दहा सेकंदांचा ऑडिओ आवश्यक
• Eleven v4 Turbo सुमारे 150 मिलिसेकंदांत बोलण्यास सुरुवात करते, जे ElevenLabs म्हणते की स्पर्धक मॉडेल्सना मागे टाकते

शीर्षकापेक्षा तपशील का अधिक महत्त्वाचे आहेत

स्पीच सिंथेसिसमधील स्पर्धात्मक सीमा बदलली आहे. अस्खलित, मानवी-सारखा ऑडिओ आता किमान आवश्यकता आहे; प्लॅटफॉर्ममध्ये फरक करणारी गोष्ट म्हणजे नियंत्रणक्षमता — दिग्दर्शक विशिष्ट सादरीकरण मागू शकतो आणि ते टेकनंतर टेक अपरिवर्तित परत मिळवू शकतो का. Eleven v4 चे सादरीकरण मूलत: प्रमाणात अंदाजक्षमतेबद्दल आहे, दहा मिनिटांच्या प्रकरण डाउनलोडपासून ते पाचव्या सेकंदात ग्राहकाला उत्तर देणाऱ्या थेट एजंटपर्यंत.

ऑडिओबुक, डब केलेले व्हिडिओ आणि परस्परसंवादी पात्रांच्या निर्मात्यांसाठी, व्यावहारिक प्रश्न असतील की Turbo चा वेग खऱ्या संभाषणात्मक परिस्थितीत किती टिकतो आणि विभाग-दर-विभाग जोडणी संपूर्ण-लांबीच्या शीर्षकात खरोखर त्याचा सूर टिकवते का. हे दावे ElevenLabs आता करत आहे; येणारे महिने उत्पादन काम हे ठरवतील की ते किती टिकतात.

This article is based on reporting by The Decoder. Read the original article.