वर्ल्ड मॉडल्स एक मेमोरी समस्या से जूझ रहे हैं
वीडियो जनरेशन सिस्टम्स में तेजी से सुधार हुआ है, लेकिन एक कमजोरी लगातार बनी हुई है: वे समय के साथ भौतिक स्थान का हिसाब अक्सर खो देते हैं। कैमरा वापस मुड़ते ही कमरे का आकार बदल जाता है। फर्नीचर खिसक जाता है। सतहें अब उस चीज़ से मेल नहीं खातीं जो मॉडल ने कुछ पल पहले दिखाई थी। यह विफलता खास तौर पर तथाकथित वर्ल्ड मॉडल्स के लिए सीमित करने वाली है, जहां निरंतरता अलग-अलग विज़ुअल गुणवत्ता से अधिक महत्वपूर्ण होती है।
Microsoft Research और अकादमिक सहयोगियों द्वारा विकसित Mirage नामक एक नया सिस्टम इस समस्या को अधिक कुशल तरीके से संबोधित करने के प्रयास के रूप में प्रस्तुत किया गया है। पारंपरिक पिक्सल-आधारित 3D मेमोरी पाइपलाइन पर निर्भर रहने के बजाय, Mirage दृश्य जानकारी को सीधे मॉडल के लेटेंट स्पेस में संग्रहीत करता है। स्रोत सामग्री के अनुसार, इसका परिणाम लंबे कैमरा मूवमेंट के दौरान अधिक स्थिर स्पेशल संगति के साथ-साथ गति और मेमोरी दक्षता में बड़े लाभ के रूप में मिलता है।
यह परियोजना इसलिए अलग दिखती है क्योंकि यह जनरेटिव सिमुलेशन की व्यावहारिक बाधाओं में से एक को निशाना बनाती है: किसी जगह को हर बार दृष्टिकोण बदलने पर अत्यधिक कम्प्यूटेशनल कीमत चुकाए बिना कैसे याद रखा जाए।
पुरानी मेमोरी पाइपलाइंस महंगी क्यों हैं
कई पहले के सिस्टम्स में, स्पेशल मेमोरी को दृश्यमान इमेज डेटा से बने 3D पॉइंट क्लाउड के ज़रिए बनाए रखा जाता है। जैसे-जैसे मॉडल नए व्यू जनरेट करता है, वह उस क्लाउड को अपडेट करता है और फिर उसे बार-बार उस रूप में रेंडर करता है जिसे जनरेटर इस्तेमाल कर सके। इससे एक ऐसा लूप बनता है जो जानकारी को लेटेंट फीचर्स से पिक्सल-स्पेस संरचना में और फिर वापस ले जाता है।
Mirage के लेखक इस दृष्टिकोण को दोहरी बाधा बताते हैं। यह कंप्यूट के लिहाज़ से महंगा है, और यह रेंडर की गई इमेज स्पेस से बार-बार गुजरने के दौरान जानकारी खोने का जोखिम भी पैदा करता है। लंबी अनुक्रमिक शृंखलाओं में ये नुकसान दिखाई देने वाली अस्थिरता में बदल सकते हैं। एक मॉडल स्थानीय रूप से विश्वसनीय फ्रेम बना सकता है, लेकिन धीरे-धीरे उस दृश्य की ज्यामिति से भटक सकता है जिसे उसे सुरक्षित रखना चाहिए।
यह महत्वपूर्ण है क्योंकि वर्ल्ड मॉडल्स पर सिमुलेशन, एम्बोडाइड AI प्रशिक्षण, सिंथेटिक एनवायरनमेंट्स और इंटरैक्टिव सीन जनरेशन के लिए अधिक चर्चा हो रही है। उन स्थितियों में, मेमोरी वैकल्पिक नहीं है। जो मॉडल कोने के पीछे क्या है, यह भूल जाता है, वह लंबे समय तक भरोसेमंद एनवायरनमेंट मॉडल की तरह काम नहीं कर सकता।
Mirage का मूल विचार
Mirage एक अलग रास्ता अपनाता है और आंतरिक इमेज फीचर्स को सीधे लेटेंट स्पेस के भीतर एक स्पेशल मेमोरी में संग्रहीत करता है। केवल दिखाई देने वाले रंग बिंदुओं को संरक्षित करने के बजाय, यह उन सीखे गए फीचर्स को 3D स्पेस की स्थितियों से जोड़ता है। जब सिस्टम को नया दृष्टिकोण जनरेट करना होता है, तो वह उस लेटेंट मेमोरी को लक्ष्य कैमरा व्यू में प्रोजेक्ट करता है और परिणाम को सीधे जनरेटर में वापस भेज देता है।
पिक्सल-स्पेस पॉइंट क्लाउड्स के माध्यम से रेंडर-और-री-एन्कोड के चक्कर से बचकर, Mirage को समय और मेमोरी दोनों की बचत के लिए डिज़ाइन किया गया है। स्रोत पाठ कहता है कि यह तुलनीय मॉडलों की तुलना में 10.5 गुना तक तेज़ी से वीडियो जनरेट कर सकता है और 55 गुना तक कम मेमोरी इस्तेमाल कर सकता है। ऐसे लाभ इस बात को प्रभावित कर सकते हैं कि कोई तकनीक सिर्फ एक शोध जिज्ञासा रहती है या वाकई उपयोगी बनती है।
यह दृष्टिकोण जनरेटिव AI में एक व्यापक प्रवृत्ति से भी मेल खाता है: अधिक महत्वपूर्ण प्रतिनिधित्व कार्य को लेटेंट स्पेसेज़ में ले जाना, जहां मॉडल केवल कच्चे पिक्सलों के बजाय अधिक कॉम्पैक्ट और अर्थपूर्ण फीचर्स पर काम कर सकते हैं।
सिस्टम किसमें सुधार करता दिखाई देता है
Mirage का केंद्रीय वादा सिर्फ दक्षता नहीं है। यह स्थायित्व भी है। सिस्टम का उद्देश्य लंबे कैमरा पाथ्स के दौरान भी जनरेट किए गए दृश्यों की स्पेशल संरचना को सुसंगत रखना है, ताकि बार-बार दिखने वाले दृश्य बदले हुए न लौटें। यह इसे खास तौर पर उन अनुप्रयोगों के लिए प्रासंगिक बनाता है जहां सीन की निरंतरता काम का हिस्सा है, सिर्फ एक सौंदर्यात्मक बोनस नहीं।
महत्वपूर्ण रूप से, स्रोत नोट करता है कि चलती हुई वस्तुओं को अभी भी मेमोरी से फ़िल्टर किया जाता है। इसका मतलब है कि Mirage फिलहाल स्थिर सीन लेआउट बनाए रखने पर अधिक केंद्रित है, न कि पूरी तरह गतिशील वातावरणों को मॉडल करने पर, जहां कई वस्तुएं समय के साथ स्वतंत्र रूप से चलती हैं। फिर भी, स्थिर दुनिया को स्थिर करना एक बड़ा कदम है, क्योंकि यह समस्या की एक बुनियादी परत को संबोधित करता है।
एक वर्ल्ड मॉडल जो आर्किटेक्चर, कमरे के लेआउट, या भू-भाग की ज्यामिति को लगातार याद रख सकता है, भविष्य के उन सिस्टम्स के लिए मजबूत आधार देता है जो बाद में गति और अंतःक्रिया को अधिक परिष्कृत ढंग से संभाल सकते हैं।
यह वीडियो जनरेशन डेमो से आगे क्यों मायने रखता है
जनरेटिव वीडियो पर शोध अक्सर छोटे क्लिप्स और दृश्य प्रभाव के संदर्भ में देखा जाता है, लेकिन अधिक महत्वपूर्ण विकास उन सिस्टम्स से आ सकते हैं जो सिमुलेशन को समर्थन देते हैं। अगर AI मॉडलों को रोबोटों, वर्चुअल एजेंट्स, प्लानिंग सिस्टम्स, या इंटरैक्टिव कंटेंट टूल्स के प्रशिक्षण मैदान के रूप में इस्तेमाल करना है, तो उन्हें किसी न किसी रूप में टिकाऊ वर्ल्ड स्टेट चाहिए।
यहीं Mirage उल्लेखनीय हो जाता है। यह ऐसे मॉडलों की ओर इशारा करता है जो सीन मेमोरी को फ्रेम-दर-फ्रेम प्रेडिक्शन के एक नाज़ुक दुष्प्रभाव के बजाय एक आंतरिक, संरचित संसाधन मानते हैं। कुशल स्पेशल मेमोरी प्रभावशाली एकबारगी जनरेशन और पुन: उपयोग योग्य सिमुलेटेड वातावरणों के बीच की खाई को पाटने में मदद कर सकती है।
इसमें एक इन्फ्रास्ट्रक्चर पहलू भी है। AI डिप्लॉयमेंट में कंप्यूट लागत आज भी प्रमुख सीमाओं में से एक है। जो तरीके प्रोसेसिंग समय और मेमोरी आवश्यकताओं दोनों को घटाते हैं, वे उन्नत वर्ल्ड मॉडल्स के साथ प्रयोग कर सकने वाले शोधकर्ताओं और कंपनियों की संख्या बढ़ा सकते हैं। दक्षता में सुधार अक्सर गुणवत्ता सुधार जितना ही अपनाने को प्रभावित करता है।
ध्यान देने योग्य शोध संकेत
Mirage को अभी भी एक शोध विकास के रूप में समझना चाहिए, न कि एक तैयार प्लेटफॉर्म के रूप में। उपलब्ध स्रोत सामग्री उसके आर्किटेक्चर और बेंचमार्क लाभों पर केंद्रित है, न कि व्यापक डिप्लॉयमेंट पर। यह स्पष्ट नहीं है कि यह दृष्टिकोण कितनी अच्छी तरह सामान्यीकृत होता है, अधिक जटिल या गतिशील दृश्यों में कैसा प्रदर्शन करता है, और डाउनस्ट्रीम सिमुलेशन कार्यों में कैसे एकीकृत होता है।
फिर भी, पेपर की दिशा महत्वपूर्ण है। वीडियो की वास्तविकता को और बड़े ब्रूट-फोर्स जनरेशन से आगे बढ़ाने के बजाय, Mirage मॉडल्स के स्पेस प्रतिनिधित्व में एक संरचनात्मक कमजोरी को संबोधित करता है। यह एक सार्थक बदलाव है, क्योंकि भरोसेमंद मेमोरी किसी भी ऐसे मॉडल के लिए पूर्वशर्त है जो एक क्लिप मशीन के बजाय एक दुनिया की तरह काम करना चाहता है।
व्यावहारिक रूप से, यह सिस्टम सुझाव देता है कि दीर्घकालिक सीन संगति एक महंगे पिक्सल-स्पेस मेमोरी लूप पर निर्भर नहीं होनी चाहिए। एक हल्का लेटेंट-स्पेस तंत्र कम लागत में दुनिया का अधिक हिस्सा संरक्षित करने के लिए पर्याप्त हो सकता है।
AI शोध के लिए, यह संयोजन शक्तिशाली है। बेहतर संगति वर्ल्ड मॉडल्स को अधिक उपयोगी बनाती है। कम लागत उन्हें अधिक स्केलेबल बनाती है। अगर Mirage के दावे व्यापक परीक्षण में सही साबित होते हैं, तो यह अगली पीढ़ी के वीडियो और सिमुलेशन मॉडल्स के उस सबसे कठिन सवाल को संभालने के तरीके को प्रभावित कर सकता है: वे कहाँ हैं, यह याद रखना।
यह लेख The Decoder की रिपोर्टिंग पर आधारित है। मूल लेख पढ़ें.
Originally published on the-decoder.com
