Naver चे Seoul World Model जनरेटिव्ह व्हिडिओतील एक मूलभूत कमकुवतपणा दुरुस्त करण्याचा प्रयत्न करत आहे

प्रतिमेच्या गुणवत्तेपलीकडेही जनरेटिव्ह व्हिडिओमध्ये वास्तववादाची समस्या आहे

अलीकडच्या अनेक video world models prompt मधून लक्षवेधी clips तयार करू शकतात, पण त्यांच्यात अजूनही एक मूलभूत मर्यादा आहे: त्यांनी निर्माण केलेली world अनेकदा फक्त थोड्या काळापुरतीच coherent असते. रस्ते अशक्य आकारात वळतात, इमारती बदलतात, आणि शहराचे न पाहिलेले भाग तत्काळ कल्पून तयार केले जातात. Naver च्या Seoul World Model, किंवा SWM, बद्दलचा उपलब्ध स्रोत मजकूर रंजक आहे, कारण तो ही समस्या मुळापासून हाताळतो. एका AI system कडून plausibly वाटणारे शहर hallucinate करून घेण्याऐवजी, Naver generation ला प्रत्यक्ष शहराच्या geometry आणि appearance मध्ये anchor करत आहे.

दिलेल्या लेखानुसार, हे system Naver Map, South Korea च्या street-view service, मधील 1.2 दशलक्ष panoramic images वापरून location-based videos तयार करते. वापरकर्ते geographic coordinates, camera movement, आणि text prompt देतात, आणि model step-by-step generation साठी जवळची street-view images visual guides म्हणून retrieve करते.

खरे geography हेच उद्दिष्ट आहे

लेख SWM ला एखाद्या वास्तविक physical location शी जोडलेले पहिले world model असे वर्णन करतो. हा एक अर्थपूर्ण फरक आहे. मागील systems एखाद्या real frame मधून सुरुवात करू शकतात किंवा real-world scenes ची नक्कल करू शकतात, पण generation camera ने सुरुवातीला पाहिलेल्या मर्यादेपलीकडे गेल्यावर ते actual city structure शी anchored राहत नाहीत. SWM खास करून तो drift कमी करण्यासाठी डिझाइन केले आहे.

ते महत्त्वाचे आहे, कारण consistency ही प्रभावी demos आणि विश्वासार्ह tools यांना वेगळे करणाऱ्या सर्वात मोठ्या अडथळ्यांपैकी एक आहे. route logic, building placement, किंवा scene continuity टिकवू न शकणारे generated city मनोरंजक असते, पण मर्यादित. वास्तविक map वर grounded राहणारा model simulation, planning, location-aware storytelling, किंवा geography महत्त्वाची असलेल्या training environments मध्ये उपयुक्त ठरू शकतो.

कठीण भाग असा की शहरे स्थिर नसतात

दिलेला मजकूर हेही स्पष्ट करतो की वास्तविक street data स्वतःची technical challenges कशी निर्माण करते. Street-view panoramas म्हणजे snapshots. त्यात parked cars, pedestrians, आणि तात्पुरती objects दिसतात, जी शहराच्या स्थिर representation चा भाग नसतात. त्यामुळे system ला कायमस्वरूपी structures आणि तात्पुरत्या content मध्ये फरक करावा लागतो.

लेखानुसार, Naver चा approach म्हणजे वेगवेगळ्या वेळी घेतलेल्या recordings चे analysis करणे, जेणेकरून model buildings आणि roads ला अल्पकालीन scene elements पासून वेगळे करू शकेल. तो missing camera angles भरून काढण्यासाठी simulated video चाही वापर करतो, आणि अधिक लांब generations साठी route पुढे असलेल्या अतिरिक्त street-view images anchors म्हणून वापरतो. दुसऱ्या शब्दांत, model फक्त stored imagery replay करत नाही. तो grounded पण flexible urban space representation तयार करण्याचा प्रयत्न करत आहे.

Benchmarks व्यावहारिक लाभ दाखवतात

performance बद्दल, दिलेल्या report मध्ये म्हटले आहे की SWM ने visual quality आणि temporal consistency दोन्ही बाबतीत सध्याच्या सहा video world models ना मागे टाकले. तसेच, अतिरिक्त training शिवाय Busan आणि Ann Arbor यांसारख्या अपरिचित शहरांवरही system generalize झाले असे सांगितले आहे.

ही दोन्ही दावे एकत्र महत्त्वाचे आहेत. केवळ चांगली quality cosmetic असू शकते. केवळ चांगली consistency training environment पलीकडे जाण्यासाठी अजूनही brittle राहू शकते. इतर शहरांमध्ये generalization सूचित करते की ही पद्धत फक्त Seoul memorized केले म्हणून उपयुक्त नाही. लेखाचा अर्थ असा आहे की वास्तविक geometry मध्ये generation ला grounding करणे हा एक व्यापक design principle ठरू शकतो, केवळ एकदाच केलेला local demo नाही.

ही data advantage ची कहाणीही आहे

Naver ला अनेकदा South Korea चे Google म्हटले जाते, आणि इथे ती तुलना महत्त्वाची आहे, कारण model ची ताकद मोठ्या proprietary mapping archive च्या access वर अवलंबून आहे. कंपनीचे dominant local search आणि mapping ecosystem तिला असा data asset देते जो अनेक AI labs कडे नाही. SWM दाखवते की generative-model research जेव्हा dense, owned, real-world visual data सोबत जोडले जाते तेव्हा काय होऊ शकते.

हे AI competition मध्ये वारंवार दिसणारे theme होऊ शकते. सर्वात शक्तिशाली systems नेहमी सर्वात मोठा general model असलेलेच नसतील. ते maps, software repositories, medical records, किंवा industrial logs यांसारख्या privileged domain-specific data शी जोडलेलेही असू शकतात.

Product implications novelty पलीकडे जातात

दिलेल्या लेखात नमूद आहे की वापरकर्ते text prompts वापरून generated scenes बदलू शकतात, ज्यात जळणाऱ्या कार्स किंवा skyline मध्ये giant monster यांसारख्या dramatic additions समाविष्ट आहेत. ही theatrical उदाहरणे आहेत, पण underlying ambition दाखवतात: जगाला इतके वास्तविक ठेवणे की ते geographically credible वाटेल, आणि त्यावर generative freedom देणे.

हा समतोल simulation, local advertising, urban visualization, robotics training, navigation interfaces, आणि entertainment साठी महत्त्वाचा ठरू शकतो. एक believable world model म्हणजे केवळ अधिक सुंदर व्हिडिओ नाही. तो spatial trust बद्दल आहे. AI system ने वस्तू कुठे आहेत हे टिकवून ठेवले, तर अधिक applications व्यवहार्य होतात.

मोठा धडा सोपा आहे

गेल्या दोन वर्षांत, generative AI ने अनेकदा hallucination ला text problem आणि consistency ला style problem म्हणून हाताळले आहे. Naver चा Seoul World Model सुचवतो की ते world-modeling problems देखील आहेत. system ला तो कोणत्या शहरात आहे हेच माहीत नसेल, तर कोपऱ्यापलीकडे पुढे काय आहे ते तो विश्वासार्हपणे दाखवू शकत नाही.

generation ला वास्तविक coordinates आणि वास्तविक urban imagery शी जोडून, Naver synthetic video साठी अधिक कठोर standard प्रस्तावित करत आहे: फक्त plausible नाही, तर place-aware देखील. ही approach पुढेही scale होत राहिली, तर ती generative media मध्ये free-form invention पासून grounded simulation कडे होणारा एक महत्त्वाचा बदल दर्शवू शकते. त्यामुळे hallucinations संपणार नाहीत. त्यांना skyline मध्ये लपवणे फक्त अधिक कठीण होईल.

हा लेख The Decoder च्या reporting वर आधारित आहे. मूळ लेख वाचा.