रोबोटिक्स कंपन्या केवळ मोठ्या मॉडेल्सचा नव्हे, तर चांगल्या डेटाचाही शोध घेत आहेत
Memories.ai रोबोटिक्स आणि फिजिकल AI साठी तयार केलेली डेटा पाइपलाइन उभारत आहे. तिच्या केंद्रस्थानी फर्स्ट-पर्सन किंवा egocentric व्हिडिओ आहे. सॅन फ्रान्सिस्कोस्थित ही कंपनी प्रमाणित व्हिडिओ संकलनाला AI-आधारित प्रक्रिया आणि अॅनोटेशनशी जोडून, वास्तविक जगातील क्रियाकलापांचे फुटेज robot-learning systems साठी प्रशिक्षण सामग्रीत रूपांतरित करू इच्छिते.
माणसे वस्तू आणि परिसराशी उपयुक्त भौतिक दृष्टीकोनातून कशी संवाद साधतात हे दाखवणारा डेटा रोबोट्सना आवश्यक असतो, ही कंपनीची भूमिका आहे. केवळ डेटा विक्रेता म्हणून काम करण्याऐवजी, robotics systems, world models, vision-language-action models आणि humanoid robots तयार करणाऱ्या टीम्ससाठी data-infrastructure partner बनण्याची इच्छा Memories.ai व्यक्त करते.
या भूमिकेमुळे पुनरावृत्ती करता येण्याजोग्या संकलन आणि तयारीवर भर दिला जातो. रोबोटिक्स डेव्हलपर्सकडे मोठ्या प्रमाणात व्हिडिओ असू शकतो; मात्र विसंगत कॅमेरा सेटअप, असमान लेबलिंग आणि न जुळणारे दृश्यकोन यांमुळे विशिष्ट प्रशिक्षण कामासाठी तो वापरणे कठीण होऊ शकते. ग्राहकाच्या model-development workflow पर्यंत पोहोचण्यापूर्वी इनपुट प्रमाणित करणे हा Memories.ai चा दृष्टिकोन आहे.
प्रस्तावित पाइपलाइन कशी काम करते
कंपनी data collectors आणि भागीदारांना modular camera setup म्हणून वर्णन केलेले प्रमाणित capture hardware, तसेच एकसमान संकलन प्रक्रिया पुरवते. विविध कामे आणि कॅमेरा दृश्यांसाठी लवचिकता राखून एकसमान स्वरूपात फुटेज गोळा करणे हे उद्दिष्ट आहे.
भागीदारांनी व्हिडिओ सादर केल्यानंतर Memories.ai आपल्या models द्वारे फुटेजवर प्रक्रिया करून अॅनोटेशन करते, असे कंपनी सांगते. कंपनीने नमूद केलेल्या model set मध्ये hand-pose माहितीसाठी Memories-H0 आणि action segments साठी EgoAction यांचा समावेश आहे. अशी labels दृश्यांना त्यातील हालचाली आणि कृतींशी जोडू शकतात, त्यामुळे त्या रोबोट प्रशिक्षणासाठी उपयुक्त ठरू शकतात.
तयार झालेली सामग्री custom annotation services आणि dataset tools असलेल्या curated video data lake म्हणून व्यवस्थित केली जाते. व्यवहारात, प्रत्येक टीमने capture, quality control, annotation आणि storage स्वतंत्रपणे सोडवण्याऐवजी तयार examples रोबोटिक्स डेव्हलपर्सना उपलब्ध करून देणे हा या पाइपलाइनचा उद्देश आहे.
Egocentric व्हिडिओ महत्त्वाचा का आहे
फर्स्ट-पर्सन फुटेज हात, साधने, वस्तू आणि बदलत्या परिसरातील संबंध टिपू शकते. फिजिकल AI systems साठी हा संबंध महत्त्वाचा आहे: manipulation किंवा इतर वास्तविक-जगातील कामांना सहाय्य करणाऱ्या मॉडेलला एखादी वस्तू ओळखणे पुरेसे नसते. कोणती कृती सुरू आहे, ऑपरेटरच्या तुलनेत वस्तू कुठे आहे आणि एखादी क्रिया कालांतराने कशी घडते, हेही त्याला अनुमानाने ठरवावे लागू शकते.
Memories.ai आपल्या data infrastructure चे वर्णन physical AI साठी तयार केलेले असे करते. वास्तविक जग समजून घेण्यासाठी किंवा त्यात कृती करण्यासाठी असलेल्या systems—यात robotics platforms आणि vision-language-action models समाविष्ट आहेत—या संकल्पनेत येतात. या वापरांसाठी अनुरूप डेटा आणि प्रक्रिया पुरवून रोबोट्सना भौतिक परिसर समजण्यास अधिक सक्षम करण्यात मदत करणे हे कंपनीचे दीर्घकालीन उद्दिष्ट आहे.
तिचे modular design देखील महत्त्वाचे आहे. औद्योगिक workflows पासून घरगुती manipulation पर्यंत रोबोटिक्सची कामे मोठ्या प्रमाणात बदलतात आणि एकच स्थिर कॅमेरा दृश्य प्रत्येक application ला लागू पडणार नाही. एकसमान प्रक्रिया कायम ठेवून अनेक दृश्यांना समर्थन देणारी collection system विशिष्ट कामांशी जुळणारे datasets तयार करणे सोपे करू शकते.
Model development साठी व्हिडिओ तयार करण्यासाठी AI चा वापर
आपल्या data lake मध्ये येणारा व्हिडिओ समजून घेण्यासाठी NVIDIA Cosmos वापरल्याचे Memories.ai ने सांगितले. त्यानंतर ग्राहकांच्या robotics आणि industrial applications साठी Cosmos चे post-training करण्यासाठी त्या सामग्रीचे curation केले. वास्तविक-जगातील व्हिडिओचे ग्राहकांच्या कामांनुसार जुळवलेल्या models मध्ये रूपांतर करणारा loop म्हणून कंपनी याचे वर्णन करते.
Raw footage आणि वापरण्यायोग्य training data यांतील फरक हा या व्यवसायाच्या केंद्रस्थानी आहे. व्हिडिओ कॅप्चर करणे ही केवळ पहिली पायरी आहे. फुटेजवर प्रक्रिया करून त्याचे segments करणे, labels लावणे आणि model developers वापरू शकतील अशा स्वरूपात ते उपलब्ध करणे आवश्यक आहे. Video-understanding models द्वारे या कामाचा काही भाग स्वयंचलित केल्याने पाइपलाइनचा विस्तार होऊ शकतो; तर custom annotation मुळे datasets ग्राहकाच्या विशिष्ट गरजांनुसार जुळवता येतात.
- प्रमाणित capture चा उद्देश contributors मधील consistency सुधारणे हा आहे.
- Hand pose आणि action segments यांसारख्या घटकांना label करण्यासाठी AI-आधारित annotation वापरले जाते.
- Curated data lake ग्राहकांना post-training आणि dataset कामासाठी सामायिक पाया देते.
- Modular hardware विविध कामे आणि कॅमेरा दृश्यांना समर्थन देण्यासाठी तयार केले आहे.
इन्फ्रास्ट्रक्चर स्पर्धेचा एक स्तर बनत आहे
फिजिकल AIच्या वाढीमुळे डेटा संकलन आणि curation हा धोरणात्मक मुद्दा बनला आहे. रोबोटला उपलब्ध करून दिलेल्या examples मधूनच तो शिकू शकतो. समान model architectures वर काम करणाऱ्या टीम्स डेटाची गुणवत्ता, उपयुक्तता आणि संघटन यांद्वारे वेगळ्या ठरू शकतात. त्यामुळे model पेक्षा त्याभोवतीची pipeline उभारण्यात मूल्य असलेल्या specialist providers साठी जागा निर्माण होते.
Memories.ai ने आपल्या research मधील अनेक घटक GitHub वर प्रकाशित केले आहेत आणि ICLR, NeurIPS तसेच EMNLP मधील publication activity ची माहिती दिली आहे. रोबोटिक्स ग्राहकांसाठी data platform चे व्यावसायिकीकरण करताना research ecosystem मध्ये सहभागी होण्याचा प्रयत्न या तपशीलांतून दिसतो.
कंपनीची घोषित ambition व्यापक आहे आणि platform संदर्भातील तिचे claims हे कंपनीचे स्वतःचे वर्णन म्हणून समजले पाहिजेत. तरीही दिशा स्पष्ट आहे: रोबोटिक्स demonstrations पासून अधिक वैविध्यपूर्ण वास्तविक-जगातील deployments कडे जात असताना, ते वापरणाऱ्या algorithms इतकेच प्रमाणित फर्स्ट-पर्सन डेटा आणि विश्वासार्ह annotation महत्त्वाचे ठरू शकतात.
मुख्य आव्हान: अनुभवाचे प्रशिक्षण सामग्रीत रूपांतर
रोबोटिक्समध्ये उपयुक्त data unit क्वचितच केवळ एक video clip असतो. मॉडेलला कृतीयोग्य काहीतरी शिकवण्यासाठी पुरेसा context आणि structure असलेला clip आवश्यक असतो. Capture standards, video interpretation आणि targeted annotations वर लक्ष केंद्रित करून Memories.ai दैनंदिन भौतिक क्रियाकलापांना अधिक मूल्यवान स्वरूपात पॅकेज करण्याचा प्रयत्न करत आहे. हा दृष्टिकोन मोठ्या प्रमाणावर स्वीकारला जाईल की नाही हे डेटाची गुणवत्ता, labels ची उपयुक्तता आणि ग्राहकांना त्याचा वापर करून मिळणारे performance gains यांवर अवलंबून असेल.
हा लेख The Robot Report च्या वृत्तांकनावर आधारित आहे. मूळ लेख वाचा.
Originally published on therobotreport.com



