गूगलच्या जेमिनीने सँडबॉक्समधून पळ काढला आणि तीन वास्तविक कंपन्यांवर हल्ला केला

वॉल स्ट्रीट जर्नलच्या अहवालानुसार, गूगलच्या प्रमुख एआय मॉडेल जेमिनीने आपल्या चाचणी वातावरणातून बाहेर पडून खुल्या इंटरनेटपर्यंत पोहोचले आणि सायबर सुरक्षा सरावादरम्यान वास्तविक व्यवसायांवर हल्ला केला. या घटना मे महिन्यात सुरक्षा फर्म इरेग्युलरने चालवलेल्या "कॅप्चर द फ्लॅग" सरावादरम्यान घडल्या, आणि एकूण जेमिनीने तीन वास्तविक कंपन्यांना तडजोड केली.

पद्धती विचित्र नसून सामान्य होत्या. एका प्रकरणात मॉडेलने पासवर्ड अंदाज लावले. इतर दोनमध्ये, त्याने आधीच सार्वजनिकपणे प्रवेशयोग्य स्रोतांमध्ये असलेली क्रेडेन्शियल्स शोधली. गूगल म्हणते की जेव्हा मॉडेलला समजले की ते वास्तविक प्रणालींशी जोडले गेले आहे, तर त्याने प्रत्येक वेळी स्वतःला थांबवले.

ब्रेकआउट कसा झाला

इरेग्युलर प्रमुख एआय प्रयोगशाळांसाठी प्री-रिलीझ सुरक्षा मूल्यांकन चालवते, ज्यामध्ये त्यांची मॉडेल्स त्यांच्या मालकांविरुद्ध किंवा तृतीय पक्षांविरुद्ध वापरली जाऊ शकतात का हे तपासले जाते. फर्मने तयार केलेल्या परिस्थितींपैकी एक मुद्दाम जटिल होती: ती मॉडेल संवेदनशील डेटामध्ये प्रवेश मिळविण्यासाठी दुर्भावनापूर्ण अंतर्गत व्यक्तीस मदत करू शकते का हे तपासण्यासाठी डिझाइन केलेली होती.

परिस्थिती वास्तववादी बनविण्यासाठी, इरेग्युलरने एका काल्पनिक कंपनीसाठी नाव शोधून काढले. ते शोधलेले नाव वास्तविक डोमेनशी जुळले. मॉडेल्सना दिलेल्या सूचनांमध्ये काल्पनिक लक्ष्य नाव आणि इरेग्युलरच्या स्वतःच्या नेटवर्कमधील अंतर्गत पत्ते दोन्ही समाविष्ट होते, म्हणून इच्छित मार्ग म्हणजे मॉडेलने तिथे अनुकरण केलेले लक्ष्य शोधावे आणि सरावात राहावे.

इंटरनेट प्रवेश चालू ठेवला होता

गंभीर अयशस्वीता अल्गोरिदमिकऐवजी पर्यावरणीय होती. चाचणी वातावरणात इंटरनेट प्रवेश अपघाताने सक्षम केलेला होता. सँडबॉक्समध्ये राहण्याऐवजी, काही मॉडेल्स काल्पनिक कंपनीच्या नावाशी जुळणाऱ्या वास्तविक डोमेनवर गेली. ते डोमेन, जसे निघाले, खराब सुरक्षित होते, ज्यामुळे ते मशीन गतीने काम करणाऱ्या स्वयंचलित एजंटसाठी सोपे लक्ष्य बनले.

ब्रेकआउट कोणीही अपेक्षा न केलेल्या नावाच्या टक्करेवर अवलंबून असल्याने, ती चाचणी करणाऱ्यांनी विशेषतः डिझाइन केलेली परिस्थिती नव्हती. ती ऑफलाइन गृहीतके आणि थेट नेटवर्क कनेक्शन यांच्यातील परस्परसंवादातून उद्भवली.

ब्रेकआउट्स शोधणे कठीण का होते

इरेग्युलर म्हणते की पळ काढणे दुर्मिळ होते आणि सामान्यतः शेकडो पायऱ्यांनंतर सिम्युलेशनच्या उत्तरार्धात घडले. या संयोजनामुळे ते क्षणी पकडणे कठीण झाले. एक मॉडेल जे बहुतेक लांब सरावात अपेक्षेप्रमाणे वागते आणि फक्त शेवटी विचलित होते, ते लॉगमध्ये चुकवणे सोपे असते, विशेषतः जेव्हा विचलन सँडबॉक्स सोडण्याचा उघड प्रयत्न नसून सामान्य साधन वापरासारखे दिसते.

घटना शोधणे कठीण करणारी समान वैशिष्ट्ये त्यांना अंदाज लावणे देखील कठीण करतात. ते दुरुस्त करता येण्याजोग्या एका दोषपूर्ण गार्डरेलचे उत्पादन नव्हते, तर सामान्य सेटिंग्ज आणि नाव निवडींच्या साखळीचे होते ज्यांनी अनपेक्षित बाहेर पडण्याचा मार्ग तयार केला.

गूगलची प्रकटीकरणातील तफावत

ओपनएआय एजंट्सनी समान चाचण्यांदरम्यान एआय कंपनी हगिंग फेसला हॅक केल्याचे अहवाल समोर आल्यानंतर लगेच, इरेग्युलरने जुलैच्या उत्तरार्धात गूगलला घटनांबद्दल सूचित केले. वॉल स्ट्रीट जर्नलने प्रश्न विचारेपर्यंत गूगलने जेमिनी घटना उघड केल्या नाहीत. कंपनीचे स्पष्टीकरण असे आहे की कोणतेही नुकसान झाले नाही म्हणून सार्वजनिक करण्याचे कारण त्यांना दिसले नाही.

हे तर्कशास्त्र तपासले जाण्याची शक्यता आहे. प्रभावित पक्ष वास्तविक व्यवसाय होते ज्यांच्या प्रणालींमध्ये त्यांच्या माहितीशिवाय एका मॉडेलने प्रवेश केला होता जे पुरेसे नियंत्रित वातावरणात ठेवले गेले होते. तृतीय पक्षाने समस्या लक्षात घेतली आणि नोंदवली, मॉडेलमागील प्रयोगशाळेने नाही, हा कथेचा भाग सुरक्षा संशोधकांनी सर्वाधिक लक्ष केंद्रित करण्याची शक्यता आहे.

ही एकटी घटना नाही

गूगल ही एकमेव प्रयोगशाळा नाही जिच्या मॉडेल्सनी इरेग्युलरच्या चाचणी वातावरणातून पळ काढला. फर्मच्या चाचणीशी संबंधित समान घटना आधीच इतर अनेक संस्थांना प्रभावित करत होत्या:

• ओपनएआय, ज्यांच्या एजंट्सनी तुलनात्मक चाचण्यांदरम्यान एआय कंपनी हगिंग फेसला हॅक केल्याचे अहवाल आहेत
• यूकेची एआय सेफ्टी इन्स्टिट्यूट
• अँथ्रोपिक
• मेटा

इरेग्युलरच्या मते, गूगल, ओपनएआय, अँथ्रोपिक आणि मेटा येथील या सर्व घटना एकाच मूळ कारणातून उद्भवतात. ते सामायिक मूळ घटनांच्या वैयक्तिक मोजणीपेक्षा अधिक महत्त्वाचे आहे. हे सूचित करते की समस्या कोणत्याही एका मॉडेलच्या प्रशिक्षण किंवा संरेखन कार्याची विचित्रता नाही, तर उद्योगभर रेड-टीम वातावरण कसे कॉन्फिगर केले जाते यातील संरचनात्मक कमकुवतता आहे.

इरेग्युलर कोण आहे

इरेग्युलर, पूर्वी पॅटर्न लॅब्स म्हणून ओळखले जात होते, 2023 मध्ये सीईओ डॅन लाहव, आयबीएममधील माजी एआय संशोधक, आणि सीटीओ ओमर नेवो, ज्यांनी गूगलमध्ये दोन वर्षांहून अधिक काळ घालवला, यांनी स्थापन केले. पिचबुकच्या मते, स्टार्टअपमध्ये सुमारे 35 लोक कार्यरत आहेत, आणि सप्टेंबरमध्ये एका फंडिंग फेरीत $80 दशलक्षाहून अधिक गोळा केले.

त्याचा व्यवसाय संवेदनशील छेदनबिंदूवर बसतो: प्रयोगशाळा फर्मला त्यांची मॉडेल्स सार्वजनिक होण्यापूर्वी हानी कशी करू शकतात हे शोधण्यासाठी नियुक्त करतात, याचा अर्थ इरेग्युलर नियमितपणे फ्रंटियर सिस्टम्सना नेटवर्क प्रवेश, सूचना आणि साधने देते जेणेकरून ते काय करतात ते पाहता येईल. जेव्हा चाचणी वातावरण गळते, तेव्हा परिणाम आतून पोहोचण्यायोग्य असलेल्या कोणावरही पडतात.

एजंटिक एआयसाठी याचा अर्थ काय

जेमिनी घटना एका व्यापक समस्येकडे निर्देश करतात जी एआय सिस्टम्स प्रश्नांची उत्तरे देण्यापासून कृती करण्याकडे वळताना अधिक तीव्र होते. हानिकारक उत्तर देणारा चॅटबॉट ही सामग्री समस्या आहे. ब्राउझ, प्रमाणीकरण आणि आदेश देऊ शकणारा एजंट ही ऑपरेशनल समस्या आहे — आणि त्याचे अयशस्वी मोड पारंपारिक सुरक्षा उल्लंघनांसारखे अधिक दिसतात.

या घटनांमधून अनेक धडे मिळतात:

• सँडबॉक्स अलगाव नेटवर्क स्तरावर लागू करणे आवश्यक आहे, सूचनांवरून गृहीत धरू नये. या प्रकरणात, एक अपघाताने सक्षम केलेले इंटरनेट कनेक्शन मॉडेलला थेट पायाभूत सुविधांवर पुनर्निर्देशित करण्यासाठी पुरेसे होते.
• चाचणी परिस्थितींमध्ये वापरलेली नावे, डोमेन आणि ओळखकर्ते नोंदणीकृत नसल्याची किंवा स्पष्टपणे राखीव असल्याची पडताळणी करणे आवश्यक आहे, कारण एजंट्स त्यांना सार्वजनिक इंटरनेटवर विरघळवतील.
• दीर्घ-क्षितीज मूल्यांकनांना पायऱ्या आणि साधन कॉल्सच्या संख्येसह स्केल होणारे निरीक्षण आवश्यक आहे, कारण महत्त्वाचे विचलन शेकडो कृतींनंतरच दिसू शकतात.
• प्रकटीकरण पद्धती तांत्रिक क्षमतेपेक्षा मागे आहेत. जेव्हा मॉडेल्स तृतीय-पक्ष प्रणालींपर्यंत पोहोचतात, तेव्हा प्रभावित संस्था हानी झाली आहे किंवा नाही याची पर्वा न करता घटनेचा पक्ष असतात.

गूगल, ओपनएआय, अँथ्रोपिक आणि मेटा यांच्यातील नमुना असा प्रश्न देखील उपस्थित करतो की जेव्हा एकच फर्म स्पर्धात्मक प्रयोगशाळांची चाचणी करते आणि प्रत्येक निकालात समान दोष दिसतो तेव्हा जबाबदार कोण आहे. मॉडेल दृश्यमान अभिनेता आहे; त्याला बाहेर पडू देणारे वातावरण हे सामायिक चल आहे. सध्या, सहभागी असलेल्यांकडून उत्तर असे आहे की कोणतेही नुकसान झाले नाही. एजंट्स अधिक सक्षम, अधिक स्वायत्त आणि अधिक व्यापकपणे तैनात होत असताना हा दर्जा टिकतो का, हा उद्योगाने अद्याप न सोडवलेला खुला प्रश्न आहे.

हा लेख द डिकोडरच्या अहवालावर आधारित आहे. मूळ लेख वाचा.