Cloudflare ने AI बॉट व्यवस्थापनात मोठा बदल केला
Cloudflare ने वेबसाइट मालक AI बॉट ट्रॅफिक कसे व्यवस्थापित करू शकतात यात महत्त्वपूर्ण बदल जाहीर केला आहे. जुलै 2024 पासून, Cloudflare ग्राहक एका क्लिकवर सर्व AI क्रॉलर्स अवरोधित करू शकत होते. आता, सर्वसमावेशक ब्लॉकऐवजी, साइट मालक तीन श्रेणींमध्ये निवडू शकतात: शोध, प्रशिक्षण आणि एजंट. हा बदल AI बॉट्स वेबसाइटशी कसे संवाद साधतात यावर अधिक सूक्ष्म नियंत्रण प्रदान करतो.
नवीन विभागीय नियंत्रणे
Cloudflare डॅशबोर्डमधील नवीन AI बॉट नियंत्रणे साइट मालकांना शोध, प्रशिक्षण आणि एजंट बॉट्ससाठी स्वतंत्रपणे प्रवेश व्यवस्थापित करण्याची परवानगी देतात. शोध म्हणजे सर्च इंजिन इंडेक्सिंग, प्रशिक्षण म्हणजे AI मॉडेल प्रशिक्षणासाठी डेटा संकलन, आणि एजंट म्हणजे वापरकर्त्यांच्या वतीने कार्य करणारे बॉट्स, जसे की ChatGPT. 15 सप्टेंबर 2026 पासून, जाहिराती असलेल्या पृष्ठांवर प्रशिक्षण आणि एजंट बॉट्स डीफॉल्टनुसार अवरोधित केले जातील, कारण जाहिराती सूचित करतात की साइटला मानवी अभ्यागत हवे आहेत. शोध क्रॉलर्सना अद्याप परवानगी असेल. Googlebot सारखे बहुउद्देशीय क्रॉलर्स जे शोध आणि प्रशिक्षण दोन्ही करतात, त्यांना सर्वात कठोर नियमानुसार वागणूक दिली जाईल. नवीन पर्याय विनामूल्य योजनेच्या वापरकर्त्यांसाठी देखील उपलब्ध आहेत.
बॉट ऑपरेटरना क्रॉलर्स विभाजित करण्यास प्रोत्साहन
Cloudflare बॉट ऑपरेटरना त्यांचे क्रॉलर्स उद्देशानुसार विभाजित करण्यास प्रोत्साहित करत आहे. Cloudflare CEO मॅथ्यू प्रिन्स यांनी यापूर्वी Google ला त्याच्या शोध क्रॉलरला AI क्रॉलरसह बंडल केल्याबद्दल टीका केली होती. जून 2026 मध्ये, प्रिन्स यांनी नमूद केले की बॉट ट्रॅफिकने इंटरनेटवर प्रथमच मानवी ट्रॅफिकला मागे टाकले आहे, हा टप्पा त्यांना मूळतः 2027 च्या उत्तरार्धापर्यंत अपेक्षित नव्हता.
BotBase: एंटरप्राइज बॉट डेटाबेस
एंटरप्राइज ग्राहकांसाठी, Cloudflare BotBase देखील लाँच करत आहे, जो डॅशबोर्डमध्येच तयार केलेला सर्व ज्ञात बॉट्सचा शोधण्यायोग्य डेटाबेस आहे. हे प्रत्येक बॉटचे वर्गीकरण आणि ते सामग्री कशी वापरते, ते फक्त पृष्ठांना लिंक करते की त्यांचे पूर्ण पुनरुत्पादन करते हे दर्शविते. Cloudflare सत्यापित बॉट्ससाठी नियम देखील बदलत आहे. पूर्वी, सर्व सत्यापित बॉट्सना आपोआप प्रवेश दिला जात होता. पुढे जाताना, बॉटची श्रेणी ठरवते की त्याला प्रवेश मिळतो का. 'सत्यापित' लेबल एकटे पुरेसे राहणार नाही: बॉट ऑपरेटरना हे सिद्ध करावे लागेल की ते प्रामाणिकपणे स्वतःची ओळख देतात आणि त्यांना दिलेल्या प्रवेशाचा गैरवापर करत नाहीत.
वेबसाइट मालकांसाठी परिणाम
हा अद्यतन वेबसाइट मालकांना AI बॉट ट्रॅफिक व्यवस्थापित करण्यात अधिक लवचिकता देतो. बॉट्सचे श्रेणींमध्ये विभाजन करून, साइट मालक जाहिरात-समर्थित पृष्ठांवर प्रशिक्षण आणि एजंट बॉट्स अवरोधित करताना शोध इंडेक्सिंगला परवानगी देऊ शकतात. हे परवानगीशिवाय AI प्रशिक्षणासाठी सामग्री वापरण्यापासून संरक्षण करण्यास मदत करते तरीही शोध इंजिनना साइट इंडेक्स करण्याची परवानगी देते. जाहिरात-समर्थित पृष्ठांसाठी प्रशिक्षण आणि एजंट बॉट्सवर डीफॉल्ट ब्लॉक हा एक महत्त्वपूर्ण बदल आहे जो जाहिरात महसूलावर अवलंबून असलेल्या प्रकाशकांच्या हितसंबंधांशी संरेखित होतो.
AI कंपन्यांवर परिणाम
प्रशिक्षण किंवा एजंट कार्यांसाठी क्रॉलर्स वापरणाऱ्या AI कंपन्यांना या नवीन नियंत्रणांशी जुळवून घ्यावे लागेल. साइट मालकांच्या प्राधान्यांचे पालन करण्यासाठी त्यांना त्यांचे क्रॉलर्स वेगवेगळ्या उद्देशांसाठी स्वतंत्र बॉट्समध्ये विभाजित करावे लागू शकतात. Cloudflare चे पाऊल इतर इंटरनेट पायाभूत सुविधा प्रदात्यांवर देखील असेच विभागीय नियंत्रणे देण्यासाठी दबाव आणते.
निष्कर्ष
Cloudflare ची नवीन AI बॉट नियंत्रणे वेबसाइट मालकांना त्यांची सामग्री AI द्वारे कशी वापरली जाते यावर अधिक नियंत्रण देण्याच्या दिशेने एक मोठे पाऊल आहे. विभागीय पर्याय प्रदान करून आणि जाहिरात-समर्थित पृष्ठांसाठी प्रशिक्षण आणि एजंट बॉट्सवर डीफॉल्ट ब्लॉक करून, Cloudflare सामग्री निर्माते आणि AI विकसकांच्या गरजा संतुलित करण्यास मदत करत आहे. एंटरप्राइज ग्राहकांसाठी BotBase ची ओळख पारदर्शकता आणि नियंत्रण आणखी वाढवते.
हा लेख The Decoder च्या रिपोर्टिंगवर आधारित आहे. मूळ लेख वाचा.
Originally published on the-decoder.com