क्लाउडफ्लेयर ने ब्लैंकेट AI बॉट ब्लॉक को सर्च, ट्रेनिंग और एजेंट क्रॉलर्स के लिए ग्रैन्युलर कंट्रोल से बदला

क्लाउडफ्लेयर ने AI बॉट प्रबंधन में बड़ा बदलाव किया

क्लाउडफ्लेयर ने घोषणा की है कि वेबसाइट मालिक AI बॉट ट्रैफ़िक को कैसे प्रबंधित कर सकते हैं, इसमें एक महत्वपूर्ण बदलाव किया गया है। जुलाई 2024 से, क्लाउडफ्लेयर ग्राहक एक क्लिक से सभी AI क्रॉलर्स को ब्लॉक कर सकते थे। अब, ब्लैंकेट ब्लॉक के बजाय, साइट मालिक तीन श्रेणियों के बीच चुन सकते हैं: सर्च, ट्रेनिंग और एजेंट। यह बदलाव AI बॉट्स को वेबसाइटों के साथ बातचीत करने के तरीके पर अधिक सूक्ष्म नियंत्रण प्रदान करता है।

नए ग्रैन्युलर कंट्रोल

क्लाउडफ्लेयर डैशबोर्ड में नए AI बॉट कंट्रोल साइट मालिकों को सर्च, ट्रेनिंग और एजेंट बॉट के लिए अलग-अलग एक्सेस प्रबंधित करने की अनुमति देते हैं। सर्च में सर्च इंजन इंडेक्सिंग, ट्रेनिंग में AI मॉडल ट्रेनिंग के लिए डेटा संग्रह, और एजेंट में ChatGPT जैसे उपयोगकर्ताओं की ओर से काम करने वाले बॉट शामिल हैं। 15 सितंबर 2026 से, विज्ञापन वाले पेजों पर ट्रेनिंग और एजेंट बॉट डिफ़ॉल्ट रूप से ब्लॉक कर दिए जाएंगे, क्योंकि विज्ञापन संकेत देते हैं कि कोई साइट मानव आगंतुक चाहती है। सर्च क्रॉलर्स को अनुमति दी जाएगी। Googlebot जैसे मल्टी-पर्पज क्रॉलर जो सर्च और ट्रेनिंग दोनों करते हैं, उनके साथ सबसे सख्त नियम के अनुसार व्यवहार किया जाएगा। नए विकल्प फ्री प्लान पर भी उपलब्ध हैं।

बॉट ऑपरेटरों को क्रॉलर्स को विभाजित करने के लिए प्रोत्साहित किया गया

क्लाउडफ्लेयर बॉट ऑपरेटरों को उनके क्रॉलर्स को उद्देश्य के अनुसार विभाजित करने के लिए प्रेरित कर रहा है। क्लाउडफ्लेयर के CEO मैथ्यू प्रिंस ने पहले Google को उसके सर्च क्रॉलर को AI क्रॉलर के साथ बंडल करने के लिए आलोचना की थी। जून 2026 में, प्रिंस ने नोट किया कि बॉट ट्रैफ़िक ने पहली बार इंटरनेट पर मानव ट्रैफ़िक को पीछे छोड़ दिया, जो एक मील का पत्थर था जिसकी उन्होंने मूल रूप से 2027 के अंत तक उम्मीद नहीं की थी।

BotBase: एंटरप्राइज़ बॉट डेटाबेस

एंटरप्राइज़ ग्राहकों के लिए, क्लाउडफ्लेयर BotBase भी लॉन्च कर रहा है, जो डैशबोर्ड में ही बनाया गया सभी ज्ञात बॉट्स का एक खोजने योग्य डेटाबेस है। यह दिखाता है कि प्रत्येक बॉट को कैसे वर्गीकृत किया गया है और वह सामग्री का उपयोग कैसे करता है, चाहे वह केवल पेजों से लिंक करता हो या उन्हें पूर्ण रूप से पुन: प्रस्तुत करता हो। क्लाउडफ्लेयर सत्यापित बॉट्स के नियमों को भी बदल रहा है। पहले, सभी सत्यापित बॉट स्वचालित रूप से अनुमति प्राप्त कर लेते थे। अब, एक बॉट की श्रेणी यह निर्धारित करेगी कि उसे एक्सेस मिलता है या नहीं। अकेला 'सत्यापित' लेबल अब पर्याप्त नहीं होगा: बॉट ऑपरेटरों को यह साबित करना होगा कि वे ईमानदारी से अपनी पहचान बताते हैं और उन्हें दी गई एक्सेस का दुरुपयोग नहीं करते हैं।

वेबसाइट मालिकों के लिए निहितार्थ

यह अपडेट वेबसाइट मालिकों को AI बॉट ट्रैफ़िक के प्रबंधन में अधिक लचीलापन देता है। बॉट्स को श्रेणियों में अलग करके, साइट मालिक विज्ञापन-समर्थित पेजों पर ट्रेनिंग और एजेंट बॉट को ब्लॉक करते हुए सर्च इंडेक्सिंग की अनुमति दे सकते हैं। इससे सामग्री को बिना अनुमति के AI प्रशिक्षण के लिए उपयोग होने से बचाने में मदद मिलती है, जबकि सर्च इंजन को साइट को इंडेक्स करने की अनुमति मिलती है। विज्ञापन-समर्थित पेजों के लिए ट्रेनिंग और एजेंट बॉट पर डिफ़ॉल्ट ब्लॉक एक महत्वपूर्ण बदलाव है जो विज्ञापन राजस्व पर निर्भर प्रकाशकों के हितों के अनुरूप है।

AI कंपनियों पर प्रभाव

AI कंपनियाँ जो प्रशिक्षण या एजेंट कार्यों के लिए क्रॉलर्स का उपयोग करती हैं, उन्हें इन नए नियंत्रणों के अनुकूल होने की आवश्यकता होगी। उन्हें साइट मालिकों की प्राथमिकताओं का पालन करने के लिए अपने क्रॉलर्स को विभिन्न उद्देश्यों के लिए अलग-अलग बॉट्स में विभाजित करना पड़ सकता है। क्लाउडफ्लेयर का यह कदम अन्य इंटरनेट बुनियादी ढाँचा प्रदाताओं पर भी समान ग्रैन्युलर नियंत्रण प्रदान करने का दबाव डालता है।

निष्कर्ष

क्लाउडफ्लेयर के नए AI बॉट कंट्रोल वेबसाइट मालिकों को यह नियंत्रित करने में एक बड़ा कदम आगे बढ़ाते हैं कि AI उनकी सामग्री का उपयोग कैसे करता है। ग्रैन्युलर विकल्प और विज्ञापन-समर्थित पेजों पर ट्रेनिंग और एजेंट बॉट के लिए डिफ़ॉल्ट ब्लॉक प्रदान करके, क्लाउडफ्लेयर सामग्री निर्माताओं और AI डेवलपर्स की ज़रूरतों को संतुलित करने में मदद कर रहा है। एंटरप्राइज़ ग्राहकों के लिए BotBase की शुरूआत पारदर्शिता और नियंत्रण को और बढ़ाती है।

यह लेख द डिकोडर की रिपोर्टिंग पर आधारित है। मूल लेख पढ़ें।