हाल के दिनों में, एक लड़ाई चल रही है जो आर्टिफिशियल इंटेलिजेंस (एआई) के साथ वेब मानकों के आकृति को फिर से प्राप्त कर सकती है, एक खुले वेब का विचार, और एआई कंपनियों द्वारा डेटा कैसे एकत्र किया जाता है। इंटरनेट इन्फ्रास्ट्रक्चर दिग्गज क्लाउडफ्लारे ने पहले शॉट्स को निकाल दिया, जिसमें आरोप लगाया गया कि पेरप्लेक्सिटी उन वेबसाइटों से डेटा तक पहुंचने और एकत्र करने के लिए चुपके का उपयोग करता है जो विशेष रूप से पसंद नहीं करते हैं। एआई कंपनी दार्शनिक पर कुछ सीमा के साथ काउंटर करती है-यह पूछकर कि क्या एआई-संचालित सहायकों और उपयोगकर्ता-संचालित एजेंटों के उदय के साथ, “सिर्फ एक बॉट” के रूप में गिना जाता है और वास्तविक लोगों की तत्काल जरूरतों को पूरा करने के बीच की सीमा तेजी से धुंधली हो गई है।
वास्तव में, इस बातचीत को जारी रखने की उम्मीद है, क्योंकि प्रकाशक क्लाउडफ्लारे के सीईओ मैथ्यू प्रिंस का कहना है कि प्रकाशकों के लिए एआई का अस्तित्वगत खतरा है। Perplexity कहती है, “CloudFlare जैसी कंपनियां उपयोगकर्ता-चालित AI सहायकों को दुर्भावनापूर्ण बॉट्स के रूप में गलत तरीके से बताती हैं”, लेकिन CloudFlare यह स्पष्ट करता है कि वे “सामग्री रचनाकारों और प्रकाशकों को अधिक नियंत्रण दे रहे हैं कि उनकी सामग्री को कैसे एक्सेस किया जाता है।
इस विशिष्ट उदाहरण में, CloudFlare का कहना है कि उन्होंने वेबसाइटों को उन तरीकों से एक्सेस करने के लिए देखा है, जो साइट के मालिकों की वरीयताओं से बाहर निकलते हैं – विशेष रूप से, वेबसाइट के रोबोट्स में गतिविधि तक पहुंच को अस्वीकार करते हुए, एक प्रक्रिया जिसे क्रॉलिंग के रूप में जाना जाता है। यह फ़ाइल किसी भी वेबसाइट के फ्रेमवर्क का एक अनिवार्य हिस्सा है, एक वेबसाइट के मालिक वेब क्रॉलर (जैसे खोज इंजन) को निर्देश देने के लिए उपयोग करते हैं, वेबसाइट के कौन से कुछ हिस्सों को उन्हें एक्सेस करने और सूचीबद्ध करने की अनुमति है।
“हम एक एआई-संचालित उत्तर इंजन, पेरप्लेक्सिटी से चुपके रेंगने वाले व्यवहार का अवलोकन कर रहे हैं। हालांकि पेरप्लेक्सिटी शुरू में उनके घोषित उपयोगकर्ता एजेंट से रेंगती है, जब उन्हें एक नेटवर्क ब्लॉक के साथ प्रस्तुत किया जाता है, तो वे वेबसाइट की वरीयताओं को रोकने के प्रयास में अपनी रेंगने वाली पहचान को अस्पष्ट करते हुए दिखाई देते हैं,” एक तकनीकी पोस्ट में क्लाउडफ्लेयर, “हम एक तकनीकी पोस्ट में शामिल होने से पहले,” क्लाउडफ्लर को एक तकनीकी पोस्ट में मिला, “हम एक तकनीकी पद से जुड़े हुए थे,” हम एक तकनीकी पोस्ट में एक तकनीकी पोस्ट में थे, ” Robots.txt फाइलें।
क्लाउडफ्लेयर के परीक्षण, वे कहते हैं, ऑबफ्यूसेशन के व्यवहार को दोहराने में सक्षम थे, कंपनी की ग्राहक वेबसाइटों के बारे में शिकायत कर रहे थे। वे एक और बिंदु बनाने के लिए इसके विपरीत के एक परीक्षण समतुल्यता का उपयोग करते हैं – Openai के चैटगेट क्रॉलर के साथ तुलनीय परीक्षणों से पता चलता है कि यह बंद होने पर बंद हो गया, और अवरुद्ध होने के बाद अन्य उपयोगकर्ता एजेंटों के साथ पालन नहीं किया
Perplexity का तर्क: एक AI सहायक एक मानव का सहायक है
Perplexity की प्रतिक्रिया सीधे संभावित obfuscation के मुद्दे को संबोधित नहीं करती है और बाईपास कार्यप्रणाली का उपयोग करने के लिए अभी भी एक वेबसाइट से जानकारी तक पहुंचने के लिए नहीं बताया गया है; एआई कंपनी अधिक चिंतनशील बिंदुओं को बढ़ा रही है। एक के लिए, वे कहते हैं कि आधुनिक एआई सहायक पारंपरिक वेब क्रॉलिंग से मौलिक रूप से अलग हैं, जिसका उपयोग वर्षों से खोज इंजन द्वारा किया गया था। यह “उपयोगकर्ता-चालित” एजेंटों की खोज के लिए एआई टूल का उपयोग करता है, जिसे वेब के नियमों का पालन करने की आवश्यकता नहीं है जैसा कि हम उन्हें जानते थे।
“जब आप पेरप्लेक्सिटी से एक सवाल पूछते हैं, जिसके लिए वर्तमान जानकारी की आवश्यकता होती है – तो कहें,” उस नए रेस्तरां के लिए नवीनतम समीक्षाएं क्या हैं? ” – एआई के पास पहले से ही वह जानकारी नहीं है जो कहीं न कहीं डेटाबेस में बैठी है। इसके बजाय, यह प्रासंगिक वेबसाइटों पर जाता है, सामग्री को पढ़ता है, और यह आपके विशिष्ट प्रश्न के अनुसार एक सारांश है। यह विशिष्ट जानकारी है या नहीं, ”कंपनी जवाब देती है।
Perplexity इस बात पर जोर देता है कि उसके उपयोगकर्ता द्वारा संचालित एजेंट जानकारी को संग्रहीत नहीं करते हैं या इसके साथ ट्रेन नहीं करते हैं। “जब Google का खोज इंजन अपने सूचकांक का निर्माण करने के लिए क्रॉल करता है, तो यह तब से अलग होता है जब यह एक वेबपेज प्राप्त करता है क्योंकि आपने एक पूर्वावलोकन के लिए कहा था। जब पेरप्लेक्सिटी एक वेब पेज प्राप्त करती है, तो यह इसलिए है क्योंकि आपने एक विशिष्ट प्रश्न पूछा है जिसमें वर्तमान जानकारी की आवश्यकता होती है,” पेरप्लेसिटी का बयान कहता है।
एआई कंपनी क्लाउडफ्लेयर को नहीं जानती है कि वे क्या वर्गीकृत कर रहे हैं। “यह क्लाउडफ्लारे के साथ क्लाउडफ्लारे को उलझा हुआ प्रतीत होता है, जो ब्राउज़बेस से असंबंधित ट्रैफ़िक के 3-6 मीटर दैनिक अनुरोधों के साथ, एक तृतीय-पक्ष क्लाउड ब्राउज़र सेवा है जो केवल कभी-कभी अत्यधिक विशिष्ट कार्यों (45,000 से कम दैनिक अनुरोधों) के लिए उपयोग करता है,” वे कहते हैं।
क्या AI को वेब और खोज के रूप में आगे बढ़ने का रास्ता है?
लंबी अवधि में, ये मामूली शब्दार्थ नहीं हैं। इस समय, इंटरनेट उद्योग ने परिवर्तनों के साथ सामंजस्य नहीं किया है, जहां एआई चैटबॉट तेजी से डिफ़ॉल्ट खोज उपकरण बन रहे हैं, जैसे कि Google खोज और Microsoft बिंग जैसे पारंपरिक खोज इंजनों के बजाय। Google, भी, खोज के भीतर, प्रासंगिक वेबसाइट लिंक को सूचीबद्ध करने से पहले, Ad-Ins जैसे Ad-Ins के साथ, Ad-Ins के साथ, अब तेजी से AI लेयर कर रहा है।
CloudFlare नोट करता है कि जुलाई के बाद से 2.5 मिलियन से अधिक साइटों ने AI प्रशिक्षण को ब्लॉक करने का विकल्प चुना है, और यह “प्रति क्रॉल प्रति क्रॉल” विचारों को प्रचारित किया गया है। इसी समय, पेरप्लेक्सिटी ने जोर देकर कहा कि इसके मॉडल को इन डेटा और सूचना के लुभावने से कोई प्रशिक्षण उपयोग नहीं किया गया है, लेकिन वास्तव में, प्रकाशक स्वचालित पहुंच के लिए अभी भी सहमति, नियंत्रण या भुगतान चाहते हैं।
यह CloudFlare और Perplexity विवाद दो कंपनियों के बीच एक तकनीकी विवाद से अधिक का प्रतिनिधित्व करता है। यह अच्छी तरह से पहली स्पार्क हो सकता है कि कैसे इंटरनेट तेजी से बदल रहा है कि जानकारी कैसे एक्सेस की जाती है और AI का उपयोग करके सेवा की जाती है, वेब वरीयताओं को संबोधित करना चाहिए। इस बिंदु पर एक मौलिक प्रश्न पूछा जाना चाहिए। क्या बड़े पैमाने पर सहयोगी, ज्यादातर ट्रस्ट-आधारित मॉडल है जिसने दशकों से जोखिम में वेब को नियंत्रित किया है, और क्या यह आधुनिक एआई सिस्टम की आक्रामक डेटा संग्रह आवश्यकताओं से बच सकता है? चीजें तुरंत नहीं बदल सकती हैं, लेकिन CloudFlare ने Robots.txt पर स्पॉटलाइट को प्रशिक्षित किया है, और एक बातचीत शुरू हो गई है।
