अपने फ़ायरवॉल के माध्यम से Shoply AI के क्रॉलर को कैसे अनुमति दें

Shoply AI नियमित रूप से आपकी वेबसाइट को पढ़कर अपने उत्तरों को सटीक बनाए रखता है। यदि आपकी साइट Cloudflare या किसी अन्य फ़ायरवॉल या bot-protection सेवा का उपयोग करती है, तो वह सेवा Shoply के क्रॉलर को ब्लॉक कर सकती है। जब ऐसा होता है, तो चैटबॉट आपकी साइट की पुरानी कॉपी के आधार पर जवाब देता रहता है।

समाधान आमतौर पर एक ही नियम होता है: उन रिक्वेस्ट्स को अनुमति दें जिनके User-Agent में ShoplyAIBot शामिल हो। यह गाइड बताती है कि क्रॉलर की आवश्यकता क्यों है, उसे कैसे पहचानें, और Cloudflare तथा अन्य फ़ायरवॉल में उसे कैसे अनुमति दें।

यह किसे करना चाहिए?

• SiteChat वेबसाइट मालिक। SiteChat, Shopify स्टोर को छोड़कर किसी भी वेबसाइट के लिए Shoply का chat और search है, जिसमें Magento स्टोर्स भी शामिल हैं।
• एजेंसियाँ और डेवलपर्स जो उन वेबसाइटों के लिए hosting, CDN (content delivery network), या security settings प्रबंधित करते हैं।

Shopify app merchants को सामान्यतः कुछ भी बदलने की आवश्यकता नहीं होती। Shoply आपके storefront को crawl करके नहीं, बल्कि Shopify के API के माध्यम से Shopify product data प्राप्त करता है। हालांकि, यदि आपने किसी non-Shopify वेबसाइट के पेज knowledge sources के रूप में जोड़े हैं, जैसे किसी अन्य जगह hosted help center या blog, तो उस वेबसाइट का फ़ायरवॉल फिर भी Shoply को ब्लॉक कर सकता है। वे पेज कहाँ सूचीबद्ध हैं, यह जानने के लिए Shoply को अपने स्टोर के बारे में कैसे सिखाएँ देखें।

Shoply को मेरी वेबसाइट पढ़ने की आवश्यकता क्यों है?

Shoply उन पेजों को पढ़ता है जिन्हें आपने अपनी crawl settings में सूचीबद्ध किया है, ताकि चैटबॉट के उत्तर, कीमतें और लिंक आपकी live site से मेल खाएँ।

Magento स्टोर्स के लिए, Shoply आपके स्टोर के GraphQL endpoint (/graphql) के माध्यम से आपके public product catalog को भी पढ़ता है। यह names, SKUs, prices, variants और product URLs जैसी जानकारी के लिए read-only product queries भेजता है।

क्रॉलर कभी login नहीं करता, कभी orders नहीं देता, और कभी forms submit नहीं करता। Shoply इस content के साथ क्या करता है, यह जानने के लिए Shoply ग्राहक प्रश्नों का उत्तर देने के लिए कौन-सी जानकारी उपयोग करता है पढ़ें।

यदि क्रॉलर ब्लॉक हो जाए तो क्या होता है?

• Crawls विफल हो जाते हैं। Shoply आपके पेज या product data प्राप्त नहीं कर पाता।
• AI आख़िरी सफल crawl से ही जवाब देता रहता है। खरीदारों को पुरानी कीमतें, वे उत्पाद जिन्हें आप हटा चुके हैं, और पुराने या गलत लिंक दिख सकते हैं। एक वास्तविक मामले में, एक स्टोर development site से अपने production domain पर चला गया, लेकिन उसके फ़ायरवॉल ने क्रॉलर को ब्लॉक कर दिया, इसलिए चैटबॉट खरीदारों को पुरानी development site पर ही लिंक करता रहा।
• आपके Shoply admin dashboard पर “Last updated … ago” आगे बढ़ना बंद कर देता है।

ब्लॉक किए गए क्रॉलर के सामान्य संकेत

Shoply admin में, crawl time पीछे रह जाता है। Dashboard पर Content crawled by Shoply AI के नीचे “Last updated at: … ago” का समय हर कुछ घंटों में reset होने के बजाय बढ़ता रहता है, उदाहरण के लिए “770 hours ago” (लगभग एक महीना)। Recrawl Now क्लिक करने के बाद भी यह पीछे ही रहता है, क्योंकि ब्लॉक हुआ crawl कभी पूरा नहीं होता।

यदि आप अपने फ़ायरवॉल logs जाँचते हैं, तो सामान्य संकेत यह होता है कि Cloudflare Shoply की requests को HTTP 403 लौटाता है, आमतौर पर इन रूपों में:

• Error 1010, जिसका मतलब है कि साइट owner ने request को उसके browser signature के आधार पर प्रतिबंधित किया है। इस error के लिए Cloudflare का अपना समाधान Browser Integrity Check की ओर इशारा करता है।
• एक “Just a moment…” challenge page, जिसे कोई क्रॉलर पूरा नहीं कर सकता।

मैं Shoply के क्रॉलर को कैसे पहचानूँ?

Shoply के क्रॉलर से आने वाली हर request यह User-Agent उपयोग करती है:

ShoplyAIBot/1.0 (https://shoplyai.ai; support@shoplyai.ai; For sites installed Shoply AI Search & Chatbot)

अपने rules को छोटे टेक्स्ट ShoplyAIBot से match करने के लिए लिखें (उदाहरण के लिए, “User-Agent contains ShoplyAIBot”)। तब version number बदलने पर भी आपका rule काम करता रहेगा।

IP address के बजाय user agent के आधार पर अनुमति दें। Shoply का क्रॉलर fixed IP addresses का उपयोग नहीं करता, इसलिए IP allowlist विश्वसनीय रूप से काम नहीं करेगी।

क्रॉलर कैसे काम करता है

• यह केवल उन्हीं साइटों को crawl करता है जिन्हें आपने Shoply में configure किया है।
• यह pages पढ़ते समय robots.txt का पालन करता है। यदि आपका robots.txt किसी page को block करता है, तो Shoply उसे skip कर देगा, इसलिए जाँच लें कि वह उन pages को block नहीं कर रहा जिन्हें आप AI को सिखाना चाहते हैं।
• यह आपके server पर कम लोड डालता है: एक समय में अधिकतम 2 requests, और requests के बीच 2 सेकंड का अंतर।
• Page count की सीमा आपके Shoply plan द्वारा तय होती है।

क्रॉलर कब चलता है

• निर्धारित schedule पर अपने आप। इसकी आवृत्ति आपके plan पर निर्भर करती है।
• जब आप Shoply admin में “Recrawl Now” क्लिक करते हैं।
• जब तक crawls विफल होते रहते हैं, हर 2 दिन में। Shoply अपने आप retry करता है, इसलिए जैसे ही आप allow rule जोड़ते हैं, अगला retry या manual recrawl आपकी साइट को उठा लेगा।

मैं Cloudflare में Shoply को कैसे अनुमति दूँ?

Cloudflare में, Skip action के साथ एक custom rule बनाएँ। Skip rule matching requests को उन security checks को bypass करने देता है जो अन्यथा उन्हें block या challenge कर देते।

चरण 1: skip rule बनाएँ

1. Cloudflare dashboard में, अपनी वेबसाइट (zone) खोलें और Security rules पर जाएँ।

2. Create rule > Custom rules चुनें।

3. Rule name में कोई स्पष्ट नाम दर्ज करें, जैसे Allow Shoply AI crawler।

4. When incoming requests match के अंतर्गत, यह सेट करें:

   • Field: User Agent
   • Operator: contains
   • Value: ShoplyAIBot

   यदि आप expression editor पसंद करते हैं, तो यह उपयोग करें:

   text

   (http.user_agent contains "ShoplyAIBot")

5. Then take action > Choose action के अंतर्गत, Skip चुनें।

6. क्या skip करना है, यह चुनें (नीचे दी गई तालिका देखें)।

7. Log matching requests को चालू रहने दें। तब Shoply की requests Cloudflare के Security Events में दिखाई देंगी, जो troubleshooting में मदद करता है।

8. Deploy चुनें।

चरण 2: क्या skip करना है, यह चुनें

“हाँ” वाली rows से शुरुआत करें। यदि Cloudflare के Security Events फिर भी दिखाएँ कि Shoply की requests block या challenge हो रही हैं, तो event आपको बताएगा कि कौन-सा feature लागू हुआ। उस feature को skip rule में जोड़ दें।

चरण 3: rule को सबसे ऊपर रखें

Cloudflare custom rules का मूल्यांकन क्रम से करता है, पहले से आख़िर तक। यदि आपके rule के ऊपर कोई rule request को block या challenge कर देता है, तो आपका skip rule कभी चलता ही नहीं। Shoply rule को अपनी custom rules list के सबसे ऊपर ले जाएँ।

यदि आप Bot Fight Mode (Cloudflare Free plan) का उपयोग करते हैं

Bot Fight Mode को skip rule से bypass नहीं किया जा सकता। Cloudflare इसे custom rules से अलग चलाता है, इसलिए skip और allow rules उस पर प्रभाव नहीं डालते। आपके पास दो विकल्प हैं:

• Bot Fight Mode बंद करें: Security > Settings पर जाएँ, Bot traffic से filter करें, और Bot fight mode बंद करें।
• Pro plan या उससे ऊपर upgrade करें और Super Bot Fight Mode उपयोग करें, जो skip rules को support करता है।

यदि Under Attack mode चालू है

Under Attack mode हर visitor को एक challenge page दिखाता है, और क्रॉलर उसे पार नहीं कर सकते। Cloudflare इसे केवल सक्रिय attack के दौरान उपयोग करने की सलाह देता है। जब तक इसे बंद नहीं किया जाता, Shoply आपकी साइट नहीं पढ़ पाएगा।

क्या user agent को अनुमति देना सुरक्षित है?

कोई भी client दावा कर सकता है कि वह ShoplyAIBot है, इसलिए यह rule उस User-Agent को भेजने वाले किसी भी व्यक्ति के लिए कुछ bot checks को skip कर देता है। जोखिम कम रखने के लिए, केवल उन्हीं features को skip करें जो क्रॉलर को block करते हैं, और अपने login, checkout, और admin protections को यथावत रखें। Shoply को उन क्षेत्रों तक कभी पहुँच की आवश्यकता नहीं होती।

मैं अन्य फ़ायरवॉल्स में Shoply को कैसे अनुमति दूँ?

सिद्धांत हर जगह एक जैसा है: उन requests को अनुमति दें जिनके User-Agent में ShoplyAIBot शामिल हो। अलग-अलग products में exact menus अलग होते हैं, इसलिए allow या exception rule बनाने के लिए अपने vendor के documentation का पालन करें। जाँचने के सामान्य स्थान:

• Cloud web application firewalls (WAFs) जैसे Sucuri, AWS WAF, और Akamai: User-Agent header से match करने वाला allow या exception rule जोड़ें।
• WordPress security plugins जैसे Wordfence: bot blocking, rate limiting, या user-agent blocking settings देखें।
• Server-level filters जैसे ModSecurity rules, और आपकी hosting company द्वारा दिए गए bot blockers: user agent को whitelist करें, या अपने host से ऐसा करने के लिए कहें।

Magento स्टोर्स: सुनिश्चित करें कि rule /graphql पर POST requests को भी cover करता हो। कुछ फ़ायरवॉल API requests को page views से अलग तरह से संभालते हैं। यदि pages की अनुमति है लेकिन /graphql block है, तो आपका product catalog update नहीं होगा।

IP allowlist पर निर्भर न रहें। Shoply का क्रॉलर fixed IP addresses का उपयोग नहीं करता।

मैं कैसे जाँचूँ कि यह काम कर गया?

1. Shoply admin में, Recrawl Now क्लिक करें।
2. Crawl पूरा होने तक प्रतीक्षा करें, फिर जाँचें कि आपके dashboard पर “Last updated” हाल के समय पर reset हो गया है।
3. चैटबॉट से किसी ऐसे product या page के बारे में पूछें जिसे आपने हाल ही में बदला है, और पुष्टि करें कि उत्तर और लिंक आपकी live site से मेल खाते हैं।

आप अपने कंप्यूटर से एक त्वरित जाँच भी चला सकते हैं। https://your-site.com/ को अपनी वेबसाइट के पते से बदलें:

curl -I -A "ShoplyAIBot/1.0 (https://shoplyai.ai; support@shoplyai.ai; For sites installed Shoply AI Search & Chatbot)" https://your-site.com/

HTTP/2 200 (या HTTP/1.1 200 OK) का response यह दर्शाता है कि आपका rule उस user agent को अंदर आने दे रहा है। 403 का मतलब है कि अभी भी कुछ उसे block कर रहा है।

यह test आपके कंप्यूटर के IP address से चलता है, Shoply के servers से नहीं। कुछ फ़ायरवॉल traffic को उसके स्रोत के आधार पर अलग तरह से संभालते हैं, इसलिए Shoply admin में recrawl ही अंतिम जाँच है।

मदद चाहिए?

अपनी वेबसाइट का पता, आप कौन-सा फ़ायरवॉल या hosting provider उपयोग करते हैं, और अपने फ़ायरवॉल logs में किसी blocked request का screenshot सहित support@shoplyai.ai पर email करें। कृपया passwords या API keys न भेजें।