Πώς να επιτρέψετε στον ανιχνευτή του Shoply AI να περνά από το firewall σας

Το Shoply AI διατηρεί τις απαντήσεις του ακριβείς διαβάζοντας τακτικά τον ιστότοπό σας. Αν ο ιστότοπός σας χρησιμοποιεί Cloudflare ή άλλη υπηρεσία firewall ή προστασίας από bots, αυτή η υπηρεσία μπορεί να μπλοκάρει τον ανιχνευτή του Shoply. Όταν συμβαίνει αυτό, το chatbot συνεχίζει να απαντά από ένα παλιό αντίγραφο του ιστότοπού σας.

Η λύση είναι συνήθως ένας κανόνας: να επιτρέπονται αιτήματα των οποίων το User-Agent περιέχει ShoplyAIBot. Αυτός ο οδηγός εξηγεί γιατί χρειάζεται ο ανιχνευτής, πώς να τον αναγνωρίζετε και πώς να τον επιτρέπετε στο Cloudflare και σε άλλα firewalls.

Ποιος χρειάζεται να το κάνει αυτό;

• Ιδιοκτήτες ιστοτόπων SiteChat. Το SiteChat είναι η συνομιλία και αναζήτηση του Shoply για κάθε ιστότοπο που δεν είναι κατάστημα Shopify, συμπεριλαμβανομένων των καταστημάτων Magento.
• Agencies και developers που διαχειρίζονται το hosting, ένα CDN (δίκτυο διανομής περιεχομένου) ή τις ρυθμίσεις ασφαλείας αυτών των ιστοτόπων.

Οι έμποροι της εφαρμογής Shopify συνήθως δεν χρειάζεται να αλλάξουν τίποτα. Το Shoply λαμβάνει τα δεδομένα προϊόντων Shopify μέσω του API του Shopify, όχι με ανίχνευση του storefront σας. Ωστόσο, αν προσθέσατε σελίδες από ιστότοπο που δεν είναι Shopify ως πηγές γνώσης, όπως ένα help center ή blog που φιλοξενείται αλλού, το firewall εκείνου του ιστότοπου μπορεί και πάλι να μπλοκάρει το Shoply. Δείτε πώς να διδάξετε το Shoply για το κατάστημά σας για το πού εμφανίζονται αυτές οι σελίδες.

Γιατί χρειάζεται το Shoply να διαβάζει τον ιστότοπό μου;

Το Shoply διαβάζει τις σελίδες που έχετε καταχωρίσει στις ρυθμίσεις ανίχνευσης, ώστε οι απαντήσεις, οι τιμές και οι σύνδεσμοι του chatbot να ταιριάζουν με τον ενεργό ιστότοπό σας.

Για καταστήματα Magento, το Shoply διαβάζει επίσης τον δημόσιο κατάλογο προϊόντων σας μέσω του endpoint GraphQL του καταστήματός σας (/graphql). Στέλνει read-only ερωτήματα προϊόντων για λεπτομέρειες όπως ονόματα, SKU, τιμές, παραλλαγές και URL προϊόντων.

Ο ανιχνευτής δεν συνδέεται ποτέ, δεν καταχωρεί ποτέ παραγγελίες και δεν υποβάλλει ποτέ φόρμες. Για να μάθετε τι κάνει το Shoply με αυτό το περιεχόμενο, διαβάστε ποιες πληροφορίες χρησιμοποιεί το Shoply για να απαντά σε ερωτήσεις πελατών.

Τι συμβαίνει αν ο ανιχνευτής μπλοκάρεται;

• Οι ανιχνεύσεις αποτυγχάνουν. Το Shoply δεν μπορεί να ανακτήσει τις σελίδες ή τα δεδομένα προϊόντων σας.
• Το AI συνεχίζει να απαντά από την τελευταία επιτυχημένη ανίχνευση. Οι αγοραστές μπορεί να βλέπουν παλιές τιμές, προϊόντα που έχετε αφαιρέσει και ξεπερασμένους ή λανθασμένους συνδέσμους. Σε μια πραγματική περίπτωση, ένα κατάστημα μεταφέρθηκε από development site στο production domain του, αλλά το firewall του μπλόκαρε τον ανιχνευτή, οπότε το chatbot συνέχιζε να στέλνει τους αγοραστές στο παλιό development site.
• Το “Last updated … ago” σταματά να προχωρά στο admin dashboard του Shoply.

Συνήθη σημάδια ενός μπλοκαρισμένου ανιχνευτή

Στο admin του Shoply, ο χρόνος ανίχνευσης μένει πίσω. Στο dashboard, ο χρόνος “Last updated at: … ago” κάτω από το Content crawled by Shoply AI συνεχίζει να αυξάνεται αντί να επαναφέρεται κάθε λίγες ώρες, για παράδειγμα “770 hours ago” (περίπου ένας μήνας). Παραμένει πίσω ακόμη και αφού πατήσετε Recrawl Now, επειδή μια μπλοκαρισμένη ανίχνευση δεν ολοκληρώνεται ποτέ.

Αν ελέγξετε τα logs του firewall σας, το συνηθισμένο σύμπτωμα είναι ότι το Cloudflare επιστρέφει HTTP 403 στα αιτήματα του Shoply, σε μία από αυτές τις μορφές:

• Error 1010, που σημαίνει ότι ο ιδιοκτήτης του ιστότοπου απαγόρευσε το αίτημα με βάση την υπογραφή browser του. Η ίδια η λύση του Cloudflare για αυτό το σφάλμα παραπέμπει στο Browser Integrity Check.
• Μια σελίδα πρόκλησης “Just a moment…”, την οποία ένας ανιχνευτής δεν μπορεί να ολοκληρώσει.

Πώς αναγνωρίζω τον ανιχνευτή του Shoply;

Κάθε αίτημα από τον ανιχνευτή του Shoply χρησιμοποιεί αυτό το User-Agent:

ShoplyAIBot/1.0 (https://shoplyai.ai; support@shoplyai.ai; For sites installed Shoply AI Search & Chatbot)

Γράψτε τους κανόνες σας ώστε να ταιριάζουν με το συντομότερο κείμενο ShoplyAIBot (για παράδειγμα, “User-Agent contains ShoplyAIBot”). Έτσι ο κανόνας σας θα συνεχίσει να λειτουργεί αν αλλάξει ο αριθμός έκδοσης.

Επιτρέψτε βάσει user agent, όχι βάσει διεύθυνσης IP. Ο ανιχνευτής του Shoply δεν χρησιμοποιεί σταθερές διευθύνσεις IP, οπότε μια allowlist IP δεν θα λειτουργεί αξιόπιστα.

Πώς συμπεριφέρεται ο ανιχνευτής

• Ανιχνεύει μόνο τους ιστότοπους που ρυθμίσατε στο Shoply.
• Σέβεται το robots.txt όταν διαβάζει σελίδες. Αν το robots.txt σας μπλοκάρει μια σελίδα, το Shoply θα την παραλείψει, οπότε ελέγξτε ότι δεν μπλοκάρει τις σελίδες από τις οποίες θέλετε να μάθει το AI.
• Είναι ήπιο προς τον server σας: το πολύ 2 αιτήματα ταυτόχρονα, με καθυστέρηση 2 δευτερολέπτων μεταξύ αιτημάτων.
• Ο αριθμός σελίδων έχει ανώτατο όριο σύμφωνα με το πλάνο Shoply που έχετε.

Πότε εκτελείται ο ανιχνευτής

• Αυτόματα με πρόγραμμα. Το πόσο συχνά εξαρτάται από το πλάνο σας.
• Όταν πατάτε “Recrawl Now” στο admin του Shoply.
• Κάθε 2 ημέρες όσο οι ανιχνεύσεις συνεχίζουν να αποτυγχάνουν. Το Shoply επαναπροσπαθεί αυτόματα, οπότε μόλις προσθέσετε τον κανόνα allow, η επόμενη επανάληψη ή μια χειροκίνητη επαναανίχνευση θα εντοπίσει τον ιστότοπό σας.

Πώς επιτρέπω το Shoply στο Cloudflare;

Στο Cloudflare, δημιουργήστε έναν custom rule με ενέργεια Skip. Ένας skip rule επιτρέπει στα αιτήματα που ταιριάζουν να παρακάμπτουν τους ελέγχους ασφαλείας που διαφορετικά θα τα μπλόκαραν ή θα τα υπέβαλλαν σε challenge.

Βήμα 1: Δημιουργήστε τον skip rule

1. Στο dashboard του Cloudflare, ανοίξτε τον ιστότοπό σας (zone) και πηγαίνετε στα Security rules.

2. Επιλέξτε Create rule > Custom rules.

3. Στο Rule name, εισαγάγετε κάτι σαφές, όπως Allow Shoply AI crawler.

4. Κάτω από το When incoming requests match, ορίστε:

   • Field: User Agent
   • Operator: contains
   • Value: ShoplyAIBot

   Αν προτιμάτε τον expression editor, χρησιμοποιήστε:

   text

   (http.user_agent contains "ShoplyAIBot")

5. Κάτω από Then take action > Choose action, επιλέξτε Skip.

6. Επιλέξτε τι θα παρακάμπτεται (δείτε τον πίνακα παρακάτω).

7. Αφήστε το Log matching requests ενεργοποιημένο. Έτσι τα αιτήματα του Shoply θα εμφανίζονται στα Security Events του Cloudflare, κάτι που βοηθά στην αντιμετώπιση προβλημάτων.

8. Επιλέξτε Deploy.

Βήμα 2: Επιλέξτε τι θα παρακάμπτεται

Ξεκινήστε με τις γραμμές που λένε “Ναι”. Αν τα Security Events του Cloudflare εξακολουθούν να δείχνουν ότι τα αιτήματα του Shoply μπλοκάρονται ή υποβάλλονται σε challenge, το event θα σας πει ποια λειτουργία ενήργησε. Προσθέστε εκείνη τη λειτουργία στον skip rule.

Βήμα 3: Βάλτε τον κανόνα πρώτο

Το Cloudflare αξιολογεί τους custom rules με σειρά, από τον πρώτο έως τον τελευταίο. Αν κάποιος κανόνας πάνω από τον δικό σας μπλοκάρει ή βάζει challenge στο αίτημα, ο skip rule σας δεν εκτελείται ποτέ. Μετακινήστε τον κανόνα του Shoply στην κορυφή της λίστας custom rules σας.

Αν χρησιμοποιείτε Bot Fight Mode (Cloudflare Free plan)

Το Bot Fight Mode δεν μπορεί να παρακαμφθεί με skip rule. Το Cloudflare το εκτελεί ξεχωριστά από τους custom rules, οπότε οι κανόνες skip και allow δεν έχουν καμία επίδραση σε αυτό. Έχετε δύο επιλογές:

• Απενεργοποιήστε το Bot Fight Mode: πηγαίνετε στο Security > Settings, φιλτράρετε κατά Bot traffic και απενεργοποιήστε το Bot fight mode.
• Κάντε αναβάθμιση σε πλάνο Pro ή ανώτερο και χρησιμοποιήστε Super Bot Fight Mode, το οποίο υποστηρίζει skip rules.

Αν το Under Attack mode είναι ενεργό

Το Under Attack mode εμφανίζει μια σελίδα challenge σε κάθε επισκέπτη και οι ανιχνευτές δεν μπορούν να την περάσουν. Το Cloudflare συνιστά να χρησιμοποιείται μόνο κατά τη διάρκεια ενεργής επίθεσης. Το Shoply δεν θα μπορεί να διαβάσει τον ιστότοπό σας μέχρι να απενεργοποιηθεί.

Είναι ασφαλές να επιτρέψω ένα user agent;

Οποιοσδήποτε client μπορεί να ισχυριστεί ότι είναι ShoplyAIBot, άρα αυτός ο κανόνας παρακάμπτει ορισμένους ελέγχους bot για οποιονδήποτε στέλνει αυτό το User-Agent. Για να κρατήσετε τον κίνδυνο μικρό, παρακάμπτετε μόνο τις λειτουργίες που μπλοκάρουν τον ανιχνευτή και διατηρήστε τις προστασίες για login, checkout και admin. Το Shoply δεν χρειάζεται ποτέ πρόσβαση σε αυτές τις περιοχές.

Πώς επιτρέπω το Shoply σε άλλα firewalls;

Η αρχή είναι η ίδια παντού: επιτρέψτε αιτήματα των οποίων το User-Agent περιέχει ShoplyAIBot. Τα ακριβή μενού διαφέρουν ανά προϊόν, οπότε ακολουθήστε την τεκμηρίωση του παρόχου σας για τη δημιουργία κανόνα allow ή exception. Συνήθη σημεία που πρέπει να ελέγξετε:

• Cloud web application firewalls (WAFs) όπως Sucuri, AWS WAF και Akamai: προσθέστε κανόνα allow ή exception που ταιριάζει με το header User-Agent.
• WordPress security plugins όπως Wordfence: αναζητήστε ρυθμίσεις για bot blocking, rate limiting ή user-agent blocking.
• Server-level filters όπως κανόνες ModSecurity και bot blockers που παρέχονται από την εταιρεία hosting σας: βάλτε το user agent σε whitelist ή ζητήστε από το host σας να το κάνει.

Καταστήματα Magento: βεβαιωθείτε ότι ο κανόνας καλύπτει επίσης POST requests προς /graphql. Ορισμένα firewalls χειρίζονται τα API requests ξεχωριστά από τα page views. Αν επιτρέπονται οι σελίδες αλλά το /graphql μπλοκάρεται, ο κατάλογος προϊόντων σας δεν θα ενημερώνεται.

Μην βασίζεστε σε allowlist IP. Ο ανιχνευτής του Shoply δεν χρησιμοποιεί σταθερές διευθύνσεις IP.

Πώς ελέγχω ότι λειτούργησε;

1. Στο admin του Shoply, πατήστε Recrawl Now.
2. Περιμένετε να ολοκληρωθεί η ανίχνευση και μετά ελέγξτε ότι το “Last updated” στο dashboard σας έχει επαναφερθεί σε πρόσφατο χρόνο.
3. Ρωτήστε το chatbot για ένα προϊόν ή μια σελίδα που αλλάξατε πρόσφατα και επιβεβαιώστε ότι η απάντηση και ο σύνδεσμος ταιριάζουν με τον ενεργό ιστότοπό σας.

Μπορείτε επίσης να κάνετε έναν γρήγορο έλεγχο από τον δικό σας υπολογιστή. Αντικαταστήστε το https://your-site.com/ με τη διεύθυνση του ιστότοπού σας:

curl -I -A "ShoplyAIBot/1.0 (https://shoplyai.ai; support@shoplyai.ai; For sites installed Shoply AI Search & Chatbot)" https://your-site.com/

Μια απάντηση HTTP/2 200 (ή HTTP/1.1 200 OK) σημαίνει ότι ο κανόνας σας επιτρέπει τη διέλευση σε αυτό το user agent. Ένα 403 σημαίνει ότι κάτι εξακολουθεί να το μπλοκάρει.

Αυτό το τεστ εκτελείται από τη διεύθυνση IP του υπολογιστή σας, όχι από τους servers του Shoply. Ορισμένα firewalls χειρίζονται την κίνηση διαφορετικά ανάλογα με την προέλευσή της, οπότε η επαναανίχνευση στο admin του Shoply είναι ο τελικός έλεγχος.

Χρειάζεστε βοήθεια;

Στείλτε email στο support@shoplyai.ai με τη διεύθυνση του ιστότοπού σας, το firewall ή τον πάροχο hosting που χρησιμοποιείτε και ένα screenshot οποιουδήποτε μπλοκαρισμένου αιτήματος στα logs του firewall σας. Παρακαλούμε μην στείλετε κωδικούς πρόσβασης ή API keys.