Cum să permiți crawlerul Shoply AI să treacă prin firewallul tău

Shoply AI își păstrează răspunsurile corecte citind în mod regulat website-ul tău. Dacă site-ul tău folosește Cloudflare sau un alt serviciu de firewall ori protecție anti-boți, acel serviciu poate bloca crawlerul Shoply. Când se întâmplă asta, chatbotul continuă să răspundă pe baza unei copii vechi a site-ului tău.

Rezolvarea este de obicei o singură regulă: permite cererile al căror User-Agent conține ShoplyAIBot. Acest ghid explică de ce este necesar crawlerul, cum să îl recunoști și cum să îi permiți accesul în Cloudflare și în alte firewalluri.

Cine trebuie să facă asta?

• Proprietarii de website-uri SiteChat. SiteChat este funcția de chat și căutare Shoply pentru orice website care nu este un magazin Shopify, inclusiv magazine Magento.
• Agențiile și dezvoltatorii care gestionează găzduirea, un CDN (content delivery network) sau setările de securitate pentru aceste website-uri.

Comercianții care folosesc aplicația Shopify, de regulă, nu trebuie să schimbe nimic. Shoply primește datele despre produse din Shopify prin API-ul Shopify, nu prin crawlarea storefront-ului tău. Totuși, dacă ai adăugat pagini de pe un website non-Shopify ca surse de cunoștințe, cum ar fi un centru de ajutor sau un blog găzduit în altă parte, firewallul acelui website poate totuși să blocheze Shoply. Vezi cum să înveți Shoply despre magazinul tău pentru a afla unde sunt listate acele pagini.

De ce trebuie Shoply să îmi citească website-ul?

Shoply citește paginile pe care le-ai listat în setările de crawl, astfel încât răspunsurile, prețurile și linkurile chatbotului să corespundă site-ului tău live.

Pentru magazinele Magento, Shoply citește și catalogul public de produse prin endpoint-ul GraphQL al magazinului tău (/graphql). Trimite interogări de produse doar pentru citire, pentru detalii precum nume, SKU-uri, prețuri, variante și URL-uri de produs.

Crawlerul nu se autentifică niciodată, nu plasează niciodată comenzi și nu trimite niciodată formulare. Pentru a afla ce face Shoply cu acest conținut, citește ce informații folosește Shoply pentru a răspunde la întrebările clienților.

Ce se întâmplă dacă crawlerul este blocat?

• Crawlurile eșuează. Shoply nu poate prelua paginile tale sau datele despre produse.
• AI-ul continuă să răspundă pe baza ultimului crawl reușit. Cumpărătorii pot vedea prețuri vechi, produse pe care le-ai eliminat și linkuri învechite sau greșite. Într-un caz real, un magazin s-a mutat de pe un site de dezvoltare pe domeniul de producție, dar firewallul său a blocat crawlerul, astfel că chatbotul a continuat să trimită cumpărătorii către vechiul site de dezvoltare.
• „Last updated … ago” nu mai avansează în dashboardul tău de administrare Shoply.

Semne comune ale unui crawler blocat

În administrarea Shoply, timpul de crawl rămâne în urmă. În dashboard, timpul “Last updated at: … ago” de sub Content crawled by Shoply AI continuă să crească în loc să se reseteze la fiecare câteva ore, de exemplu „770 hours ago” (aproximativ o lună). Rămâne în urmă chiar și după ce apeși Recrawl Now, deoarece un crawl blocat nu se finalizează niciodată.

Dacă verifici logurile firewallului tău, simptomul obișnuit este că Cloudflare returnează HTTP 403 la cererile Shoply, într-una dintre aceste forme:

• Error 1010, ceea ce înseamnă că proprietarul site-ului a interzis cererea pe baza semnăturii browserului său. Soluția indicată chiar de Cloudflare pentru această eroare trimite la Browser Integrity Check.
• O pagină de provocare “Just a moment…”, pe care un crawler nu o poate finaliza.

Cum recunosc crawlerul Shoply?

Fiecare cerere din partea crawlerului Shoply folosește acest User-Agent:

ShoplyAIBot/1.0 (https://shoplyai.ai; support@shoplyai.ai; For sites installed Shoply AI Search & Chatbot)

Scrie regulile tale astfel încât să se potrivească cu textul mai scurt ShoplyAIBot (de exemplu, „User-Agent conține ShoplyAIBot”). Astfel, regula ta va continua să funcționeze chiar dacă numărul versiunii se schimbă.

Permite pe baza user agent-ului, nu pe baza adresei IP. Crawlerul Shoply nu folosește adrese IP fixe, așa că o listă de IP-uri permise nu va funcționa fiabil.

Cum se comportă crawlerul

• Crawl-ează doar site-urile pe care le-ai configurat în Shoply.
• Respectă robots.txt atunci când citește paginile. Dacă robots.txt blochează o pagină, Shoply o va sări, așa că verifică să nu blocheze paginile din care vrei ca AI-ul să învețe.
• Are un impact redus asupra serverului tău: maximum 2 cereri simultan, cu o pauză de 2 secunde între cereri.
• Numărul de pagini este limitat de planul tău Shoply.

Când rulează crawlerul

• Automat, conform unui program. Frecvența depinde de planul tău.
• Când apeși “Recrawl Now” în administrarea Shoply.
• La fiecare 2 zile cât timp crawlurile continuă să eșueze. Shoply reîncearcă automat, așa că odată ce adaugi regula de allow, următoarea reîncercare sau un recrawl manual va prelua site-ul tău.

Cum permit Shoply în Cloudflare?

În Cloudflare, creează o custom rule cu acțiunea Skip. O regulă de skip permite cererilor potrivite să ocolească verificările de securitate care altfel le-ar bloca sau provoca.

Pasul 1: Creează regula de skip

1. În dashboardul Cloudflare, deschide website-ul tău (zone) și mergi la Security rules.

2. Selectează Create rule > Custom rules.

3. În Rule name, introdu ceva clar, cum ar fi Allow Shoply AI crawler.

4. Sub When incoming requests match, setează:

   • Field: User Agent
   • Operator: contains
   • Value: ShoplyAIBot

   Dacă preferi editorul de expresii, folosește:

   text

   (http.user_agent contains "ShoplyAIBot")

5. Sub Then take action > Choose action, selectează Skip.

6. Alege ce să fie omis (vezi tabelul de mai jos).

7. Lasă Log matching requests activat. Cererile Shoply vor apărea astfel în Security Events din Cloudflare, ceea ce ajută la depanare.

8. Selectează Deploy.

Pasul 2: Alege ce să fie omis

Începe cu rândurile marcate „Da”. Dacă Security Events din Cloudflare continuă să arate că cererile Shoply sunt blocate sau provocate, evenimentul îți spune ce funcție a acționat. Adaugă acea funcție în regula de skip.

Pasul 3: Pune regula pe primul loc

Cloudflare evaluează regulile personalizate în ordine, de la prima la ultima. Dacă o regulă de deasupra ei blochează sau provoacă cererea, regula ta de skip nu va rula niciodată. Mută regula Shoply în partea de sus a listei tale de reguli personalizate.

Dacă folosești Bot Fight Mode (planul Cloudflare Free)

Bot Fight Mode nu poate fi ocolit cu o regulă de skip. Cloudflare îl rulează separat de regulile personalizate, așa că regulile de skip și allow nu au efect asupra lui. Ai două opțiuni:

• Dezactivează Bot Fight Mode: mergi la Security > Settings, filtrează după Bot traffic și dezactivează Bot fight mode.
• Treci la un plan Pro sau mai mare și folosește Super Bot Fight Mode, care suportă reguli de skip.

Dacă Under Attack mode este activat

Under Attack mode afișează o pagină de provocare fiecărui vizitator, iar crawlerele nu o pot trece. Cloudflare recomandă folosirea lui doar în timpul unui atac activ. Shoply nu va putea citi site-ul tău până când nu este dezactivat.

Este sigur să permiți un user agent?

Orice client poate pretinde că este ShoplyAIBot, așa că această regulă omite unele verificări pentru orice solicitant care trimite acel User-Agent. Pentru a menține riscul scăzut, omite doar funcțiile care blochează crawlerul și păstrează protecțiile pentru autentificare, checkout și administrare. Shoply nu are niciodată nevoie de acces la acele zone.

Cum permit Shoply în alte firewalluri?

Principiul este același peste tot: permite cererile al căror User-Agent conține ShoplyAIBot. Meniurile exacte diferă în funcție de produs, așa că urmează documentația furnizorului tău pentru a crea o regulă de allow sau de excepție. Locuri comune de verificat:

• Cloud web application firewalls (WAFs) precum Sucuri, AWS WAF și Akamai: adaugă o regulă de allow sau de excepție care se potrivește cu headerul User-Agent.
• Pluginuri de securitate WordPress precum Wordfence: caută setările pentru blocarea boților, rate limiting sau blocarea pe baza user-agent-ului.
• Filtre la nivel de server precum regulile ModSecurity și blocatoarele de boți oferite de compania ta de găzduire: pune user agent-ul pe whitelist sau cere gazdei tale să facă asta.

Magazine Magento: asigură-te că regula acoperă și cererile POST către /graphql. Unele firewalluri tratează cererile API separat de vizualizările de pagină. Dacă paginile sunt permise, dar /graphql este blocat, catalogul tău de produse nu se va actualiza.

Nu te baza pe o listă de IP-uri permise. Crawlerul Shoply nu folosește adrese IP fixe.

Cum verific că a funcționat?

1. În administrarea Shoply, apasă Recrawl Now.
2. Așteaptă finalizarea crawlului, apoi verifică dacă “Last updated” din dashboard s-a resetat la un moment recent.
3. Întreabă chatbotul despre un produs sau o pagină pe care ai modificat-o recent și confirmă că răspunsul și linkul corespund site-ului tău live.

De asemenea, poți rula o verificare rapidă de pe propriul computer. Înlocuiește https://your-site.com/ cu adresa website-ului tău:

curl -I -A "ShoplyAIBot/1.0 (https://shoplyai.ai; support@shoplyai.ai; For sites installed Shoply AI Search & Chatbot)" https://your-site.com/

Un răspuns HTTP/2 200 (sau HTTP/1.1 200 OK) înseamnă că regula ta permite trecerea acelui user agent. Un 403 înseamnă că ceva încă îl blochează.

Acest test rulează de pe adresa IP a computerului tău, nu de pe serverele Shoply. Unele firewalluri tratează traficul diferit în funcție de sursa lui, așa că recrawlul din administrarea Shoply este verificarea finală.

Ai nevoie de ajutor?

Trimite un email la support@shoplyai.ai cu adresa website-ului tău, firewallul sau furnizorul de găzduire pe care îl folosești și o captură de ecran a oricărei cereri blocate din logurile firewallului tău. Te rugăm să nu trimiți parole sau chei API.