Sådan tillader du Shoply AI’s crawler gennem din firewall

Shoply AI holder sine svar præcise ved regelmæssigt at læse dit website. Hvis dit site bruger Cloudflare eller en anden firewall- eller botbeskyttelsestjeneste, kan den tjeneste blokere Shoplys crawler. Når det sker, bliver chatbotten ved med at svare ud fra en gammel kopi af dit site.

Løsningen er som regel én regel: tillad forespørgsler, hvis User-Agent indeholder ShoplyAIBot. Denne guide forklarer, hvorfor crawleren er nødvendig, hvordan du genkender den, og hvordan du tillader den i Cloudflare og andre firewalls.

Hvem skal gøre dette?

• SiteChat-ejere af websites. SiteChat er Shoplys chat og søgning til ethvert website, der ikke er en Shopify-butik, inklusive Magento-butikker.
• Bureauer og udviklere som administrerer hosting, et CDN (content delivery network) eller sikkerhedsindstillinger for disse websites.

Forhandlere med Shopify-appen behøver normalt ikke at ændre noget. Shoply modtager Shopify-produktdata gennem Shopifys API, ikke ved at crawle din storefront. Hvis du dog har tilføjet sider fra et website uden for Shopify som videnskilder, såsom et helpcenter eller en blog hostet et andet sted, kan det websites firewall stadig blokere Shoply. Se hvordan du lærer Shoply om din butik for at se, hvor disse sider er listet.

Hvorfor skal Shoply læse mit website?

Shoply læser de sider, du har angivet i dine crawl-indstillinger, så chatbotens svar, priser og links matcher dit live-site.

For Magento-butikker læser Shoply også dit offentlige produktkatalog gennem din butiks GraphQL-endpoint (/graphql). Den sender skrivebeskyttede produktforespørgsler om detaljer såsom navne, SKU’er, priser, varianter og produkt-URL’er.

Crawleren logger aldrig ind, afgiver aldrig ordrer og indsender aldrig formularer. Hvis du vil lære, hvad Shoply gør med dette indhold, kan du læse hvilke oplysninger Shoply bruger til at besvare kundespørgsmål.

Hvad sker der, hvis crawleren bliver blokeret?

• Crawls fejler. Shoply kan ikke hente dine sider eller produktdata.
• AI’en bliver ved med at svare ud fra den seneste vellykkede crawl. Shoppere kan se gamle priser, produkter du har fjernet, og forældede eller forkerte links. I et virkeligt tilfælde flyttede en butik fra et udviklingssite til sit produktionsdomæne, men firewall’en blokerede crawleren, så chatbotten blev ved med at linke shoppere til det gamle udviklingssite.
• “Sidst opdateret … siden” holder op med at rykke sig fremad på dit Shoply-admin-dashboard.

Almindelige tegn på en blokeret crawler

I Shoply-admin halter crawl-tiden bagefter. På dashboardet bliver tiden “Last updated at: … ago” under Content crawled by Shoply AI ved med at vokse i stedet for at nulstille sig hver få timer, for eksempel “770 hours ago” (omtrent en måned). Den bliver ved med at være forsinket, selv efter at du klikker på Recrawl Now, fordi en blokeret crawl aldrig bliver færdig.

Hvis du tjekker dine firewall-logs, er det sædvanlige symptom, at Cloudflare returnerer HTTP 403 til Shoplys forespørgsler i en af disse former:

• Error 1010, hvilket betyder, at site-ejeren har forbudt forespørgslen baseret på dens browsersignatur. Cloudflares egen løsning på denne fejl peger på Browser Integrity Check.
• En “Just a moment…”-udfordringsside, som en crawler ikke kan gennemføre.

Hvordan genkender jeg Shoplys crawler?

Enhver forespørgsel fra Shoplys crawler bruger denne User-Agent:

ShoplyAIBot/1.0 (https://shoplyai.ai; support@shoplyai.ai; For sites installed Shoply AI Search & Chatbot)

Skriv dine regler, så de matcher den kortere tekst ShoplyAIBot (for eksempel “User-Agent contains ShoplyAIBot”). Så vil din regel fortsat virke, hvis versionsnummeret ændrer sig.

Tillad efter user agent, ikke efter IP-adresse. Shoplys crawler bruger ikke faste IP-adresser, så en IP-tilladelsesliste vil ikke fungere pålideligt.

Sådan opfører crawleren sig

• Den crawler kun de sites, du har konfigureret i Shoply.
• Den følger robots.txt ved læsning af sider. Hvis din robots.txt blokerer en side, springer Shoply den over, så tjek, at den ikke blokerer de sider, du vil have AI’en til at lære fra.
• Den er skånsom mod din server: højst 2 forespørgsler ad gangen, med 2 sekunders forsinkelse mellem forespørgsler.
• Antallet af sider er begrænset af dit Shoply-abonnement.

Hvornår kører crawleren?

• Automatisk efter en tidsplan. Hvor ofte afhænger af dit abonnement.
• Når du klikker på “Recrawl Now” i Shoply-admin.
• Hver 2. dag, mens crawls bliver ved med at fejle. Shoply prøver automatisk igen, så når du har tilføjet tilladelsesreglen, vil næste forsøg eller en manuel recrawl hente dit site.

Hvordan tillader jeg Shoply i Cloudflare?

I Cloudflare skal du oprette en custom rule med handlingen Skip. En skip-regel lader matchende forespørgsler omgå de sikkerhedstjek, der ellers ville blokere eller udfordre dem.

Trin 1: Opret skip-reglen

1. I Cloudflare-dashboardet skal du åbne dit website (zone) og gå til Security rules.

2. Vælg Create rule > Custom rules.

3. I Rule name skal du indtaste noget tydeligt, såsom Allow Shoply AI crawler.

4. Under When incoming requests match skal du angive:

   • Field: User Agent
   • Operator: contains
   • Value: ShoplyAIBot

   Hvis du foretrækker expression editor, så brug:

   text

   (http.user_agent contains "ShoplyAIBot")

5. Under Then take action > Choose action skal du vælge Skip.

6. Vælg, hvad der skal springes over (se tabellen nedenfor).

7. Lad Log matching requests være slået til. Så vises Shoplys forespørgsler i Cloudflares Security Events, hvilket hjælper ved fejlsøgning.

8. Vælg Deploy.

Trin 2: Vælg, hvad der skal springes over

Start med rækkerne med “Ja”. Hvis Cloudflares Security Events stadig viser, at Shoplys forespørgsler bliver blokeret eller udfordret, fortæller hændelsen dig, hvilken funktion der greb ind. Tilføj den funktion til skip-reglen.

Trin 3: Placer reglen først

Cloudflare evaluerer custom rules i rækkefølge fra først til sidst. Hvis en regel over din blokerer eller udfordrer forespørgslen, bliver din skip-regel aldrig kørt. Flyt Shoply-reglen til toppen af din liste over custom rules.

Hvis du bruger Bot Fight Mode (Cloudflare Free-abonnement)

Bot Fight Mode kan ikke omgås med en skip-regel. Cloudflare kører den separat fra custom rules, så skip- og allow-regler har ingen effekt på den. Du har to muligheder:

• Slå Bot Fight Mode fra: gå til Security > Settings, filtrer efter Bot traffic, og slå Bot fight mode fra.
• Opgrader til et Pro-abonnement eller højere og brug Super Bot Fight Mode, som understøtter skip-regler.

Hvis Under Attack mode er slået til

Under Attack mode viser en udfordringsside til alle besøgende, og crawlere kan ikke komme forbi den. Cloudflare anbefaler kun at bruge den under et aktivt angreb. Shoply vil ikke kunne læse dit site, før den er slået fra.

Er det sikkert at tillade en user agent?

Enhver klient kan udgive sig for at være ShoplyAIBot, så denne regel springer nogle botkontroller over for enhver, der sender den User-Agent. For at holde risikoen lille bør du kun springe de funktioner over, som blokerer crawleren, og beholde beskyttelsen af login, checkout og admin-områder. Shoply har aldrig brug for adgang til disse områder.

Hvordan tillader jeg Shoply i andre firewalls?

Princippet er det samme overalt: tillad forespørgsler, hvis User-Agent indeholder ShoplyAIBot. De præcise menuer varierer fra produkt til produkt, så følg din leverandørs dokumentation for at oprette en tilladelses- eller undtagelsesregel. Almindelige steder at tjekke:

• Cloud web application firewalls (WAFs) såsom Sucuri, AWS WAF og Akamai: tilføj en tilladelses- eller undtagelsesregel, der matcher User-Agent-headeren.
• WordPress-sikkerhedsplugins såsom Wordfence: se efter indstillinger for botblokering, rate limiting eller blokering af user agent.
• Filtre på serverniveau såsom ModSecurity-regler og botblokkere leveret af dit hostingfirma: whiteliste user agenten, eller bed din host om at gøre det.

Magento-butikker: sørg for, at reglen også dækker POST-forespørgsler til /graphql. Nogle firewalls behandler API-forespørgsler separat fra sidevisninger. Hvis sider er tilladt, men /graphql er blokeret, bliver dit produktkatalog ikke opdateret.

Stol ikke på en IP-tilladelsesliste. Shoplys crawler bruger ikke faste IP-adresser.

Hvordan kontrollerer jeg, at det virkede?

1. I Shoply-admin skal du klikke på Recrawl Now.
2. Vent på, at crawlen bliver færdig, og tjek derefter, at “Last updated” på dit dashboard er nulstillet til et nyligt tidspunkt.
3. Spørg chatbotten om et produkt eller en side, som du for nylig har ændret, og bekræft, at svaret og linket matcher dit live-site.

Du kan også lave en hurtig test fra din egen computer. Erstat https://your-site.com/ med adressen på dit website:

curl -I -A "ShoplyAIBot/1.0 (https://shoplyai.ai; support@shoplyai.ai; For sites installed Shoply AI Search & Chatbot)" https://your-site.com/

Et svar med HTTP/2 200 (eller HTTP/1.1 200 OK) betyder, at din regel lader den user agent passere. En 403 betyder, at noget stadig blokerer den.

Denne test kører fra din computers IP-adresse, ikke fra Shoplys servere. Nogle firewalls behandler trafik forskelligt afhængigt af, hvor den kommer fra, så recrawlen i Shoply-admin er den endelige kontrol.

Brug for hjælp?

Send en e-mail til support@shoplyai.ai med adressen på dit website, den firewall eller hostingudbyder du bruger, og et skærmbillede af enhver blokeret forespørgsel i dine firewall-logs. Send venligst ikke adgangskoder eller API-nøgler.