Slik slipper du Shoply AIs crawler gjennom brannmuren din

Shoply AI holder svarene sine nøyaktige ved regelmessig å lese nettstedet ditt. Hvis nettstedet ditt bruker Cloudflare eller en annen brannmur- eller botbeskyttelsestjeneste, kan den tjenesten blokkere Shoplys crawler. Når det skjer, fortsetter chatboten å svare ut fra en gammel kopi av nettstedet ditt.

Løsningen er vanligvis én regel: tillat forespørsler der User-Agent inneholder ShoplyAIBot. Denne veiledningen forklarer hvorfor crawleren trengs, hvordan du kjenner den igjen, og hvordan du tillater den i Cloudflare og andre brannmurer.

Hvem må gjøre dette?

• SiteChat-nettstedseiere. SiteChat er Shoplys chat og søk for alle nettsteder som ikke er en Shopify-butikk, inkludert Magento-butikker.
• Byråer og utviklere som administrerer hosting, et CDN (content delivery network) eller sikkerhetsinnstillinger for disse nettstedene.

Forhandlere som bruker Shopify-appen trenger vanligvis ikke å endre noe. Shoply henter produktdata fra Shopify via Shopifys API, ikke ved å crawle butikkfronten din. Hvis du derimot la til sider fra et nettsted som ikke er Shopify som kunnskapskilder, for eksempel et hjelpesenter eller en blogg som hostes et annet sted, kan brannmuren på det nettstedet fortsatt blokkere Shoply. Se hvordan du lærer opp Shoply om butikken din for hvor disse sidene er oppført.

Hvorfor må Shoply lese nettstedet mitt?

Shoply leser sidene du oppga i crawl-innstillingene dine, slik at chatbotens svar, priser og lenker samsvarer med det aktive nettstedet ditt.

For Magento-butikker leser Shoply også den offentlige produktkatalogen din via butikkens GraphQL-endepunkt (/graphql). Den sender skrivebeskyttede produktspørringer for detaljer som navn, SKU-er, priser, varianter og produkt-URL-er.

Crawleren logger aldri inn, legger aldri inn bestillinger og sender aldri inn skjemaer. Hvis du vil lære hva Shoply gjør med dette innholdet, kan du lese hvilken informasjon Shoply bruker for å svare på kundespørsmål.

Hva skjer hvis crawleren blokkeres?

• Crawlinger mislykkes. Shoply kan ikke hente sidene dine eller produktdataene dine.
• AI-en fortsetter å svare ut fra den siste vellykkede crawlingen. Kunder kan se gamle priser, produkter du har fjernet og utdaterte eller feil lenker. I ett faktisk tilfelle flyttet en butikk fra et utviklingsnettsted til produksjonsdomenet sitt, men brannmuren blokkerte crawleren, så chatboten fortsatte å sende kunder til det gamle utviklingsnettstedet.
• “Sist oppdatert … siden” slutter å gå fremover i Shoply-administrasjonspanelet.

Vanlige tegn på en blokkert crawler

I Shoply-administrasjonen henger crawl-tiden etter. På dashbordet fortsetter tiden “Last updated at: … ago” under Content crawled by Shoply AI å øke i stedet for å tilbakestilles hver få timer, for eksempel “770 hours ago” (omtrent en måned). Den fortsetter å henge etter selv etter at du klikker Recrawl Now, fordi en blokkert crawling aldri fullføres.

Hvis du sjekker loggene i brannmuren din, er det vanligste symptomet at Cloudflare returnerer HTTP 403 til Shoplys forespørsler, i én av disse formene:

• Error 1010, som betyr at nettstedseieren blokkerte forespørselen basert på nettlesersignaturen. Cloudflares egen løsning for denne feilen peker på Browser Integrity Check.
• En “Just a moment…”-utfordringsside, som en crawler ikke kan fullføre.

Hvordan kjenner jeg igjen Shoplys crawler?

Hver forespørsel fra Shoplys crawler bruker denne User-Agent:

ShoplyAIBot/1.0 (https://shoplyai.ai; support@shoplyai.ai; For sites installed Shoply AI Search & Chatbot)

Skriv reglene dine slik at de matcher den kortere teksten ShoplyAIBot (for eksempel “User-Agent contains ShoplyAIBot”). Da vil regelen fortsatt fungere hvis versjonsnummeret endres.

Tillat etter user agent, ikke etter IP-adresse. Shoplys crawler bruker ikke faste IP-adresser, så en IP-tillatelsesliste vil ikke fungere pålitelig.

Hvordan crawleren oppfører seg

• Den crawler bare nettstedene du har konfigurert i Shoply.
• Den følger robots.txt når den leser sider. Hvis robots.txt blokkerer en side, hopper Shoply over den, så kontroller at den ikke blokkerer sidene du vil at AI-en skal lære fra.
• Den er skånsom mot serveren din: maksimalt 2 forespørsler om gangen, med 2 sekunders forsinkelse mellom forespørslene.
• Antall sider er begrenset av Shoply-abonnementet ditt.

Når crawleren kjører

• Automatisk etter en tidsplan. Hvor ofte avhenger av abonnementet ditt.
• Når du klikker “Recrawl Now” i Shoply-administrasjonen.
• Hver 2. dag mens crawlinger fortsetter å mislykkes. Shoply prøver automatisk på nytt, så når du har lagt til tillatelsesregelen, vil neste forsøk eller en manuell recrawl hente inn nettstedet ditt.

Hvordan tillater jeg Shoply i Cloudflare?

I Cloudflare oppretter du en tilpasset regel med handlingen Skip. En skip-regel lar samsvarende forespørsler hoppe over sikkerhetskontrollene som ellers ville blokkert dem eller vist en utfordring.

Trinn 1: Opprett skip-regelen

1. I Cloudflare-dashbordet åpner du nettstedet ditt (zone) og går til Security rules.

2. Velg Create rule > Custom rules.

3. I Rule name skriver du inn et tydelig navn, for eksempel Allow Shoply AI crawler.

4. Under When incoming requests match angir du:

   • Field: User Agent
   • Operator: contains
   • Value: ShoplyAIBot

   Hvis du foretrekker uttrykkseditoren, bruk:

   text

   (http.user_agent contains "ShoplyAIBot")

5. Under Then take action > Choose action velger du Skip.

6. Velg hva som skal hoppes over (se tabellen nedenfor).

7. La Log matching requests være slått på. Da vises Shoplys forespørsler i Cloudflares Security Events, noe som hjelper ved feilsøking.

8. Velg Deploy.

Trinn 2: Velg hva som skal hoppes over

Start med radene merket “Ja”. Hvis Cloudflares Security Events fortsatt viser at Shoplys forespørsler blir blokkert eller utfordret, forteller hendelsen deg hvilken funksjon som grep inn. Legg til den funksjonen i skip-regelen.

Trinn 3: Legg regelen først

Cloudflare evaluerer tilpassede regler i rekkefølge, fra første til siste. Hvis en regel over din blokkerer forespørselen eller viser en utfordring, blir skip-regelen din aldri kjørt. Flytt Shoply-regelen til toppen av listen over tilpassede regler.

Hvis du bruker Bot Fight Mode (Cloudflare Free-abonnement)

Bot Fight Mode kan ikke omgås med en skip-regel. Cloudflare kjører den separat fra tilpassede regler, så skip- og tillatelsesregler har ingen effekt på den. Du har to alternativer:

• Slå av Bot Fight Mode: gå til Security > Settings, filtrer på Bot traffic, og slå av Bot fight mode.
• Oppgrader til et Pro-abonnement eller høyere og bruk Super Bot Fight Mode, som støtter skip-regler.

Hvis Under Attack mode er slått på

Under Attack mode viser en utfordringsside til alle besøkende, og crawlere kan ikke komme forbi den. Cloudflare anbefaler å bruke dette bare under et aktivt angrep. Shoply vil ikke kunne lese nettstedet ditt før dette er slått av.

Er det trygt å tillate en user agent?

Enhver klient kan utgi seg for å være ShoplyAIBot, så denne regelen hopper over enkelte botkontroller for alle som sender den User-Agent-en. For å holde risikoen lav bør du bare hoppe over funksjonene som blokkerer crawleren, og beholde beskyttelsen for innlogging, checkout og administrasjon. Shoply trenger aldri tilgang til disse områdene.

Hvordan tillater jeg Shoply i andre brannmurer?

Prinsippet er det samme overalt: tillat forespørsler der User-Agent inneholder ShoplyAIBot. Nøyaktige menyer varierer fra produkt til produkt, så følg leverandørens dokumentasjon for å opprette en tillatelses- eller unntaksregel. Vanlige steder å sjekke:

• Skybaserte web application firewalls (WAF-er) som Sucuri, AWS WAF og Akamai: legg til en tillatelses- eller unntaksregel som matcher User-Agent-headeren.
• WordPress-sikkerhetsutvidelser som Wordfence: se etter innstillinger for botblokkering, rate limiting eller blokkering av user-agent.
• Filtre på servernivå som ModSecurity-regler, og botblokkering levert av hostingleverandøren din: sett user agent på hviteliste, eller be hosten din gjøre det.

Magento-butikker: sørg for at regelen også dekker POST-forespørsler til /graphql. Noen brannmurer behandler API-forespørsler separat fra sidevisninger. Hvis sider er tillatt, men /graphql er blokkert, vil ikke produktkatalogen din oppdateres.

Ikke stol på en IP-tillatelsesliste. Shoplys crawler bruker ikke faste IP-adresser.

Hvordan kontrollerer jeg at det fungerte?

1. I Shoply-administrasjonen klikker du Recrawl Now.
2. Vent til crawlingen er fullført, og kontroller deretter at “Last updated” på dashbordet er tilbakestilt til et nylig tidspunkt.
3. Spør chatboten om et produkt eller en side du nylig har endret, og bekreft at svaret og lenken samsvarer med det aktive nettstedet ditt.

Du kan også kjøre en rask kontroll fra din egen datamaskin. Erstatt https://your-site.com/ med adressen til nettstedet ditt:

curl -I -A "ShoplyAIBot/1.0 (https://shoplyai.ai; support@shoplyai.ai; For sites installed Shoply AI Search & Chatbot)" https://your-site.com/

Et svar på HTTP/2 200 (eller HTTP/1.1 200 OK) betyr at regelen din slipper den user agent-en gjennom. En 403 betyr at noe fortsatt blokkerer den.

Denne testen kjører fra datamaskinens IP-adresse, ikke fra Shoplys servere. Noen brannmurer behandler trafikk forskjellig avhengig av hvor den kommer fra, så recrawl i Shoply-administrasjonen er den endelige kontrollen.

Trenger du hjelp?

Send e-post til support@shoplyai.ai med adressen til nettstedet ditt, hvilken brannmur eller hostingleverandør du bruker, og et skjermbilde av en blokkert forespørsel i brannmurloggene dine. Vennligst ikke send passord eller API-nøkler.