Så tillåter du Shoply AI:s crawler genom din brandvägg

Shoply AI håller sina svar korrekta genom att regelbundet läsa din webbplats. Om din webbplats använder Cloudflare eller en annan brandväggs- eller botskyddstjänst kan den tjänsten blockera Shoplys crawler. När det händer fortsätter chatboten att svara utifrån en gammal kopia av din webbplats.

Lösningen är vanligtvis en enda regel: tillåt förfrågningar vars User-Agent innehåller ShoplyAIBot. Den här guiden förklarar varför crawlern behövs, hur du känner igen den och hur du tillåter den i Cloudflare och andra brandväggar.

Vem behöver göra detta?

• Webbplatsägare som använder SiteChat. SiteChat är Shoplys chatt och sökfunktion för alla webbplatser som inte är Shopify-butiker, inklusive Magento-butiker.
• Byråer och utvecklare som hanterar hosting, ett CDN (content delivery network) eller säkerhetsinställningar för dessa webbplatser.

Handlare som använder Shopify-appen behöver normalt inte ändra något. Shoply hämtar Shopify-produktdata via Shopifys API, inte genom att crawla din storefront. Om du däremot har lagt till sidor från en webbplats som inte är Shopify som kunskapskällor, till exempel ett hjälpcenter eller en blogg som hostas någon annanstans, kan den webbplatsens brandvägg fortfarande blockera Shoply. Se hur du lär Shoply om din butik för var dessa sidor listas.

Varför behöver Shoply läsa min webbplats?

Shoply läser sidorna som du har listat i dina crawl-inställningar så att chatbotens svar, priser och länkar matchar din livewebbplats.

För Magento-butiker läser Shoply också din offentliga produktkatalog via butikens GraphQL-endpoint (/graphql). Den skickar skrivskyddade produktförfrågningar för detaljer som namn, SKU:er, priser, varianter och produkt-URL:er.

Crawlern loggar aldrig in, lägger aldrig beställningar och skickar aldrig formulär. För att läsa vad Shoply gör med detta innehåll, se vilken information Shoply använder för att besvara kundfrågor.

Vad händer om crawlern blockeras?

• Crawls misslyckas. Shoply kan inte hämta dina sidor eller din produktdata.
• AI:n fortsätter att svara utifrån den senaste lyckade crawlen. Besökare kan se gamla priser, produkter som du har tagit bort och föråldrade eller felaktiga länkar. I ett verkligt fall flyttade en butik från en utvecklingswebbplats till sin produktionsdomän, men brandväggen blockerade crawlern, så chatboten fortsatte att länka besökare till den gamla utvecklingswebbplatsen.
• “Senast uppdaterad … sedan” slutar att uppdateras i din Shoply-adminpanel.

Vanliga tecken på en blockerad crawler

I Shoply-adminpanelen hamnar crawl-tiden efter. På instrumentpanelen fortsätter tiden “Last updated at: … ago” under Content crawled by Shoply AI att öka i stället för att återställas varannan eller var tredje timme, till exempel “770 hours ago” (ungefär en månad). Den fortsätter att ligga efter även efter att du klickat på Recrawl Now, eftersom en blockerad crawl aldrig slutförs.

Om du kontrollerar dina brandväggsloggar är det vanligaste symptomet att Cloudflare returnerar HTTP 403 till Shoplys förfrågningar, i någon av dessa former:

• Error 1010, vilket betyder att webbplatsägaren förbjöd förfrågan baserat på dess browser signature. Cloudflares egen lösning för detta fel pekar på Browser Integrity Check.
• En utmaningssida med “Just a moment…”, som en crawler inte kan slutföra.

Hur känner jag igen Shoplys crawler?

Varje förfrågan från Shoplys crawler använder denna User-Agent:

ShoplyAIBot/1.0 (https://shoplyai.ai; support@shoplyai.ai; For sites installed Shoply AI Search & Chatbot)

Skriv dina regler så att de matchar den kortare texten ShoplyAIBot (till exempel “User-Agent contains ShoplyAIBot”). Då fortsätter din regel att fungera om versionsnumret ändras.

Tillåt efter user agent, inte efter IP-adress. Shoplys crawler använder inte fasta IP-adresser, så en IP-tillåtelselista fungerar inte pålitligt.

Hur crawlern beter sig

• Den crawlar bara webbplatserna som du har konfigurerat i Shoply.
• Den följer robots.txt när den läser sidor. Om din robots.txt blockerar en sida hoppar Shoply över den, så kontrollera att den inte blockerar sidorna du vill att AI:n ska lära sig från.
• Den är skonsam mot din server: högst 2 förfrågningar åt gången, med 2 sekunders fördröjning mellan förfrågningar.
• Antalet sidor är begränsat av din Shoply-plan.

När crawlern körs

• Automatiskt enligt ett schema. Hur ofta beror på din plan.
• När du klickar på “Recrawl Now” i Shoply-admin.
• Varannan dag medan crawls fortsätter att misslyckas. Shoply försöker igen automatiskt, så när du har lagt till tillåt-regeln kommer nästa försök eller en manuell recrawl att plocka upp din webbplats.

Hur tillåter jag Shoply i Cloudflare?

I Cloudflare skapar du en custom rule med åtgärden Skip. En skip-regel låter matchande förfrågningar hoppa över de säkerhetskontroller som annars skulle blockera eller utmana dem.

Steg 1: Skapa skip-regeln

1. Öppna din webbplats (zone) i Cloudflare-instrumentpanelen och gå till Security rules.

2. Välj Create rule > Custom rules.

3. I Rule name anger du något tydligt, till exempel Allow Shoply AI crawler.

4. Under When incoming requests match anger du:

   • Field: User Agent
   • Operator: contains
   • Value: ShoplyAIBot

   Om du föredrar expressionsredigeraren, använd:

   text

   (http.user_agent contains "ShoplyAIBot")

5. Under Then take action > Choose action, välj Skip.

6. Välj vad som ska hoppas över (se tabellen nedan).

7. Låt Log matching requests vara aktiverat. Då visas Shoplys förfrågningar i Cloudflares Security Events, vilket hjälper vid felsökning.

8. Välj Deploy.

Steg 2: Välj vad som ska hoppas över

Börja med raderna markerade “Ja”. Om Cloudflares Security Events fortfarande visar att Shoplys förfrågningar blockeras eller utmanas, talar händelsen om vilken funktion som agerade. Lägg till den funktionen i skip-regeln.

Steg 3: Lägg regeln först

Cloudflare utvärderar custom rules i ordning, från första till sista. Om en regel ovanför din blockerar eller utmanar förfrågan körs aldrig din skip-regel. Flytta Shoply-regeln till överst i listan över dina custom rules.

Om du använder Bot Fight Mode (Cloudflare Free-plan)

Bot Fight Mode kan inte kringgås med en skip-regel. Cloudflare kör det separat från custom rules, så skip- och allow-regler har ingen effekt på det. Du har två alternativ:

• Stäng av Bot Fight Mode: gå till Security > Settings, filtrera på Bot traffic och stäng av Bot fight mode.
• Uppgradera till en Pro-plan eller högre och använd Super Bot Fight Mode, som stöder skip-regler.

Om Under Attack mode är aktiverat

Under Attack mode visar en utmaningssida för varje besökare, och crawlers kan inte ta sig förbi den. Cloudflare rekommenderar att använda detta endast under en pågående attack. Shoply kommer inte att kunna läsa din webbplats förrän det stängs av.

Är det säkert att tillåta en user agent?

Vilken klient som helst kan utge sig för att vara ShoplyAIBot, så den här regeln hoppar över vissa botkontroller för alla som skickar den User-Agent-strängen. För att hålla risken låg bör du bara hoppa över de funktioner som blockerar crawlern och behålla skydd för inloggning, checkout och admin. Shoply behöver aldrig åtkomst till dessa områden.

Hur tillåter jag Shoply i andra brandväggar?

Principen är densamma överallt: tillåt förfrågningar vars User-Agent innehåller ShoplyAIBot. Exakta menyer skiljer sig mellan produkter, så följ leverantörens dokumentation för att skapa en tillåtelse- eller undantagsregel. Vanliga ställen att kontrollera:

• Molnbaserade webbapplikationsbrandväggar (WAF:er) som Sucuri, AWS WAF och Akamai: lägg till en tillåtelse- eller undantagsregel som matchar User-Agent-headern.
• Säkerhetsplugins för WordPress som Wordfence: leta efter inställningar för botblockering, rate limiting eller blockering av user-agent.
• Filter på servernivå som ModSecurity-regler och botblockerare från ditt hostingföretag: vitlista user agent, eller be ditt webbhotell att göra det.

Magento-butiker: se till att regeln också omfattar POST-förfrågningar till /graphql. Vissa brandväggar hanterar API-förfrågningar separat från sidvisningar. Om sidor tillåts men /graphql blockeras kommer din produktkatalog inte att uppdateras.

Förlita dig inte på en IP-tillåtelselista. Shoplys crawler använder inte fasta IP-adresser.

Hur kontrollerar jag att det fungerade?

1. Klicka på Recrawl Now i Shoply-admin.
2. Vänta tills crawlen är klar och kontrollera sedan att “Last updated” på din instrumentpanel har återställts till en nylig tid.
3. Fråga chatboten om en produkt eller sida som du nyligen ändrade och bekräfta att svaret och länken matchar din livewebbplats.

Du kan också göra en snabb kontroll från din egen dator. Ersätt https://your-site.com/ med adressen till din webbplats:

curl -I -A "ShoplyAIBot/1.0 (https://shoplyai.ai; support@shoplyai.ai; For sites installed Shoply AI Search & Chatbot)" https://your-site.com/

Ett svar på HTTP/2 200 (eller HTTP/1.1 200 OK) betyder att din regel släpper igenom den user agenten. Ett 403 betyder att något fortfarande blockerar den.

Detta test körs från din dators IP-adress, inte från Shoplys servrar. Vissa brandväggar behandlar trafik olika beroende på varifrån den kommer, så recrawlen i Shoply-admin är den slutliga kontrollen.

Behöver du hjälp?

Mejla support@shoplyai.ai med adressen till din webbplats, vilken brandväggs- eller hostingleverantör du använder och en skärmbild av en blockerad förfrågan i dina brandväggsloggar. Skicka inte lösenord eller API-nycklar.