Hogyan engedélyezd a Shoply AI feltérképezőjét a tűzfaladon keresztül

A brick firewall opens one gate so Shoply's crawler can carry website pages to the chat assistant

A Shoply AI úgy tartja pontosan a válaszait, hogy rendszeresen beolvassa a weboldaladat. Ha az oldalad Cloudflare-t vagy más tűzfal- illetve botvédelmi szolgáltatást használ, ez a szolgáltatás blokkolhatja a Shoply feltérképezőjét. Amikor ez történik, a chatbot továbbra is a webhelyed egy régi másolata alapján válaszol.

A megoldás általában egyetlen szabály: engedélyezd azokat a kéréseket, amelyek User-Agent mezője tartalmazza a ShoplyAIBot szöveget. Ez az útmutató elmagyarázza, miért van szükség a feltérképezőre, hogyan ismerheted fel, és hogyan engedélyezheted a Cloudflare-ben és más tűzfalakban.

Kinek kell ezt megtennie?

SiteChat weboldaltulajdonosoknak. A SiteChat a Shoply chat- és keresőmegoldása minden olyan weboldalhoz, amely nem Shopify áruház, beleértve a Magento áruházakat is.
Ügynökségeknek és fejlesztőknek, akik az ilyen weboldalak tárhelyét, CDN-jét (tartalomszolgáltató hálózatát) vagy biztonsági beállításait kezelik.

A Shopify appot használó kereskedőknek általában nem kell semmit módosítaniuk. A Shoply a Shopify termékadatait a Shopify API-ján keresztül kapja meg, nem a storefront feltérképezésével. Ha azonban nem Shopify weboldalról származó oldalakat is hozzáadtál tudásforrásként, például egy máshol hosztolt súgóközpontot vagy blogot, annak a webhelynek a tűzfala továbbra is blokkolhatja a Shoplyt. Nézd meg hogyan tanítsd meg a Shoplyt az áruházad ismereteire, hogy lásd, hol vannak ezek az oldalak felsorolva.

Miért kell a Shoplynak beolvasnia a weboldalamat?

A Shoply beolvassa azokat az oldalakat, amelyeket megadtál a feltérképezési beállításokban, hogy a chatbot válaszai, árai és linkjei egyezzenek az élő webhelyeddel.

Magento áruházak esetén a Shoply a nyilvános termékkatalógusodat is beolvassa az áruház GraphQL végpontján (/graphql) keresztül. Csak olvasási célú terméklekérdezéseket küld olyan adatokért, mint a nevek, SKU-k, árak, variánsok és termék-URL-ek.

A feltérképező soha nem jelentkezik be, soha nem ad le rendelést, és soha nem küld be űrlapokat. Ha szeretnéd megtudni, mit tesz a Shoply ezzel a tartalommal, olvasd el: milyen információkat használ a Shoply a vásárlói kérdések megválaszolásához.

Mi történik, ha a feltérképező blokkolva van?

A feltérképezések meghiúsulnak. A Shoply nem tudja lekérni az oldalaidat vagy a termékadataidat.
Az AI továbbra is az utolsó sikeres feltérképezésből válaszol. A vásárlók régi árakat, már eltávolított termékeket, valamint elavult vagy hibás linkeket láthatnak. Egy valós esetben egy áruház fejlesztői oldalról költözött az éles domainjére, de a tűzfala blokkolta a feltérképezőt, ezért a chatbot továbbra is a régi fejlesztői oldalra irányította a vásárlókat.
A „Last updated … ago” felirat nem frissül tovább a Shoply admin irányítópultján.

A blokkolt feltérképező gyakori jelei

A Shoply adminban a feltérképezés ideje egyre jobban lemarad. Az irányítópulton a Content crawled by Shoply AI alatt látható “Last updated at: … ago” idő folyamatosan növekszik ahelyett, hogy néhány óránként visszaállna, például „770 hours ago” (körülbelül egy hónap). Akkor sem frissül, ha a Recrawl Now gombra kattintasz, mert a blokkolt feltérképezés soha nem fejeződik be.

Ha ellenőrzöd a tűzfalnaplókat, a megszokott jelenség az, hogy a Cloudflare HTTP 403 választ ad a Shoply kéréseire, az alábbi formák egyikében:

Error 1010, ami azt jelenti, hogy a webhely tulajdonosa letiltotta a kérést a böngészőazonosítója alapján. A Cloudflare saját javítási útmutatója ehhez a hibához a Browser Integrity Check funkcióra mutat.
Egy “Just a moment…” ellenőrző oldal, amelyet egy feltérképező nem tud teljesíteni.

Hogyan ismerhetem fel a Shoply feltérképezőjét?

A Shoply feltérképezőjének minden kérése ezt a User-Agentet használja:

text


ShoplyAIBot/1.0 (https://shoplyai.ai; support@shoplyai.ai; For sites installed Shoply AI Search & Chatbot)

A szabályaidat a rövidebb ShoplyAIBot szövegre írd (például: „User-Agent tartalmazza a ShoplyAIBot szöveget”). Így a szabály akkor is működni fog, ha a verziószám megváltozik.

User agent alapján engedélyezz, ne IP-cím alapján. A Shoply feltérképezője nem használ fix IP-címeket, ezért az IP-engedélylista nem működik megbízhatóan.

Hogyan viselkedik a feltérképező

Csak azokat a webhelyeket térképezi fel, amelyeket beállítottál a Shoplyban.
Betartja a robots.txt szabályait az oldalak olvasásakor. Ha a robots.txt blokkol egy oldalt, a Shoply kihagyja azt, ezért ellenőrizd, hogy nem tiltja-e azokat az oldalakat, amelyekből szeretnéd, hogy az AI tanuljon.
Kíméli a szerveredet: egyszerre legfeljebb 2 kérés, a kérések között 2 másodperces késleltetéssel.
Az oldalszám korlátozva van a Shoply csomagod szerint.

Mikor fut a feltérképező

Automatikusan, ütemezetten. A gyakoriság a csomagodtól függ.
Amikor a Shoply adminban a „Recrawl Now” gombra kattintasz.
Minden 2. napon, amíg a feltérképezések továbbra is sikertelenek. A Shoply automatikusan újrapróbálkozik, így amint hozzáadod az engedélyező szabályt, a következő újrapróbálkozás vagy egy kézi újrafeltérképezés már felveszi a webhelyedet.

Hogyan engedélyezhetem a Shoplyt a Cloudflare-ben?

A Cloudflare-ben hozz létre egy custom rule-t Skip művelettel. A skip szabály lehetővé teszi, hogy az egyező kérések megkerüljék azokat a biztonsági ellenőrzéseket, amelyek egyébként blokkolnák őket vagy ellenőrző oldal elé állítanák őket.

1. lépés: Hozd létre a skip szabályt

A Cloudflare irányítópultján nyisd meg a webhelyedet (zone), és menj a Security rules részhez.
Válaszd a Create rule > Custom rules lehetőséget.
A Rule name mezőbe írj be egy egyértelmű nevet, például: Allow Shoply AI crawler.
A When incoming requests match résznél állítsd be ezt:
- Field: User Agent
- Operator: contains
- Value: ShoplyAIBot
Ha inkább az expression editort használod, ezt add meg:
text
```
(http.user_agent contains "ShoplyAIBot")
```
A Then take action > Choose action résznél válaszd a Skip lehetőséget.
Válaszd ki, mit hagyjon ki a szabály (lásd az alábbi táblázatot).
Hagyd bekapcsolva a Log matching requests beállítást. Így a Shoply kérései megjelennek a Cloudflare Security Events naplójában, ami hasznos a hibakereséshez.
Válaszd a Deploy lehetőséget.

2. lépés: Válaszd ki, mit hagyjon ki

Skip option in Cloudflare	Hagyja ki?	Miért
Browser Integrity Check	Igen	A feltérképezőknél 1010-es hibát okoz
Security Level	Igen	Megakadályozza, hogy a Security Level ellenőrzései ellenőrző oldallal állítsák meg a feltérképezőt
All Super Bot Fight Mode rules	Igen, Pro csomagtól felfelé	A Super Bot Fight Mode ellenőrző oldal elé állíthatja vagy blokkolhatja a feltérképezőket
User Agent Blocking	Ha használod	Csak akkor számít, ha létrehoztál user-agent alapú blokkoló szabályokat
All rate limiting rules	Csak akkor, ha a Security Events azt mutatja, hogy egy rate limiting szabály blokkolja a Shoplyt	A Shoply kérési sebessége alacsony, de egy szigorú korlát így is elkaphatja
All managed rules	Csak akkor, ha a Security Events azt mutatja, hogy egy managed rule blokkolja a Shoplyt	Így a Cloudflare támadási mintákra épülő szabályai mindenki más számára aktívak maradnak
All remaining custom rules	Ha vannak más egyéni szabályaid, amelyek blokkolják a botokat	Megakadályozza, hogy a későbbi egyéni szabályaid blokkolják a Shoplyt

Kezdd az „Igen” sorokkal. Ha a Cloudflare Security Events továbbra is azt mutatja, hogy a Shoply kéréseit blokkolják vagy ellenőrzik, az esemény megmondja, melyik funkció lépett működésbe. Add hozzá azt a funkciót a skip szabályhoz.

3. lépés: Tedd a szabályt az első helyre

A Cloudflare az egyéni szabályokat sorrendben, fentről lefelé értékeli ki. Ha egy, a tied felett lévő szabály blokkolja a kérést vagy ellenőrző oldal elé állítja, a te skip szabályod soha nem fut le. Mozgasd a Shoply szabályt az egyéni szabálylistád tetejére.

Ha Bot Fight Mode-ot használsz (Cloudflare Free csomag)

A Bot Fight Mode nem kerülhető meg skip szabállyal. A Cloudflare ezt külön futtatja az egyéni szabályoktól, ezért a skip és allow szabályok nincsenek rá hatással. Két lehetőséged van:

Kapcsold ki a Bot Fight Mode-ot: menj a Security > Settings részhez, szűrj a Bot traffic szerint, és kapcsold ki a Bot fight mode beállítást.
Frissíts Pro vagy magasabb csomagra, és használd a Super Bot Fight Mode-ot, amely már támogatja a skip szabályokat.

Ha az Under Attack mode be van kapcsolva

Az Under Attack mode minden látogatónak ellenőrző oldalt jelenít meg, és a feltérképezők nem tudnak ezen átjutni. A Cloudflare azt javasolja, hogy ezt csak aktív támadás idején használd. A Shoply nem fogja tudni beolvasni a webhelyedet, amíg ez ki nincs kapcsolva.

Biztonságos user agentet engedélyezni?

Bármely kliens állíthatja magáról, hogy ShoplyAIBot, ezért ez a szabály bizonyos botellenőrzéseket átugorhat bárkinek, aki ezt a User-Agentet küldi. A kockázat csökkentése érdekében csak azokat a funkciókat hagyd ki, amelyek blokkolják a feltérképezőt, és hagyd érvényben a bejelentkezési, fizetési és admin védelmeket. A Shoplynak ezekhez a területekhez soha nincs szüksége hozzáférésre.

Hogyan engedélyezhetem a Shoplyt más tűzfalakban?

Az alapelv mindenhol ugyanaz: engedélyezd azokat a kéréseket, amelyek User-Agent mezője tartalmazza a ShoplyAIBot szöveget. A pontos menük termékenként eltérnek, ezért az engedélyező vagy kivételszabály létrehozásához kövesd a szolgáltatód dokumentációját. Gyakori helyek, amelyeket érdemes ellenőrizni:

Felhős webalkalmazás-tűzfalak (WAF-ek), például Sucuri, AWS WAF és Akamai: adj hozzá egy engedélyező vagy kivételszabályt, amely a User-Agent fejléc alapján egyezik.
WordPress biztonsági bővítmények, például Wordfence: keresd a botblokkolási, sebességkorlátozási vagy user-agent blokkolási beállításokat.
Szerveroldali szűrők, például ModSecurity szabályok, valamint a tárhelyszolgáltatód által biztosított botblokkolók: tedd engedélyezőlistára a user agentet, vagy kérd meg a szolgáltatódat, hogy tegye meg.

Magento áruházak: győződj meg róla, hogy a szabály a POST kérésekre is kiterjed a /graphql végponton. Egyes tűzfalak az API-kéréseket külön kezelik az oldalmegtekintésektől. Ha az oldalak engedélyezettek, de a /graphql blokkolva van, a termékkatalógusod nem fog frissülni.

Ne hagyatkozz IP-engedélylistára. A Shoply feltérképezője nem használ fix IP-címeket.

Hogyan ellenőrizhetem, hogy működött-e?

A Shoply adminban kattints a Recrawl Now gombra.
Várd meg, amíg a feltérképezés befejeződik, majd ellenőrizd, hogy az irányítópultadon a “Last updated” visszaállt-e egy friss időpontra.
Kérdezz rá a chatbotnál egy olyan termékre vagy oldalra, amelyet nemrég módosítottál, és erősítsd meg, hogy a válasz és a link egyezik az élő webhelyeddel.

Gyors ellenőrzést a saját számítógépedről is futtathatsz. Cseréld le a https://your-site.com/ címet a saját webhelyed címére:

bash


curl -I -A "ShoplyAIBot/1.0 (https://shoplyai.ai; support@shoplyai.ai; For sites installed Shoply AI Search & Chatbot)" https://your-site.com/

A HTTP/2 200 (vagy HTTP/1.1 200 OK) válasz azt jelenti, hogy a szabályod átengedi ezt a user agentet. A 403 azt jelenti, hogy valami még mindig blokkolja.

Ez a teszt a saját számítógéped IP-címéről fut, nem a Shoply szervereiről. Egyes tűzfalak eltérően kezelik a forgalmat attól függően, honnan érkezik, ezért a végső ellenőrzés a Shoply adminban indított újrafeltérképezés.

Segítségre van szükséged?

Írj a support@shoplyai.ai címre a webhelyed címével, az általad használt tűzfal vagy tárhelyszolgáltató nevével, valamint a tűzfalnaplódban szereplő blokkolt kérés képernyőképével. Kérjük, ne küldj jelszavakat vagy API-kulcsokat.