Hvernig á að hleypa skriðli Shoply AI í gegnum eldvegginn þinn
Shoply AI heldur svörum sínum nákvæmum með því að lesa vefsíðuna þína reglulega. Ef vefsvæðið þitt notar Cloudflare eða annan eldvegg eða þjónustu fyrir vernd gegn bottum, gæti sú þjónusta lokað á skriðil Shoply. Þegar það gerist heldur spjallmennið áfram að svara út frá gamalli útgáfu af vefnum þínum.
Lausnin er yfirleitt ein regla: leyfa beiðnir þar sem User-Agent inniheldur ShoplyAIBot. Þessi leiðarvísir útskýrir hvers vegna skriðillinn er nauðsynlegur, hvernig á að þekkja hann og hvernig á að leyfa hann í Cloudflare og öðrum eldveggjum.
Hver þarf að gera þetta?
- Eigendur SiteChat vefsíðna. SiteChat er spjall og leit Shoply fyrir hvaða vefsíðu sem er sem er ekki Shopify verslun, þar á meðal Magento verslanir.
- Umboðsskrifstofur og forritarar sem sjá um hýsingu, CDN (dreifikerfi efnis), eða öryggisstillingar fyrir þessar vefsíður.
Söluaðilar sem nota Shopify appið þurfa venjulega ekki að breyta neinu. Shoply fær vörugögn úr Shopify í gegnum API Shopify, ekki með því að skríða verslunarsíðuna þína. Hins vegar, ef þú bættir við síðum af vefsíðu sem er ekki á Shopify sem þekkingarheimildum, eins og hjálparmiðstöð eða bloggi sem er hýst annars staðar, gæti eldveggur þeirrar vefsíðu samt lokað á Shoply. Sjáðu hvernig á að kenna Shoply um verslunina þína til að sjá hvar þessar síður eru skráðar.
Af hverju þarf Shoply að lesa vefsíðuna mína?
Shoply les síðurnar sem þú skráðir í skriðstillingunum þínum svo svör, verð og tenglar spjallmennisins passi við virka vefinn þinn.
Fyrir Magento verslanir les Shoply einnig opinbera vörulistann þinn í gegnum GraphQL endapunkt verslunarinnar (/graphql). Það sendir skrifvarðar vörufyrirspurnir fyrir atriði eins og heiti, SKU, verð, útfærslur og slóðir vara.
Skriðillinn skráir sig aldrei inn, leggur aldrei inn pantanir og sendir aldrei inn eyðublöð. Til að læra hvað Shoply gerir við þetta efni skaltu lesa hvaða upplýsingar Shoply notar til að svara spurningum viðskiptavina.
Hvað gerist ef lokað er á skriðilinn?
- Skriðanir mistakast. Shoply getur ekki sótt síðurnar þínar eða vörugögn.
- Gervigreindin heldur áfram að svara út frá síðustu árangursríku skriðun. Kaupendur gætu séð gömul verð, vörur sem þú hefur fjarlægt og úrelta eða ranga tengla. Í einu raunverulegu tilviki flutti verslun af þróunarvef yfir á framleiðslulén sitt, en eldveggurinn lokaði á skriðilinn, svo spjallmennið hélt áfram að senda kaupendur á gamla þróunarvefinn.
- „Síðast uppfært fyrir … síðan“ hættir að færast áfram á Shoply stjórnborðinu þínu.
Algeng merki um að lokað sé á skriðil
Í Shoply admin dregst skriðtíminn aftur úr. Á stjórnborðinu heldur tíminn “Last updated at: … ago” undir Content crawled by Shoply AI áfram að hækka í stað þess að endurstillast á nokkurra klukkustunda fresti, til dæmis „770 hours ago“ (um mánuður). Hann helst úreltur jafnvel eftir að þú smellir á Recrawl Now, því skriðun sem er lokuð á klárast aldrei.
Ef þú skoðar annála eldveggjarins eru venjulegu einkennin að Cloudflare skili HTTP 403 til beiðna Shoply, í einni af þessum myndum:
- Error 1010, sem þýðir að eigandi síðunnar bannaði beiðnina á grundvelli vafraauðkennis hennar. Eigin lausn Cloudflare fyrir þessa villu bendir á Browser Integrity Check.
- “Just a moment…” áskorunarsíða, sem skriðill getur ekki lokið.
Hvernig þekki ég skriðil Shoply?
Allar beiðnir frá skriðli Shoply nota þetta User-Agent:
ShoplyAIBot/1.0 (https://shoplyai.ai; support@shoplyai.ai; For sites installed Shoply AI Search & Chatbot)Skrifaðu reglurnar þínar þannig að þær passi við styttri textann ShoplyAIBot (til dæmis „User-Agent contains ShoplyAIBot“). Þá mun reglan þín halda áfram að virka þótt útgáfunúmerið breytist.
Leyfðu eftir user agent, ekki eftir IP tölu. Skriðill Shoply notar ekki fastar IP tölur, svo IP leyfislisti mun ekki virka áreiðanlega.
Hvernig skriðillinn hegðar sér
- Hann skríður aðeins þau vefsvæði sem þú stilltir upp í Shoply.
- Hann hlýðir robots.txt þegar hann les síður. Ef robots.txt lokar á síðu mun Shoply sleppa henni, svo athugaðu að það loki ekki á þær síður sem þú vilt að gervigreindin læri af.
- Hann fer varlega með netþjóninn þinn: mest 2 beiðnir í einu, með 2 sekúndna bið á milli beiðna.
- Fjöldi síðna er takmarkaður af Shoply áætluninni þinni.
Hvenær skriðillinn keyrir
- Sjálfkrafa samkvæmt áætlun. Hversu oft fer eftir áætluninni þinni.
- Þegar þú smellir á “Recrawl Now” í Shoply admin.
- Á tveggja daga fresti meðan skriðanir halda áfram að mistakast. Shoply reynir sjálfkrafa aftur, svo þegar þú bætir við leyfisreglu mun næsta endurtilraun eða handvirk endurskriðun ná í vefinn þinn.
Hvernig leyfi ég Shoply í Cloudflare?
Í Cloudflare skaltu búa til custom rule með aðgerðinni Skip. Skip regla leyfir samsvarandi beiðnum að fara framhjá öryggisathugunum sem annars myndu loka á þær eða setja áskorun á þær.
Skref 1: Búðu til skip regluna
-
Í Cloudflare stjórnborðinu skaltu opna vefsíðuna þína (zone) og fara í Security rules.
-
Veldu Create rule > Custom rules.
-
Í Rule name skaltu slá inn skýrt heiti, eins og
Allow Shoply AI crawler. -
Undir When incoming requests match skaltu stilla:
- Field: User Agent
- Operator: contains
- Value:
ShoplyAIBot
Ef þú vilt frekar expression editor, notaðu:
text(http.user_agent contains "ShoplyAIBot") -
Undir Then take action > Choose action skaltu velja Skip.
-
Veldu hvað á að sleppa yfir (sjá töfluna hér að neðan).
-
Hafðu Log matching requests áfram virkt. Þá birtast beiðnir Shoply í Security Events hjá Cloudflare, sem hjálpar við bilanaleit.
-
Veldu Deploy.
Skref 2: Veldu hverju á að sleppa yfir
| Skip option in Cloudflare | Sleppa yfir? | Af hverju |
|---|---|---|
| Browser Integrity Check | Já | Veldur error 1010 fyrir skriðla |
| Security Level | Já | Kemur í veg fyrir að Security Level athuganir setji áskorun á skriðilinn |
| All Super Bot Fight Mode rules | Já, á Pro áætlunum og hærra | Super Bot Fight Mode getur sett áskorun á skriðla eða lokað á þá |
| User Agent Blocking | Ef þú notar það | Skiptir aðeins máli ef þú bjóst til user-agent lokunarreglur |
| All rate limiting rules | Aðeins ef Security Events sýna að rate limiting regla sé að loka á Shoply | Beiðnihraði Shoply er lágur, en strangt hámark getur samt gripið það |
| All managed rules | Aðeins ef Security Events sýna að managed regla sé að loka á Shoply | Heldur reglum Cloudflare um árásarmynstur virkum fyrir alla aðra |
| All remaining custom rules | Ef þú ert með aðrar sérsniðnar reglur sem loka á botta | Kemur í veg fyrir að síðari sérsniðnar reglur þínar loki á Shoply |
Byrjaðu á línunum merktum „Já“. Ef Security Events hjá Cloudflare sýnir enn að verið sé að loka á beiðnir Shoply eða setja áskorun á þær, segir atburðurinn þér hvaða eiginleiki greip inn í. Bættu þá þeim eiginleika við skip regluna.
Skref 3: Settu regluna efst
Cloudflare metur sérsniðnar reglur í röð, frá fyrstu til síðustu. Ef regla fyrir ofan þína lokar á beiðnina eða setur áskorun á hana, keyrir skip reglan þín aldrei. Færðu Shoply regluna efst á listann yfir sérsniðnar reglur.
Ef þú notar Bot Fight Mode (Cloudflare Free plan)
Ekki er hægt að komast framhjá Bot Fight Mode með skip reglu. Cloudflare keyrir það aðskilið frá sérsniðnum reglum, svo skip og allow reglur hafa engin áhrif á það. Þú hefur tvo valkosti:
- Slökktu á Bot Fight Mode: farðu í Security > Settings, síaðu eftir Bot traffic, og slökktu á Bot fight mode.
- Uppfærðu í Pro áætlun eða hærra og notaðu Super Bot Fight Mode, sem styður skip reglur.
Ef Under Attack mode er virkt
Under Attack mode sýnir áskorunarsíðu fyrir alla gesti, og skriðlar komast ekki í gegnum hana. Cloudflare mælir með að nota það aðeins meðan virk árás stendur yfir. Shoply mun ekki geta lesið vefinn þinn fyrr en slökkt hefur verið á því.
Er öruggt að leyfa user agent?
Hvaða biðlari sem er getur sagst vera ShoplyAIBot, svo þessi regla sleppir sumum bottaathugunum fyrir hvern þann sem sendir það User-Agent. Til að halda áhættunni lágri skaltu aðeins sleppa þeim eiginleikum sem loka á skriðilinn, og halda vörnum fyrir innskráningu, greiðsluferli og stjórnsvæði áfram virkum. Shoply þarf aldrei aðgang að þeim svæðum.
Hvernig leyfi ég Shoply í öðrum eldveggjum?
Meginreglan er sú sama alls staðar: leyfa beiðnir þar sem User-Agent inniheldur ShoplyAIBot. Nákvæm valmyndaratriði eru mismunandi eftir vöru, svo fylgdu skjölun birgjans þíns fyrir að búa til leyfis- eða undanþágureglu. Algengir staðir til að skoða:
- Skýjabundnir web application firewalls (WAFs) eins og Sucuri, AWS WAF og Akamai: bættu við leyfis- eða undanþágureglu sem passar við User-Agent hausinn.
- WordPress öryggisviðbætur eins og Wordfence: leitaðu að stillingum fyrir bottaflokkun, rate limiting eða user-agent lokun.
- Síur á netþjónsstigi eins og ModSecurity reglur, og bottalokarar frá hýsingaraðilanum þínum: settu user agent á hvítlista, eða biddu hýsilinn þinn um að gera það.
Magento verslanir: vertu viss um að reglan nái líka yfir POST beiðnir á /graphql. Sumir eldveggir meðhöndla API beiðnir aðskilið frá síðuskoðunum. Ef síður eru leyfðar en lokað er á /graphql, mun vörulistinn þinn ekki uppfærast.
Treystu ekki á IP leyfislista. Skriðill Shoply notar ekki fastar IP tölur.
Hvernig athuga ég að þetta hafi virkað?
- Í Shoply admin skaltu smella á Recrawl Now.
- Bíddu þar til skriðun lýkur, athugaðu síðan að “Last updated” á stjórnborðinu þínu hafi endurstillst á nýlegan tíma.
- Spyrðu spjallmennið um vöru eða síðu sem þú breyttir nýlega, og staðfestu að svarið og tengillinn passi við virka vefinn þinn.
Þú getur líka keyrt snögga athugun úr eigin tölvu. Skiptu út https://your-site.com/ fyrir slóð vefsíðunnar þinnar:
curl -I -A "ShoplyAIBot/1.0 (https://shoplyai.ai; support@shoplyai.ai; For sites installed Shoply AI Search & Chatbot)" https://your-site.com/Svar sem er HTTP/2 200 (eða HTTP/1.1 200 OK) þýðir að reglan þín hleypir þessu user agent í gegn. 403 þýðir að eitthvað er enn að loka á það.
Þetta próf keyrir frá IP tölu tölvunnar þinnar, ekki frá netþjónum Shoply. Sumir eldveggir meðhöndla umferð á mismunandi hátt eftir því hvaðan hún kemur, svo endurskriðunin í Shoply admin er lokaathugunin.
Þarftu hjálp?
Sendu tölvupóst á support@shoplyai.ai með slóð vefsíðunnar þinnar, hvaða eldvegg eða hýsingaraðila þú notar, og skjámynd af lokaðri beiðni í annálum eldveggjarins þíns. Vinsamlegast sendu ekki lykilorð eða API lykla.
