Sut i Ganiatáu i Gripiwr Shoply AI Basio Trwy Eich Mur Tân

Mae Shoply AI yn cadw ei atebion yn gywir drwy ddarllen eich gwefan yn rheolaidd. Os yw eich gwefan yn defnyddio Cloudflare neu wasanaeth mur tân neu amddiffyniad bot arall, gall y gwasanaeth hwnnw rwystro gripiwr Shoply. Pan fydd hynny’n digwydd, mae’r chatbot yn parhau i ateb o hen gopi o’ch gwefan.

Yr ateb fel arfer yw un rheol: caniatáu ceisiadau y mae eu User-Agent yn cynnwys ShoplyAIBot. Mae’r canllaw hwn yn esbonio pam mae angen y gripiwr, sut i’w adnabod, a sut i’w ganiatáu yn Cloudflare a muriau tân eraill.

Pwy sydd angen gwneud hyn?

• Perchnogion gwefannau SiteChat. SiteChat yw sgwrsio a chwilio Shoply ar gyfer unrhyw wefan nad yw’n siop Shopify, gan gynnwys siopau Magento.
• Asiantaethau a datblygwyr sy’n rheoli hosting, CDN (rhwydwaith cyflwyno cynnwys), neu osodiadau diogelwch ar gyfer y gwefannau hynny.

Fel arfer nid oes angen i fasnachwyr ap Shopify newid unrhyw beth. Mae Shoply yn derbyn data cynnyrch Shopify trwy API Shopify, nid drwy gropian eich storefront. Fodd bynnag, os gwnaethoch ychwanegu tudalennau o wefan nad yw’n Shopify fel ffynonellau gwybodaeth, megis canolfan gymorth neu flog a gynhelir yn rhywle arall, gall mur tân y wefan honno rwystro Shoply o hyd. Gweler sut i ddysgu Shoply am eich siop i weld ble mae’r tudalennau hynny wedi’u rhestru.

Pam mae angen i Shoply ddarllen fy ngwefan?

Mae Shoply yn darllen y tudalennau a restrwyd gennych yn eich gosodiadau cropian fel bod atebion, prisiau a dolenni’r chatbot yn cyfateb i’ch gwefan fyw.

Ar gyfer siopau Magento, mae Shoply hefyd yn darllen eich catalog cynnyrch cyhoeddus trwy endpoint GraphQL eich siop (/graphql). Mae’n anfon ymholiadau cynnyrch darllen-yn-unig am fanylion fel enwau, SKUs, prisiau, amrywiadau, ac URLs cynnyrch.

Nid yw’r gripiwr byth yn mewngofnodi, byth yn gosod archebion, ac byth yn cyflwyno ffurflenni. I ddysgu beth mae Shoply yn ei wneud gyda’r cynnwys hwn, darllenwch pa wybodaeth mae Shoply yn ei defnyddio i ateb cwestiynau cwsmeriaid.

Beth sy’n digwydd os yw’r gripiwr wedi’i rwystro?

• Mae cropiadau’n methu. Ni all Shoply nôl eich tudalennau na’ch data cynnyrch.
• Mae’r AI yn parhau i ateb o’r cropiad llwyddiannus diwethaf. Gall siopwyr weld hen brisiau, cynhyrchion rydych wedi’u tynnu, a dolenni hen neu anghywir. Mewn un achos go iawn, symudodd siop o safle datblygu i’w pharth cynhyrchu, ond rhwystrodd ei mur tân y gripiwr, felly parhaodd y chatbot i gysylltu siopwyr â’r hen safle datblygu.
• Mae “Last updated … ago” yn stopio symud ymlaen ar eich dangosfwrdd gweinyddol Shoply.

Arwyddion cyffredin o gripiwr wedi’i rwystro

Yn y gweinyddiaeth Shoply, mae amser y cropiad yn mynd ar ei hôl hi. Ar y dangosfwrdd, mae’r amser “Last updated at: … ago” o dan Content crawled by Shoply AI yn parhau i gynyddu yn lle ailosod bob ychydig oriau, er enghraifft “770 hours ago” (tua mis). Mae’n aros ar ei hôl hi hyd yn oed ar ôl i chi glicio Recrawl Now, oherwydd nid yw cropiad sydd wedi’i rwystro byth yn gorffen.

Os edrychwch ar logiau eich mur tân, y symptom arferol yw Cloudflare yn dychwelyd HTTP 403 i geisiadau Shoply, mewn un o’r ffurfiau hyn:

• Error 1010, sy’n golygu bod perchennog y safle wedi gwahardd y cais ar sail ei lofnod porwr. Mae datrysiad Cloudflare ei hun ar gyfer y gwall hwn yn pwyntio at Browser Integrity Check.
• Tudalen her “Just a moment…”, na all gripiwr ei chwblhau.

Sut ydw i’n adnabod gripiwr Shoply?

Mae pob cais gan gripiwr Shoply yn defnyddio’r User-Agent hwn:

ShoplyAIBot/1.0 (https://shoplyai.ai; support@shoplyai.ai; For sites installed Shoply AI Search & Chatbot)

Ysgrifennwch eich rheolau i gydweddu’r testun byrrach ShoplyAIBot (er enghraifft, “User-Agent contains ShoplyAIBot”). Bydd eich rheol wedyn yn parhau i weithio os bydd rhif y fersiwn yn newid.

Caniatáwch yn ôl user agent, nid yn ôl cyfeiriad IP. Nid yw gripiwr Shoply yn defnyddio cyfeiriadau IP sefydlog, felly ni fydd rhestr ganiatáu IP yn gweithio’n ddibynadwy.

Sut mae’r gripiwr yn ymddwyn

• Dim ond y safleoedd a ffurfweddoch yn Shoply y mae’n eu cropian.
• Mae’n ufuddhau i robots.txt wrth ddarllen tudalennau. Os yw eich robots.txt yn rhwystro tudalen, bydd Shoply yn ei hepgor, felly gwnewch yn siŵr nad yw’n rhwystro’r tudalennau rydych am i’r AI ddysgu ohonynt.
• Mae’n ysgafn ar eich gweinydd: uchafswm o 2 gais ar y tro, gydag oedi o 2 eiliad rhwng ceisiadau.
• Mae nifer y tudalennau wedi’i gapio gan eich cynllun Shoply.

Pryd mae’r gripiwr yn rhedeg

• Yn awtomatig ar amserlen. Mae pa mor aml yn dibynnu ar eich cynllun.
• Pan gliciwch “Recrawl Now” yn y gweinyddiaeth Shoply.
• Bob 2 ddiwrnod tra bod cropiadau’n parhau i fethu. Mae Shoply yn ailgeisio’n awtomatig, felly unwaith y byddwch yn ychwanegu’r rheol ganiatáu, bydd yr ailgais nesaf neu ailgropiad llaw yn codi eich safle.

Sut ydw i’n caniatáu Shoply yn Cloudflare?

Yn Cloudflare, crëwch reol bersonol gyda’r weithred Skip. Mae rheol hepgor yn gadael i geisiadau sy’n cyfateb osgoi’r gwiriadau diogelwch a fyddai fel arall yn eu rhwystro neu’n eu herio.

Cam 1: Creu’r rheol hepgor

1. Yn dangosfwrdd Cloudflare, agorwch eich gwefan (zone) ac ewch i Security rules.

2. Dewiswch Create rule > Custom rules.

3. Yn Rule name, rhowch enw clir, fel Allow Shoply AI crawler.

4. O dan When incoming requests match, gosodwch:

   • Field: User Agent
   • Operator: contains
   • Value: ShoplyAIBot

   Os yw’n well gennych y golygydd mynegiant, defnyddiwch:

   text

   (http.user_agent contains "ShoplyAIBot")

5. O dan Then take action > Choose action, dewiswch Skip.

6. Dewiswch beth i’w hepgor (gweler y tabl isod).

7. Gadewch Log matching requests ymlaen. Bydd ceisiadau Shoply wedyn yn ymddangos yn Security Events Cloudflare, sy’n helpu gyda datrys problemau.

8. Dewiswch Deploy.

Cam 2: Dewis beth i’w hepgor

Dechreuwch gyda’r rhesi “Ie”. Os yw Security Events Cloudflare yn dal i ddangos bod ceisiadau Shoply yn cael eu rhwystro neu eu herio, bydd y digwyddiad yn dweud wrthych pa nodwedd a weithredodd. Ychwanegwch y nodwedd honno at y rheol hepgor.

Cam 3: Rhowch y rheol gyntaf

Mae Cloudflare yn gwerthuso rheolau personol yn eu trefn, o’r cyntaf i’r olaf. Os yw rheol uwchben eich un chi yn rhwystro neu’n herio’r cais, ni fydd eich rheol hepgor byth yn rhedeg. Symudwch reol Shoply i frig eich rhestr rheolau personol.

Os ydych yn defnyddio Bot Fight Mode (cynllun Cloudflare Free)

Ni ellir osgoi Bot Fight Mode gyda rheol hepgor. Mae Cloudflare yn ei redeg ar wahân i reolau personol, felly nid oes gan reolau skip ac allow unrhyw effaith arni. Mae gennych ddau opsiwn:

• Diffodd Bot Fight Mode: ewch i Security > Settings, hidlwch yn ôl Bot traffic, a diffoddwch Bot fight mode.
• Uwchraddio i gynllun Pro neu uwch a defnyddio Super Bot Fight Mode, sydd yn cefnogi rheolau hepgor.

Os yw Under Attack mode ymlaen

Mae Under Attack mode yn dangos tudalen her i bob ymwelydd, ac ni all gripwyr ei phasio. Mae Cloudflare yn argymell ei ddefnyddio dim ond yn ystod ymosodiad gweithredol. Ni fydd Shoply yn gallu darllen eich safle nes iddo gael ei ddiffodd.

A yw’n ddiogel caniatáu user agent?

Gall unrhyw gleient honni ei fod yn ShoplyAIBot, felly mae’r rheol hon yn hepgor rhai gwiriadau bot i unrhyw un sy’n anfon y User-Agent hwnnw. I gadw’r risg yn fach, hepgorwch dim ond y nodweddion sy’n rhwystro’r gripiwr, a chadwch eich amddiffyniadau mewngofnodi, checkout, a gweinyddiaeth yn eu lle. Nid oes angen mynediad at yr ardaloedd hynny ar Shoply byth.

Sut ydw i’n caniatáu Shoply mewn muriau tân eraill?

Mae’r egwyddor yr un fath ym mhobman: caniatáu ceisiadau y mae eu User-Agent yn cynnwys ShoplyAIBot. Mae’r union fwydlenni’n amrywio yn ôl y cynnyrch, felly dilynwch ddogfennaeth eich gwerthwr ar gyfer creu rheol ganiatáu neu eithriad. Mannau cyffredin i’w gwirio:

• Muriau tân cymwysiadau gwe cwmwl (WAFs) megis Sucuri, AWS WAF, ac Akamai: ychwanegwch reol ganiatáu neu eithriad sy’n cyfateb i’r pennawd User-Agent.
• Ategion diogelwch WordPress megis Wordfence: chwiliwch am osodiadau blocio botiau, rate limiting, neu flocio user-agent.
• Hidlwyr lefel gweinydd megis rheolau ModSecurity, a rhwystrwyr botiau a ddarperir gan eich cwmni hosting: rhowch y user agent ar restr wen, neu gofynnwch i’ch host wneud hynny.

Siopau Magento: gwnewch yn siŵr bod y rheol hefyd yn cwmpasu ceisiadau POST i /graphql. Mae rhai muriau tân yn trin ceisiadau API ar wahân i olygfeydd tudalen. Os caniateir tudalennau ond bod /graphql wedi’i rwystro, ni fydd eich catalog cynnyrch yn diweddaru.

Peidiwch â dibynnu ar restr ganiatáu IP. Nid yw gripiwr Shoply yn defnyddio cyfeiriadau IP sefydlog.

Sut ydw i’n gwirio ei fod wedi gweithio?

1. Yn y gweinyddiaeth Shoply, cliciwch Recrawl Now.
2. Arhoswch i’r cropiad orffen, yna gwiriwch fod “Last updated” ar eich dangosfwrdd wedi ailosod i amser diweddar.
3. Gofynnwch i’r chatbot am gynnyrch neu dudalen y gwnaethoch ei newid yn ddiweddar, a chadarnhewch fod yr ateb a’r ddolen yn cyfateb i’ch gwefan fyw.

Gallwch hefyd redeg gwiriad cyflym o’ch cyfrifiadur eich hun. Amnewidiwch https://your-site.com/ gyda chyfeiriad eich gwefan:

curl -I -A "ShoplyAIBot/1.0 (https://shoplyai.ai; support@shoplyai.ai; For sites installed Shoply AI Search & Chatbot)" https://your-site.com/

Mae ymateb o HTTP/2 200 (neu HTTP/1.1 200 OK) yn golygu bod eich rheol yn gadael i’r user agent hwnnw basio. Mae 403 yn golygu bod rhywbeth yn dal i’w rwystro.

Mae’r prawf hwn yn rhedeg o gyfeiriad IP eich cyfrifiadur chi, nid o weinyddion Shoply. Mae rhai muriau tân yn trin traffig yn wahanol yn dibynnu ar ble mae’n dod, felly’r ailgropiad yn y gweinyddiaeth Shoply yw’r gwiriad terfynol.

Angen help?

E-bostiwch support@shoplyai.ai gyda chyfeiriad eich gwefan, y mur tân neu’r darparwr hosting rydych yn ei ddefnyddio, a screenshot o unrhyw gais sydd wedi’i rwystro yn logiau eich mur tân. Peidiwch ag anfon cyfrineiriau na allweddi API, os gwelwch yn dda.