Kaip leisti Shoply AI naršyklei praeiti per jūsų ugniasienę

Shoply AI palaiko savo atsakymų tikslumą reguliariai nuskaitydama jūsų svetainę. Jei jūsų svetainė naudoja Cloudflare arba kitą ugniasienės ar botų apsaugos paslaugą, ta paslauga gali blokuoti Shoply naršyklę. Kai taip nutinka, pokalbių robotas toliau atsako remdamasis sena jūsų svetainės kopija.

Sprendimas paprastai yra viena taisyklė: leisti užklausas, kurių User-Agent turi ShoplyAIBot. Šiame vadove paaiškinama, kodėl naršyklė reikalinga, kaip ją atpažinti ir kaip ją leisti Cloudflare bei kitose ugniasienėse.

Kam reikia tai padaryti?

• SiteChat svetainių savininkams. SiteChat yra Shoply pokalbių ir paieškos sprendimas bet kuriai svetainei, kuri nėra Shopify parduotuvė, įskaitant Magento parduotuves.
• Agentūroms ir programuotojams, kurie tvarko tų svetainių prieglobą, CDN (turinio pristatymo tinklą) arba saugumo nustatymus.

Shopify programėlės prekybininkams paprastai nieko keisti nereikia. Shoply gauna Shopify produktų duomenis per Shopify API, o ne nuskaitydama jūsų vitrinos svetainę. Tačiau jei pridėjote puslapių iš ne Shopify svetainės kaip žinių šaltinius, pavyzdžiui, pagalbos centrą ar tinklaraštį, talpinamą kitur, tos svetainės ugniasienė vis tiek gali blokuoti Shoply. Žr. kaip išmokyti Shoply apie jūsų parduotuvę, kur tie puslapiai yra išvardyti.

Kodėl Shoply reikia nuskaityti mano svetainę?

Shoply nuskaito puslapius, kuriuos nurodėte savo nuskaitymo nustatymuose, kad pokalbių roboto atsakymai, kainos ir nuorodos atitiktų jūsų veikiančią svetainę.

Magento parduotuvėms Shoply taip pat nuskaito jūsų viešą produktų katalogą per jūsų parduotuvės GraphQL galinį tašką (/graphql). Ji siunčia tik skaitymui skirtas produktų užklausas dėl tokių detalių kaip pavadinimai, SKU, kainos, variantai ir produktų URL.

Naršyklė niekada neprisijungia, niekada nepateikia užsakymų ir niekada nesiunčia formų. Norėdami sužinoti, ką Shoply daro su šiuo turiniu, skaitykite kokią informaciją Shoply naudoja atsakydama į klientų klausimus.

Kas nutinka, jei naršyklė yra blokuojama?

• Nuskaitymai nepavyksta. Shoply negali gauti jūsų puslapių ar produktų duomenų.
• AI toliau atsako remdamasi paskutiniu sėkmingu nuskaitymu. Pirkėjai gali matyti senas kainas, produktus, kuriuos pašalinote, ir pasenusias arba neteisingas nuorodas. Vienu realiu atveju parduotuvė buvo perkelta iš kūrimo svetainės į produkcinį domeną, bet jos ugniasienė blokavo naršyklę, todėl pokalbių robotas ir toliau siuntė pirkėjus į seną kūrimo svetainę.
• „Paskutinį kartą atnaujinta prieš …“ nebesikeičia jūsų Shoply administravimo skydelyje.

Dažni blokuojamos naršyklės požymiai

Shoply administravimo aplinkoje nuskaitymo laikas vis labiau atsilieka. Skydelyje laikas “Last updated at: … ago” po Content crawled by Shoply AI vis didėja, užuot iš naujo nusistatęs kas kelias valandas, pavyzdžiui, „prieš 770 valandų“ (apie mėnesį). Jis lieka atsilikęs net ir paspaudus Recrawl Now, nes blokuojamas nuskaitymas niekada neužbaigiamas.

Jei patikrinsite savo ugniasienės žurnalus, įprastas simptomas yra tai, kad Cloudflare grąžina HTTP 403 Shoply užklausoms viena iš šių formų:

• Error 1010, reiškiantis, kad svetainės savininkas uždraudė užklausą pagal jos naršyklės parašą. Pačios Cloudflare siūlomas šios klaidos sprendimas nurodo į Browser Integrity Check.
• “Just a moment…” patikros puslapis, kurio naršyklė negali įveikti.

Kaip atpažinti Shoply naršyklę?

Kiekviena Shoply naršyklės užklausa naudoja šį User-Agent:

ShoplyAIBot/1.0 (https://shoplyai.ai; support@shoplyai.ai; For sites installed Shoply AI Search & Chatbot)

Rašykite taisykles taip, kad jos atitiktų trumpesnį tekstą ShoplyAIBot (pavyzdžiui, „User-Agent turi ShoplyAIBot“). Tada jūsų taisyklė ir toliau veiks, net jei versijos numeris pasikeis.

Leiskite pagal user agent, o ne pagal IP adresą. Shoply naršyklė nenaudoja fiksuotų IP adresų, todėl IP leidžiamųjų sąrašas neveiks patikimai.

Kaip naršyklė veikia

• Ji nuskaito tik tas svetaines, kurias sukonfigūravote Shoply.
• Ji laikosi robots.txt skaitydama puslapius. Jei jūsų robots.txt blokuoja puslapį, Shoply jį praleis, todėl patikrinkite, kad jis neblokuotų puslapių, iš kurių norite, kad AI mokytųsi.
• Ji tausojanti jūsų serverį: daugiausia 2 užklausos vienu metu, su 2 sekundžių pauze tarp užklausų.
• Puslapių skaičius ribojamas pagal jūsų Shoply planą.

Kada naršyklė vykdoma

• Automatiškai pagal grafiką. Dažnis priklauso nuo jūsų plano.
• Kai Shoply administravimo aplinkoje paspaudžiate „Recrawl Now“.
• Kas 2 dienas, kol nuskaitymai vis dar nepavyksta. Shoply automatiškai bando dar kartą, todėl kai tik pridėsite leidimo taisyklę, kitas bandymas arba rankinis pakartotinis nuskaitymas vėl paims jūsų svetainę.

Kaip leisti Shoply Cloudflare aplinkoje?

Cloudflare sistemoje sukurkite custom rule su veiksmu Skip. Skip taisyklė leidžia atitinkančioms užklausoms apeiti saugumo patikras, kurios kitu atveju jas blokuotų arba mestų iššūkį.

1 žingsnis: sukurkite skip taisyklę

1. Cloudflare valdymo skydelyje atidarykite savo svetainę (zone) ir eikite į Security rules.

2. Pasirinkite Create rule > Custom rules.

3. Lauke Rule name įveskite aiškų pavadinimą, pavyzdžiui, Allow Shoply AI crawler.

4. Skiltyje When incoming requests match nustatykite:

   • Field: User Agent
   • Operator: contains
   • Value: ShoplyAIBot

   Jei labiau mėgstate išraiškų redaktorių, naudokite:

   text

   (http.user_agent contains "ShoplyAIBot")

5. Skiltyje Then take action > Choose action pasirinkite Skip.

6. Pasirinkite, ką praleisti (žr. lentelę žemiau).

7. Palikite Log matching requests įjungtą. Tada Shoply užklausos bus rodomos Cloudflare Security Events, o tai padeda diagnozuojant problemas.

8. Pasirinkite Deploy.

2 žingsnis: pasirinkite, ką praleisti

Pradėkite nuo eilučių su „Taip“. Jei Cloudflare Security Events vis dar rodo, kad Shoply užklausos yra blokuojamos arba joms metamas iššūkis, įvykis nurodys, kuri funkcija suveikė. Pridėkite tą funkciją į skip taisyklę.

3 žingsnis: perkelkite taisyklę į pirmą vietą

Cloudflare vertina custom taisykles eilės tvarka, nuo pirmos iki paskutinės. Jei virš jūsų taisyklės esanti kita taisyklė užklausą blokuoja arba jai meta iššūkį, jūsų skip taisyklė niekada nesuveiks. Perkelkite Shoply taisyklę į viršų savo custom taisyklių sąraše.

Jei naudojate Bot Fight Mode (Cloudflare Free planas)

Bot Fight Mode negalima apeiti skip taisykle. Cloudflare ją vykdo atskirai nuo custom taisyklių, todėl skip ir allow taisyklės jos neveikia. Turite dvi galimybes:

• Išjunkite Bot Fight Mode: eikite į Security > Settings, filtruokite pagal Bot traffic ir išjunkite Bot fight mode.
• Atnaujinkite į Pro planą ar aukštesnį ir naudokite Super Bot Fight Mode, kuris skip taisykles palaiko.

Jei įjungtas Under Attack režimas

Under Attack režimas rodo patikros puslapį kiekvienam lankytojui, o naršyklės jo negali praeiti. Cloudflare rekomenduoja jį naudoti tik aktyvios atakos metu. Shoply negalės nuskaityti jūsų svetainės, kol jis nebus išjungtas.

Ar saugu leisti user agent?

Bet kuris klientas gali teigti esantis ShoplyAIBot, todėl ši taisyklė apeina dalį botų patikrų visiems, kurie siunčia tą User-Agent. Kad rizika būtų maža, praleiskite tik tas funkcijas, kurios blokuoja naršyklę, ir palikite savo prisijungimo, atsiskaitymo ir administravimo zonų apsaugas įjungtas. Shoply niekada nereikia prieigos prie tų sričių.

Kaip leisti Shoply kitose ugniasienėse?

Principas visur tas pats: leiskite užklausas, kurių User-Agent turi ShoplyAIBot. Tikslūs meniu skiriasi pagal produktą, todėl kurdami leidimo ar išimties taisyklę vadovaukitės savo tiekėjo dokumentacija. Dažniausios vietos, kurias verta patikrinti:

• Debesijos žiniatinklio programų ugniasienės (WAF), tokios kaip Sucuri, AWS WAF ir Akamai: pridėkite allow arba exception taisyklę, atitinkančią User-Agent antraštę.
• WordPress saugumo įskiepiai, tokie kaip Wordfence: ieškokite botų blokavimo, rate limiting arba user-agent blokavimo nustatymų.
• Serverio lygio filtrai, tokie kaip ModSecurity taisyklės, ir jūsų prieglobos tiekėjo teikiami botų blokavimo įrankiai: įtraukite user agent į leidžiamųjų sąrašą arba paprašykite savo prieglobos tiekėjo tai padaryti.

Magento parduotuvės: įsitikinkite, kad taisyklė taip pat apima POST užklausas į /graphql. Kai kurios ugniasienės API užklausas vertina atskirai nuo puslapių peržiūrų. Jei puslapiai leidžiami, bet /graphql blokuojamas, jūsų produktų katalogas nebus atnaujinamas.

Nesiremkite IP leidžiamųjų sąrašu. Shoply naršyklė nenaudoja fiksuotų IP adresų.

Kaip patikrinti, ar tai suveikė?

1. Shoply administravimo aplinkoje spustelėkite Recrawl Now.
2. Palaukite, kol nuskaitymas baigsis, tada patikrinkite, ar “Last updated” jūsų skydelyje persinustatė į neseną laiką.
3. Paklauskite pokalbių roboto apie produktą ar puslapį, kurį neseniai pakeitėte, ir patvirtinkite, kad atsakymas bei nuoroda atitinka jūsų veikiančią svetainę.

Taip pat galite atlikti greitą patikrą iš savo kompiuterio. Pakeiskite https://your-site.com/ savo svetainės adresu:

curl -I -A "ShoplyAIBot/1.0 (https://shoplyai.ai; support@shoplyai.ai; For sites installed Shoply AI Search & Chatbot)" https://your-site.com/

Atsakymas HTTP/2 200 (arba HTTP/1.1 200 OK) reiškia, kad jūsų taisyklė leidžia tam user agent praeiti. 403 reiškia, kad kažkas vis dar jį blokuoja.

Šis testas vykdomas iš jūsų kompiuterio IP adreso, o ne iš Shoply serverių. Kai kurios ugniasienės srautą vertina skirtingai pagal tai, iš kur jis ateina, todėl pakartotinis nuskaitymas Shoply administravimo aplinkoje yra galutinis patikrinimas.

Reikia pagalbos?

Rašykite el. paštu support@shoplyai.ai, nurodydami savo svetainės adresą, naudojamą ugniasienę arba prieglobos tiekėją ir ekrano nuotrauką su bet kokia užblokuota užklausa jūsų ugniasienės žurnaluose. Prašome nesiųsti slaptažodžių ar API raktų.