Kuinka sallia Shoply AI:n crawler palomuurisi läpi

Shoply AI pitää vastauksensa tarkkoina lukemalla verkkosivustoasi säännöllisesti. Jos sivustosi käyttää Cloudflarea tai muuta palomuuria tai bottisuojapalvelua, kyseinen palvelu voi estää Shoplyn crawlerin. Kun näin tapahtuu, chatbot jatkaa vastaamista sivustosi vanhan kopion perusteella.

Korjaus on yleensä yksi sääntö: salli pyynnöt, joiden User-Agent sisältää ShoplyAIBot. Tämä opas selittää, miksi crawleria tarvitaan, miten sen tunnistaa ja miten se sallitaan Cloudflaressa ja muissa palomuureissa.

Kenen täytyy tehdä tämä?

• SiteChat-verkkosivustojen omistajien. SiteChat on Shoplyn chat ja haku kaikille verkkosivustoille, jotka eivät ole Shopify-kauppoja, mukaan lukien Magento-kaupat.
• Toimistojen ja kehittäjien, jotka hallinnoivat näiden verkkosivustojen hostingia, CDN:ää (content delivery network) tai suojausasetuksia.

Shopify-sovelluksen kauppiaiden ei yleensä tarvitse muuttaa mitään. Shoply vastaanottaa Shopify-tuotetiedot Shopifyn API:n kautta eikä indeksoimalla storefrontiasi. Jos kuitenkin lisäsit tietolähteiksi sivuja muulta kuin Shopify-verkkosivustolta, kuten muualla hostatun ohjekeskuksen tai blogin, kyseisen verkkosivuston palomuuri voi silti estää Shoplyn. Katso kuinka opettaa Shoplylle tietoa kaupastasi, mistä nuo sivut on lueteltu.

Miksi Shoplyn täytyy lukea verkkosivustoani?

Shoply lukee crawl-asetuksissasi luettelemat sivut, jotta chatbotin vastaukset, hinnat ja linkit vastaavat live-sivustoasi.

Magento-kauppojen osalta Shoply lukee myös julkisen tuoteluettelosi kauppasi GraphQL-päätepisteen (/graphql) kautta. Se lähettää vain luku -tuotekyselyjä yksityiskohtia varten, kuten nimet, SKU:t, hinnat, variantit ja tuote-URL-osoitteet.

Crawler ei koskaan kirjaudu sisään, ei koskaan tee tilauksia eikä koskaan lähetä lomakkeita. Jos haluat tietää, mitä Shoply tekee tällä sisällöllä, lue mitä tietoja Shoply käyttää vastatakseen asiakkaiden kysymyksiin.

Mitä tapahtuu, jos crawler estetään?

• Crawlaukset epäonnistuvat. Shoply ei voi hakea sivujasi tai tuotetietojasi.
• AI jatkaa vastaamista viimeisimmän onnistuneen crawlauksen perusteella. Ostajat saattavat nähdä vanhoja hintoja, poistamiasi tuotteita sekä vanhentuneita tai vääriä linkkejä. Eräässä todellisessa tapauksessa kauppa siirtyi kehityssivustolta tuotantodomainiinsa, mutta sen palomuuri esti crawlerin, joten chatbot jatkoi ostajien ohjaamista vanhalle kehityssivustolle.
• “Viimeksi päivitetty … sitten” lakkaa etenemästä Shoplyn ylläpitonäkymässä.

Yleisiä merkkejä estetystä crawlerista

Shoplyn ylläpidossa crawl-aika jää jälkeen. Kojelaudalla kohdassa Content crawled by Shoply AI näkyvä “Last updated at: … ago” -aika kasvaa jatkuvasti sen sijaan, että se nollautuisi muutaman tunnin välein, esimerkiksi “770 hours ago” (noin kuukausi). Se pysyy jäljessä myös sen jälkeen, kun napsautat Recrawl Now, koska estetty crawlaus ei koskaan valmistu.

Jos tarkistat palomuurilokisi, tavallinen oire on, että Cloudflare palauttaa HTTP 403 Shoplyn pyyntöihin jossakin seuraavista muodoista:

• Error 1010, mikä tarkoittaa, että sivuston omistaja esti pyynnön sen selainallekirjoituksen perusteella. Cloudflaren oma korjaus tähän virheeseen viittaa kohtaan Browser Integrity Check.
• “Just a moment…” -haastesivu, jota crawler ei voi läpäistä.

Miten tunnistan Shoplyn crawlerin?

Jokainen Shoplyn crawlerin pyyntö käyttää tätä User-Agentia:

ShoplyAIBot/1.0 (https://shoplyai.ai; support@shoplyai.ai; For sites installed Shoply AI Search & Chatbot)

Kirjoita sääntösi vastaamaan lyhyempää tekstiä ShoplyAIBot (esimerkiksi “User-Agent contains ShoplyAIBot”). Näin sääntösi toimii edelleen, vaikka versionumero muuttuisi.

Salli käyttäjäagentin perusteella, älä IP-osoitteen perusteella. Shoplyn crawler ei käytä kiinteitä IP-osoitteita, joten IP-sallintalista ei toimi luotettavasti.

Miten crawler toimii

• Se indeksoi vain sivustot, jotka olet määrittänyt Shoplyssä.
• Se noudattaa robots.txt-tiedostoa sivuja lukiessaan. Jos robots.txt estää sivun, Shoply ohittaa sen, joten tarkista, ettei se estä sivuja, joista haluat AI:n oppivan.
• Se kuormittaa palvelintasi kevyesti: enintään 2 pyyntöä kerrallaan, ja pyyntöjen välillä on 2 sekunnin viive.
• Sivumäärä on rajattu Shoply-pakettisi mukaan.

Milloin crawler toimii

• Automaattisesti aikataulun mukaan. Tiheys riippuu paketistasi.
• Kun napsautat “Recrawl Now” Shoplyn ylläpidossa.
• Joka toinen päivä niin kauan kuin crawlaukset epäonnistuvat. Shoply yrittää automaattisesti uudelleen, joten kun lisäät sallivan säännön, seuraava uudelleenyritys tai manuaalinen uudelleencrawlaus poimii sivustosi.

Miten sallin Shoplyn Cloudflaressa?

Luo Cloudflaressa mukautettu sääntö, jossa toimintona on Skip. Skip-sääntö antaa vastaavien pyyntöjen ohittaa suojaustarkistukset, jotka muuten estäisivät ne tai näyttäisivät niille haasteen.

Vaihe 1: Luo skip-sääntö

1. Avaa Cloudflare-hallintapaneelissa verkkosivustosi (zone) ja siirry kohtaan Security rules.

2. Valitse Create rule > Custom rules.

3. Syötä kohtaan Rule name selkeä nimi, kuten Allow Shoply AI crawler.

4. Aseta kohdassa When incoming requests match:

   • Field: User Agent
   • Operator: contains
   • Value: ShoplyAIBot

   Jos käytät mieluummin lauseke-editoria, käytä:

   text

   (http.user_agent contains "ShoplyAIBot")

5. Valitse kohdassa Then take action > Choose action vaihtoehto Skip.

6. Valitse, mitä ohitetaan (katso alla oleva taulukko).

7. Jätä Log matching requests päälle. Tällöin Shoplyn pyynnöt näkyvät Cloudflaren Security Events -näkymässä, mikä helpottaa vianmääritystä.

8. Valitse Deploy.

Vaihe 2: Valitse, mitä ohitetaan

Aloita riveistä, joissa lukee “Kyllä”. Jos Cloudflaren Security Events näyttää edelleen Shoplyn pyyntöjen estyvän tai joutuvan haasteeseen, tapahtuma kertoo, mikä ominaisuus toimi. Lisää kyseinen ominaisuus skip-sääntöön.

Vaihe 3: Siirrä sääntö ensimmäiseksi

Cloudflare arvioi mukautetut säännöt järjestyksessä ensimmäisestä viimeiseen. Jos yläpuolellasi oleva sääntö estää pyynnön tai näyttää sille haasteen, skip-sääntösi ei koskaan suoritu. Siirrä Shoply-sääntö mukautettujen sääntöjesi listan yläosaan.

Jos käytät Bot Fight Modea (Cloudflare Free -paketti)

Bot Fight Modea ei voi ohittaa skip-säännöllä. Cloudflare suorittaa sen erillään mukautetuista säännöistä, joten skip- ja allow-säännöillä ei ole siihen vaikutusta. Sinulla on kaksi vaihtoehtoa:

• Poista Bot Fight Mode käytöstä: siirry kohtaan Security > Settings, suodata Bot traffic -kohdalla ja kytke Bot fight mode pois päältä.
• Päivitä Pro-pakettiin tai ylempään ja käytä Super Bot Fight Modea, joka tukee skip-sääntöjä.

Jos Under Attack -tila on päällä

Under Attack -tila näyttää haastesivun jokaiselle kävijälle, eivätkä crawlerit voi läpäistä sitä. Cloudflare suosittelee sen käyttöä vain aktiivisen hyökkäyksen aikana. Shoply ei pysty lukemaan sivustoasi ennen kuin se poistetaan käytöstä.

Onko käyttäjäagentin salliminen turvallista?

Mikä tahansa asiakas voi väittää olevansa ShoplyAIBot, joten tämä sääntö ohittaa joitakin bottitarkistuksia kaikille, jotka lähettävät kyseisen User-Agentin. Jotta riski pysyy pienenä, ohita vain ne ominaisuudet, jotka estävät crawlerin, ja pidä kirjautumisen, kassatoiminnon ja ylläpidon suojaukset ennallaan. Shoply ei koskaan tarvitse pääsyä näille alueille.

Miten sallin Shoplyn muissa palomuureissa?

Periaate on kaikkialla sama: salli pyynnöt, joiden User-Agent sisältää ShoplyAIBot. Tarkat valikot vaihtelevat tuotteittain, joten noudata toimittajasi dokumentaatiota allow- tai exception-säännön luomiseksi. Yleisiä tarkistettavia paikkoja:

• Pilvipohjaiset web-sovelluspalomuurit (WAF) kuten Sucuri, AWS WAF ja Akamai: lisää allow- tai exception-sääntö, joka vastaa User-Agent-otsaketta.
• WordPressin tietoturvalisäosat kuten Wordfence: etsi bottien estoon, rate limitingiin tai käyttäjäagentin estoon liittyvät asetukset.
• Palvelintasoiset suodattimet kuten ModSecurity-säännöt sekä hosting-yhtiösi tarjoamat bottiestot: lisää käyttäjäagentti sallintalistalle tai pyydä hostiasi tekemään se.

Magento-kaupat: varmista, että sääntö kattaa myös POST-pyynnöt osoitteeseen /graphql. Jotkin palomuurit käsittelevät API-pyyntöjä eri tavalla kuin sivulatauksia. Jos sivut sallitaan mutta /graphql estetään, tuoteluettelosi ei päivity.

Älä luota IP-sallintalistaan. Shoplyn crawler ei käytä kiinteitä IP-osoitteita.

Miten tarkistan, että se toimi?

1. Napsauta Shoplyn ylläpidossa Recrawl Now.
2. Odota, että crawlaus valmistuu, ja tarkista sitten, että kojelaudan “Last updated” on nollautunut tuoreeseen aikaan.
3. Kysy chatbotilta tuotteesta tai sivusta, jota muutit hiljattain, ja varmista, että vastaus ja linkki vastaavat live-sivustoasi.

Voit tehdä myös nopean tarkistuksen omalta tietokoneeltasi. Korvaa https://your-site.com/ verkkosivustosi osoitteella:

curl -I -A "ShoplyAIBot/1.0 (https://shoplyai.ai; support@shoplyai.ai; For sites installed Shoply AI Search & Chatbot)" https://your-site.com/

Vastaus HTTP/2 200 (tai HTTP/1.1 200 OK) tarkoittaa, että sääntösi päästää kyseisen käyttäjäagentin läpi. 403 tarkoittaa, että jokin estää sitä yhä.

Tämä testi suoritetaan tietokoneesi IP-osoitteesta, ei Shoplyn palvelimilta. Jotkin palomuurit käsittelevät liikennettä eri tavalla riippuen siitä, mistä se tulee, joten uudelleencrawlaus Shoplyn ylläpidossa on lopullinen tarkistus.

Tarvitsetko apua?

Lähetä sähköpostia osoitteeseen support@shoplyai.ai ja liitä mukaan verkkosivustosi osoite, käyttämäsi palomuuri tai hosting-palveluntarjoaja sekä kuvakaappaus kaikista estetyistä pyynnöistä palomuurisi lokeissa. Älä lähetä salasanoja tai API-avaimia.