Kā atļaut Shoply AI rāpuļprogrammai iziet cauri jūsu ugunsmūrim

Shoply AI uztur savu atbilžu precizitāti, regulāri nolasot jūsu vietni. Ja jūsu vietne izmanto Cloudflare vai citu ugunsmūri vai botu aizsardzības pakalpojumu, šis pakalpojums var bloķēt Shoply rāpuļprogrammu. Kad tas notiek, tērzēšanas robots turpina atbildēt, izmantojot vecu jūsu vietnes kopiju.

Risinājums parasti ir viens noteikums: atļaut pieprasījumus, kuru User-Agent satur ShoplyAIBot. Šajā ceļvedī ir izskaidrots, kāpēc rāpuļprogramma ir nepieciešama, kā to atpazīt un kā to atļaut Cloudflare un citos ugunsmūros.

Kam tas ir jādara?

• SiteChat vietņu īpašniekiem. SiteChat ir Shoply tērzēšana un meklēšana jebkurai vietnei, kas nav Shopify veikals, tostarp Magento veikaliem.
• Aģentūrām un izstrādātājiem, kuri pārvalda hostingu, CDN (satura piegādes tīklu) vai šo vietņu drošības iestatījumus.

Shopify lietotnes tirgotājiem parasti nekas nav jāmaina. Shoply saņem Shopify produktu datus caur Shopify API, nevis skenējot jūsu veikala publisko saskarni. Tomēr, ja pievienojāt lapas no vietnes, kas nav Shopify, kā zināšanu avotus, piemēram, palīdzības centru vai blogu, kas mitināts citur, šīs vietnes ugunsmūris joprojām var bloķēt Shoply. Skatiet kā iemācīt Shoply informāciju par jūsu veikalu, lai uzzinātu, kur šīs lapas ir norādītas.

Kāpēc Shoply ir jālasa mana vietne?

Shoply nolasa lapas, kuras norādījāt savos skenēšanas iestatījumos, lai tērzēšanas robota atbildes, cenas un saites atbilstu jūsu aktuālajai vietnei.

Magento veikaliem Shoply arī nolasa jūsu publisko produktu katalogu, izmantojot jūsu veikala GraphQL galapunktu (/graphql). Tas sūta tikai lasīšanas produktu vaicājumus, lai iegūtu tādu informāciju kā nosaukumi, SKU, cenas, varianti un produktu URL.

Rāpuļprogramma nekad nepiesakās sistēmā, nekad neveic pasūtījumus un nekad neiesniedz formas. Lai uzzinātu, ko Shoply dara ar šo saturu, izlasiet kādu informāciju Shoply izmanto, lai atbildētu uz klientu jautājumiem.

Kas notiek, ja rāpuļprogramma ir bloķēta?

• Skenēšana neizdodas. Shoply nevar ielādēt jūsu lapas vai produktu datus.
• AI turpina atbildēt, izmantojot pēdējo veiksmīgo skenēšanu. Pircēji var redzēt vecas cenas, produktus, kurus esat noņēmis, un novecojušas vai nepareizas saites. Vienā reālā gadījumā veikals pārcēlās no izstrādes vietnes uz produkcijas domēnu, bet ugunsmūris bloķēja rāpuļprogrammu, tāpēc tērzēšanas robots turpināja sūtīt pircējus uz veco izstrādes vietni.
• “Pēdējo reizi atjaunināts pirms …” pārstāj virzīties uz priekšu jūsu Shoply administratora panelī.

Biežas bloķētas rāpuļprogrammas pazīmes

Shoply administratora panelī skenēšanas laiks atpaliek. Panelī laiks “Last updated at: … ago” zem Content crawled by Shoply AI turpina pieaugt, nevis atiestatās ik pēc dažām stundām, piemēram, “770 hours ago” (apmēram mēnesis). Tas paliek atpalicis pat pēc tam, kad noklikšķināt Recrawl Now, jo bloķēta skenēšana nekad netiek pabeigta.

Ja pārbaudāt sava ugunsmūra žurnālus, parastais simptoms ir tas, ka Cloudflare atgriež HTTP 403 Shoply pieprasījumiem kādā no šīm formām:

• Error 1010, kas nozīmē, ka vietnes īpašnieks aizliedza pieprasījumu, pamatojoties uz tā pārlūka parakstu. Cloudflare paša ieteiktais risinājums šai kļūdai norāda uz Browser Integrity Check.
• “Just a moment…” izaicinājuma lapa, kuru rāpuļprogramma nevar izpildīt.

Kā atpazīt Shoply rāpuļprogrammu?

Katrs Shoply rāpuļprogrammas pieprasījums izmanto šo User-Agent:

ShoplyAIBot/1.0 (https://shoplyai.ai; support@shoplyai.ai; For sites installed Shoply AI Search & Chatbot)

Rakstiet savus noteikumus tā, lai tie atbilstu īsākajam tekstam ShoplyAIBot (piemēram, “User-Agent contains ShoplyAIBot”). Tad jūsu noteikums turpinās darboties arī tad, ja versijas numurs mainīsies.

Atļaujiet pēc user agent, nevis pēc IP adreses. Shoply rāpuļprogramma neizmanto fiksētas IP adreses, tāpēc IP atļauto saraksts nedarbosies uzticami.

Kā uzvedas rāpuļprogramma

• Tā skenē tikai tās vietnes, kuras konfigurējāt Shoply.
• Tā ievēro robots.txt, lasot lapas. Ja jūsu robots.txt bloķē lapu, Shoply to izlaidīs, tāpēc pārbaudiet, lai tas nebloķētu lapas, no kurām vēlaties, lai AI mācās.
• Tā saudzē jūsu serveri: ne vairāk kā 2 pieprasījumi vienlaikus, ar 2 sekunžu aizturi starp pieprasījumiem.
• Lapu skaits ir ierobežots atbilstoši jūsu Shoply plānam.

Kad rāpuļprogramma darbojas

• Automātiski pēc grafika. Biežums ir atkarīgs no jūsu plāna.
• Kad Shoply administratora panelī noklikšķināt “Recrawl Now”.
• Ik pēc 2 dienām, kamēr skenēšana turpina neizdoties. Shoply automātiski mēģina vēlreiz, tāpēc, tiklīdz pievienosiet atļaušanas noteikumu, nākamais atkārtotais mēģinājums vai manuāla atkārtota skenēšana ielasīs jūsu vietni.

Kā atļaut Shoply Cloudflare?

Cloudflare izveidojiet custom rule ar darbību Skip. Skip noteikums ļauj atbilstošiem pieprasījumiem apiet drošības pārbaudes, kas citādi tos bloķētu vai parādītu tiem izaicinājumu.

1. darbība: izveidojiet skip noteikumu

1. Cloudflare panelī atveriet savu vietni (zone) un dodieties uz Security rules.

2. Izvēlieties Create rule > Custom rules.

3. Laukā Rule name ievadiet skaidru nosaukumu, piemēram, Allow Shoply AI crawler.

4. Zem When incoming requests match iestatiet:

   • Field: User Agent
   • Operator: contains
   • Value: ShoplyAIBot

   Ja dodat priekšroku izteiksmju redaktoram, izmantojiet:

   text

   (http.user_agent contains "ShoplyAIBot")

5. Zem Then take action > Choose action atlasiet Skip.

6. Izvēlieties, ko izlaist (skatiet tabulu zemāk).

7. Atstājiet Log matching requests ieslēgtu. Tad Shoply pieprasījumi parādīsies Cloudflare Security Events, kas palīdz problēmu novēršanā.

8. Izvēlieties Deploy.

2. darbība: izvēlieties, ko izlaist

Sāciet ar rindām, kur norādīts “Jā”. Ja Cloudflare Security Events joprojām rāda, ka Shoply pieprasījumi tiek bloķēti vai tiem tiek parādīts izaicinājums, notikums norādīs, kura funkcija to izdarīja. Pievienojiet šo funkciju skip noteikumam.

3. darbība: novietojiet noteikumu pirmajā vietā

Cloudflare izvērtē custom noteikumus secībā no pirmā līdz pēdējam. Ja noteikums virs jūsu noteikuma bloķē pieprasījumu vai parāda tam izaicinājumu, jūsu skip noteikums nekad netiek izpildīts. Pārvietojiet Shoply noteikumu uz custom noteikumu saraksta augšu.

Ja izmantojat Bot Fight Mode (Cloudflare Free plāns)

Bot Fight Mode nevar apiet ar skip noteikumu. Cloudflare to izpilda atsevišķi no custom noteikumiem, tāpēc skip un allow noteikumi to neietekmē. Jums ir divas iespējas:

• Izslēgt Bot Fight Mode: dodieties uz Security > Settings, filtrējiet pēc Bot traffic un izslēdziet Bot fight mode.
• Jaunināt uz Pro plānu vai augstāku un izmantot Super Bot Fight Mode, kas skip noteikumus atbalsta.

Ja ir ieslēgts Under Attack mode

Under Attack mode rāda izaicinājuma lapu katram apmeklētājam, un rāpuļprogrammas to nevar iziet. Cloudflare iesaka to izmantot tikai aktīva uzbrukuma laikā. Shoply nevarēs nolasīt jūsu vietni, kamēr tas nebūs izslēgts.

Vai ir droši atļaut user agent?

Jebkurš klients var apgalvot, ka ir ShoplyAIBot, tāpēc šis noteikums izlaiž daļu botu pārbaužu ikvienam, kurš sūta šo User-Agent. Lai risks būtu mazs, izlaidiet tikai tās funkcijas, kas bloķē rāpuļprogrammu, un saglabājiet savas pieslēgšanās, norēķinu un administratora aizsardzības. Shoply nekad nav vajadzīga piekļuve šīm zonām.

Kā atļaut Shoply citos ugunsmūros?

Princips visur ir vienāds: atļaut pieprasījumus, kuru User-Agent satur ShoplyAIBot. Precīzās izvēlnes atšķiras atkarībā no produkta, tāpēc sekojiet sava piegādātāja dokumentācijai, lai izveidotu atļaušanas vai izņēmuma noteikumu. Biežākās vietas, ko pārbaudīt:

• Mākoņa tīmekļa lietojumprogrammu ugunsmūri (WAF), piemēram, Sucuri, AWS WAF un Akamai: pievienojiet atļaušanas vai izņēmuma noteikumu, kas atbilst User-Agent galvenei.
• WordPress drošības spraudņi, piemēram, Wordfence: meklējiet botu bloķēšanas, rate limiting vai user-agent bloķēšanas iestatījumus.
• Servera līmeņa filtri, piemēram, ModSecurity noteikumi, un jūsu hostinga uzņēmuma nodrošinātie botu bloķētāji: iekļaujiet user agent baltajā sarakstā vai palūdziet to izdarīt savam hostinga pakalpojumu sniedzējam.

Magento veikali: pārliecinieties, ka noteikums attiecas arī uz POST pieprasījumiem uz /graphql. Daži ugunsmūri API pieprasījumus apstrādā atsevišķi no lapu skatījumiem. Ja lapas ir atļautas, bet /graphql ir bloķēts, jūsu produktu katalogs netiks atjaunināts.

Nepaļaujieties uz IP atļauto sarakstu. Shoply rāpuļprogramma neizmanto fiksētas IP adreses.

Kā pārbaudīt, vai tas nostrādāja?

1. Shoply administratora panelī noklikšķiniet Recrawl Now.
2. Pagaidiet, līdz skenēšana beidzas, un pēc tam pārbaudiet, vai “Last updated” jūsu panelī ir atiestatījies uz nesenu laiku.
3. Pajautājiet tērzēšanas robotam par produktu vai lapu, ko nesen mainījāt, un pārliecinieties, ka atbilde un saite atbilst jūsu aktuālajai vietnei.

Varat arī veikt ātru pārbaudi no sava datora. Aizstājiet https://your-site.com/ ar savas vietnes adresi:

curl -I -A "ShoplyAIBot/1.0 (https://shoplyai.ai; support@shoplyai.ai; For sites installed Shoply AI Search & Chatbot)" https://your-site.com/

Atbilde HTTP/2 200 (vai HTTP/1.1 200 OK) nozīmē, ka jūsu noteikums izlaiž šo user agent. 403 nozīmē, ka kaut kas to joprojām bloķē.

Šis tests darbojas no jūsu datora IP adreses, nevis no Shoply serveriem. Daži ugunsmūri apstrādā datplūsmu atšķirīgi atkarībā no tās izcelsmes vietas, tāpēc atkārtotā skenēšana Shoply administratora panelī ir galīgā pārbaude.

Vajadzīga palīdzība?

Rakstiet uz support@shoplyai.ai, norādot savas vietnes adresi, izmantoto ugunsmūra vai hostinga pakalpojumu sniedzēju un ekrānuzņēmumu ar jebkuru bloķētu pieprasījumu jūsu ugunsmūra žurnālos. Lūdzu, nesūtiet paroles vai API atslēgas.