Cara Mengizinkan Crawler Shoply AI Melewati Firewall Anda

A brick firewall opens one gate so Shoply's crawler can carry website pages to the chat assistant

Shoply AI menjaga jawabannya tetap akurat dengan secara rutin membaca situs web Anda. Jika situs Anda menggunakan Cloudflare atau layanan firewall atau perlindungan bot lainnya, layanan tersebut dapat memblokir crawler Shoply. Saat itu terjadi, chatbot akan terus menjawab berdasarkan salinan lama situs Anda.

Perbaikannya biasanya hanya satu aturan: izinkan permintaan yang User-Agent-nya berisi ShoplyAIBot. Panduan ini menjelaskan mengapa crawler diperlukan, cara mengenalinya, dan cara mengizinkannya di Cloudflare dan firewall lainnya.

Siapa yang perlu melakukan ini?

Pemilik situs web SiteChat. SiteChat adalah chat dan pencarian dari Shoply untuk situs web apa pun yang bukan toko Shopify, termasuk toko Magento.
Agensi dan developer yang mengelola hosting, CDN (content delivery network), atau pengaturan keamanan untuk situs web tersebut.

Merchant aplikasi Shopify biasanya tidak perlu mengubah apa pun. Shoply menerima data produk Shopify melalui API Shopify, bukan dengan merayapi storefront Anda. Namun, jika Anda menambahkan halaman dari situs web non-Shopify sebagai sumber pengetahuan, seperti pusat bantuan atau blog yang di-host di tempat lain, firewall situs web tersebut tetap bisa memblokir Shoply. Lihat cara mengajari Shoply tentang toko Anda untuk mengetahui di mana halaman-halaman tersebut dicantumkan.

Mengapa Shoply perlu membaca situs web saya?

Shoply membaca halaman yang Anda cantumkan dalam pengaturan crawl agar jawaban, harga, dan tautan chatbot sesuai dengan situs live Anda.

Untuk toko Magento, Shoply juga membaca katalog produk publik Anda melalui endpoint GraphQL toko Anda (/graphql). Shoply mengirim kueri produk read-only untuk detail seperti nama, SKU, harga, varian, dan URL produk.

Crawler tidak pernah login, tidak pernah membuat pesanan, dan tidak pernah mengirim formulir. Untuk mempelajari apa yang Shoply lakukan dengan konten ini, baca informasi apa yang digunakan Shoply untuk menjawab pertanyaan pelanggan.

Apa yang terjadi jika crawler diblokir?

Crawl gagal. Shoply tidak dapat mengambil halaman atau data produk Anda.
AI terus menjawab dari crawl terakhir yang berhasil. Pembeli mungkin melihat harga lama, produk yang sudah Anda hapus, serta tautan yang usang atau salah. Dalam satu kasus nyata, sebuah toko berpindah dari situs pengembangan ke domain produksi, tetapi firewall-nya memblokir crawler, sehingga chatbot terus mengarahkan pembeli ke situs pengembangan lama.
“Last updated … ago” berhenti bertambah maju di dashboard admin Shoply Anda.

Tanda umum crawler diblokir

Di admin Shoply, waktu crawl tertinggal. Di dashboard, waktu “Last updated at: … ago” di bawah Content crawled by Shoply AI terus bertambah alih-alih di-reset setiap beberapa jam, misalnya “770 hours ago” (sekitar sebulan). Status itu tetap tertinggal bahkan setelah Anda mengklik Recrawl Now, karena crawl yang diblokir tidak pernah selesai.

Jika Anda memeriksa log firewall, gejala yang umum adalah Cloudflare mengembalikan HTTP 403 ke permintaan Shoply, dalam salah satu bentuk berikut:

Error 1010, yang berarti pemilik situs melarang permintaan berdasarkan browser signature-nya. Perbaikan dari Cloudflare sendiri untuk error ini mengarah ke Browser Integrity Check.
Halaman challenge “Just a moment…”, yang tidak dapat diselesaikan oleh crawler.

Bagaimana cara mengenali crawler Shoply?

Setiap permintaan dari crawler Shoply menggunakan User-Agent ini:

text


ShoplyAIBot/1.0 (https://shoplyai.ai; support@shoplyai.ai; For sites installed Shoply AI Search & Chatbot)

Tulis aturan Anda agar cocok dengan teks yang lebih pendek ShoplyAIBot (misalnya, “User-Agent contains ShoplyAIBot”). Dengan begitu, aturan Anda akan tetap berfungsi jika nomor versinya berubah.

Izinkan berdasarkan user agent, bukan berdasarkan alamat IP. Crawler Shoply tidak menggunakan alamat IP tetap, jadi allowlist IP tidak akan berfungsi dengan andal.

Cara kerja crawler

Crawler hanya merayapi situs yang Anda konfigurasi di Shoply.
Crawler mematuhi robots.txt saat membaca halaman. Jika robots.txt Anda memblokir sebuah halaman, Shoply akan melewatinya, jadi pastikan robots.txt tidak memblokir halaman yang ingin Anda jadikan sumber pembelajaran AI.
Crawler ringan terhadap server Anda: maksimal 2 permintaan pada saat yang sama, dengan jeda 2 detik di antara permintaan.
Jumlah halaman dibatasi oleh paket Shoply Anda.

Kapan crawler berjalan

Secara otomatis sesuai jadwal. Seberapa sering tergantung pada paket Anda.
Saat Anda mengklik “Recrawl Now” di admin Shoply.
Setiap 2 hari selama crawl terus gagal. Shoply mencoba lagi secara otomatis, jadi setelah Anda menambahkan aturan allow, percobaan ulang berikutnya atau recrawl manual akan mulai mengambil situs Anda.

Bagaimana cara mengizinkan Shoply di Cloudflare?

Di Cloudflare, buat custom rule dengan aksi Skip. Skip rule memungkinkan permintaan yang cocok untuk melewati pemeriksaan keamanan yang seharusnya memblokir atau menantangnya.

Langkah 1: Buat skip rule

Di dashboard Cloudflare, buka situs web Anda (zone) dan masuk ke Security rules.
Pilih Create rule > Custom rules.
Di Rule name, masukkan nama yang jelas, seperti Allow Shoply AI crawler.
Di bawah When incoming requests match, atur:
- Field: User Agent
- Operator: contains
- Value: ShoplyAIBot
Jika Anda lebih suka expression editor, gunakan:
text
```
(http.user_agent contains "ShoplyAIBot")
```
Di bawah Then take action > Choose action, pilih Skip.
Pilih apa yang akan di-skip (lihat tabel di bawah).
Biarkan Log matching requests tetap aktif. Dengan begitu, permintaan Shoply akan muncul di Security Events Cloudflare, yang membantu saat troubleshooting.
Pilih Deploy.

Langkah 2: Pilih apa yang akan di-skip

Opsi skip di Cloudflare	Skip?	Mengapa
Browser Integrity Check	Ya	Menyebabkan error 1010 untuk crawler
Security Level	Ya	Mencegah pemeriksaan Security Level menantang crawler
All Super Bot Fight Mode rules	Ya, pada paket Pro ke atas	Super Bot Fight Mode dapat menantang atau memblokir crawler
User Agent Blocking	Jika Anda menggunakannya	Hanya relevan jika Anda membuat aturan pemblokiran user-agent
All rate limiting rules	Hanya jika Security Events menunjukkan aturan rate limiting memblokir Shoply	Laju permintaan Shoply rendah, tetapi batas yang ketat tetap bisa mengenainya
All managed rules	Hanya jika Security Events menunjukkan managed rule memblokir Shoply	Menjaga aturan pola serangan Cloudflare tetap aktif untuk semua orang lain
All remaining custom rules	Jika Anda memiliki custom rule lain yang memblokir bot	Mencegah custom rule berikutnya memblokir Shoply

Mulailah dengan baris yang bertanda “Ya”. Jika Security Events Cloudflare masih menunjukkan permintaan Shoply diblokir atau ditantang, event tersebut akan memberi tahu fitur mana yang bertindak. Tambahkan fitur itu ke skip rule.

Langkah 3: Letakkan aturan di urutan pertama

Cloudflare mengevaluasi custom rule secara berurutan, dari pertama hingga terakhir. Jika sebuah aturan di atas aturan Anda memblokir atau menantang permintaan, skip rule Anda tidak akan pernah dijalankan. Pindahkan aturan Shoply ke bagian paling atas daftar custom rule Anda.

Jika Anda menggunakan Bot Fight Mode (paket Cloudflare Free)

Bot Fight Mode tidak dapat dilewati dengan skip rule. Cloudflare menjalankannya secara terpisah dari custom rule, jadi aturan skip dan allow tidak berpengaruh terhadapnya. Anda memiliki dua opsi:

Matikan Bot Fight Mode: buka Security > Settings, filter berdasarkan Bot traffic, dan nonaktifkan Bot fight mode.
Upgrade ke paket Pro atau lebih tinggi dan gunakan Super Bot Fight Mode, yang mendukung skip rule.

Jika mode Under Attack aktif

Mode Under Attack menampilkan halaman challenge kepada setiap pengunjung, dan crawler tidak dapat melewatinya. Cloudflare merekomendasikan untuk menggunakannya hanya selama ada serangan aktif. Shoply tidak akan bisa membaca situs Anda sampai mode tersebut dimatikan.

Apakah aman mengizinkan user agent?

Klien mana pun bisa mengaku sebagai ShoplyAIBot, jadi aturan ini melewati beberapa pemeriksaan bot untuk siapa pun yang mengirim User-Agent tersebut. Untuk menjaga risikonya tetap kecil, skip hanya fitur yang memblokir crawler, dan tetap pertahankan perlindungan login, checkout, dan admin Anda. Shoply tidak pernah memerlukan akses ke area-area tersebut.

Bagaimana cara mengizinkan Shoply di firewall lain?

Prinsipnya sama di mana pun: izinkan permintaan yang User-Agent-nya berisi ShoplyAIBot. Menu yang tepat berbeda-beda tergantung produknya, jadi ikuti dokumentasi vendor Anda untuk membuat aturan allow atau exception. Tempat umum yang perlu diperiksa:

Cloud web application firewalls (WAFs) seperti Sucuri, AWS WAF, dan Akamai: tambahkan aturan allow atau exception yang cocok dengan header User-Agent.
Plugin keamanan WordPress seperti Wordfence: cari pengaturan pemblokiran bot, rate limiting, atau pemblokiran user-agent.
Filter tingkat server seperti aturan ModSecurity, dan pemblokir bot yang disediakan oleh perusahaan hosting Anda: whitelist user agent tersebut, atau minta host Anda melakukannya.

Toko Magento: pastikan aturan juga mencakup permintaan POST ke /graphql. Beberapa firewall memperlakukan permintaan API secara terpisah dari page view. Jika halaman diizinkan tetapi /graphql diblokir, katalog produk Anda tidak akan diperbarui.

Jangan mengandalkan allowlist IP. Crawler Shoply tidak menggunakan alamat IP tetap.

Bagaimana cara memeriksa bahwa ini berhasil?

Di admin Shoply, klik Recrawl Now.
Tunggu hingga crawl selesai, lalu periksa bahwa “Last updated” di dashboard Anda telah di-reset ke waktu yang baru.
Tanyakan kepada chatbot tentang produk atau halaman yang baru-baru ini Anda ubah, dan pastikan jawaban serta tautannya sesuai dengan situs live Anda.

Anda juga dapat menjalankan pemeriksaan cepat dari komputer Anda sendiri. Ganti https://your-site.com/ dengan alamat situs web Anda:

bash


curl -I -A "ShoplyAIBot/1.0 (https://shoplyai.ai; support@shoplyai.ai; For sites installed Shoply AI Search & Chatbot)" https://your-site.com/

Respons HTTP/2 200 (atau HTTP/1.1 200 OK) berarti aturan Anda mengizinkan user agent tersebut lewat. 403 berarti masih ada sesuatu yang memblokirnya.

Tes ini berjalan dari alamat IP komputer Anda, bukan dari server Shoply. Beberapa firewall memperlakukan traffic secara berbeda tergantung dari mana asalnya, jadi recrawl di admin Shoply adalah pemeriksaan akhir.

Butuh bantuan?

Kirim email ke support@shoplyai.ai dengan alamat situs web Anda, firewall atau penyedia hosting yang Anda gunakan, dan tangkapan layar dari permintaan yang diblokir di log firewall Anda. Mohon jangan mengirim kata sandi atau API key.