So erlauben Sie den Crawler von Shoply AI durch Ihre Firewall

A brick firewall opens one gate so Shoply's crawler can carry website pages to the chat assistant

Shoply AI hält seine Antworten korrekt, indem es Ihre Website regelmäßig ausliest. Wenn Ihre Website Cloudflare oder einen anderen Firewall- oder Bot-Schutz-Dienst verwendet, kann dieser Dienst den Crawler von Shoply blockieren. Wenn das passiert, antwortet der Chatbot weiterhin auf Grundlage einer alten Kopie Ihrer Website.

Die Lösung ist meist nur eine Regel: Erlauben Sie Anfragen, deren User-Agent ShoplyAIBot enthält. Diese Anleitung erklärt, warum der Crawler benötigt wird, wie Sie ihn erkennen und wie Sie ihn in Cloudflare und anderen Firewalls zulassen.

Wer muss das tun?

SiteChat-Website-Besitzer. SiteChat ist Shoplys Chat- und Suchlösung für jede Website, die kein Shopify-Shop ist, einschließlich Magento-Shops.
Agenturen und Entwickler, die Hosting, ein CDN (Content Delivery Network) oder Sicherheitseinstellungen für diese Websites verwalten.

Händler mit der Shopify-App müssen normalerweise nichts ändern. Shoply erhält Shopify-Produktdaten über die Shopify-API, nicht durch das Crawlen Ihres Storefronts. Wenn Sie jedoch Seiten von einer Nicht-Shopify-Website als Wissensquellen hinzugefügt haben, zum Beispiel ein Help Center oder einen Blog, der anderswo gehostet wird, kann die Firewall dieser Website Shoply trotzdem blockieren. Unter wie Sie Shoply etwas über Ihren Shop beibringen sehen Sie, wo diese Seiten aufgeführt sind.

Warum muss Shoply meine Website lesen?

Shoply liest die Seiten, die Sie in Ihren Crawl-Einstellungen aufgeführt haben, damit die Antworten, Preise und Links des Chatbots mit Ihrer Live-Website übereinstimmen.

Bei Magento-Shops liest Shoply außerdem Ihren öffentlichen Produktkatalog über den GraphQL-Endpunkt Ihres Shops (/graphql). Es sendet schreibgeschützte Produktabfragen für Details wie Namen, SKUs, Preise, Varianten und Produkt-URLs.

Der Crawler meldet sich nie an, gibt nie Bestellungen auf und sendet nie Formulare ab. Um zu erfahren, was Shoply mit diesen Inhalten macht, lesen Sie welche Informationen Shoply verwendet, um Kundenfragen zu beantworten.

Was passiert, wenn der Crawler blockiert wird?

Crawls schlagen fehl. Shoply kann Ihre Seiten oder Produktdaten nicht abrufen.
Die KI antwortet weiterhin auf Grundlage des letzten erfolgreichen Crawls. Käufer sehen möglicherweise alte Preise, Produkte, die Sie entfernt haben, sowie veraltete oder falsche Links. In einem echten Fall wechselte ein Shop von einer Entwicklungswebsite auf seine Produktionsdomain, aber seine Firewall blockierte den Crawler, sodass der Chatbot Käufer weiterhin zur alten Entwicklungswebsite verlinkte.
„Zuletzt aktualisiert vor …“ wird im Shoply-Admin-Dashboard nicht mehr fortgeschrieben.

Häufige Anzeichen für einen blockierten Crawler

Im Shoply-Admin hinkt die Crawl-Zeit hinterher. Im Dashboard wird die Zeit „Last updated at: … ago“ unter Content crawled by Shoply AI immer größer, statt sich alle paar Stunden zurückzusetzen, zum Beispiel „770 hours ago“ (etwa ein Monat). Sie bleibt auch dann zurück, wenn Sie auf Recrawl Now klicken, weil ein blockierter Crawl nie abgeschlossen wird.

Wenn Sie Ihre Firewall-Logs prüfen, ist das übliche Symptom, dass Cloudflare HTTP 403 auf Shoplys Anfragen zurückgibt, in einer dieser Formen:

Fehler 1010, was bedeutet, dass der Website-Betreiber die Anfrage anhand ihrer Browser-Signatur gesperrt hat. Cloudflares eigene Lösung für diesen Fehler verweist auf Browser Integrity Check.
Eine „Just a moment…“-Challenge-Seite, die ein Crawler nicht abschließen kann.

Wie erkenne ich den Crawler von Shoply?

Jede Anfrage vom Crawler von Shoply verwendet diesen User-Agent:

text


ShoplyAIBot/1.0 (https://shoplyai.ai; support@shoplyai.ai; For sites installed Shoply AI Search & Chatbot)

Schreiben Sie Ihre Regeln so, dass sie auf den kürzeren Text ShoplyAIBot passen (zum Beispiel „User-Agent enthält ShoplyAIBot“). Dann funktioniert Ihre Regel auch weiter, wenn sich die Versionsnummer ändert.

Erlauben Sie nach User-Agent, nicht nach IP-Adresse. Der Crawler von Shoply verwendet keine festen IP-Adressen, daher funktioniert eine IP-Allowlist nicht zuverlässig.

Wie sich der Crawler verhält

Er crawlt nur die Websites, die Sie in Shoply konfiguriert haben.
Er beachtet robots.txt, wenn er Seiten liest. Wenn Ihre robots.txt eine Seite blockiert, überspringt Shoply sie. Prüfen Sie also, dass sie die Seiten nicht blockiert, aus denen die KI lernen soll.
Er ist schonend für Ihren Server: höchstens 2 Anfragen gleichzeitig, mit einer Verzögerung von 2 Sekunden zwischen den Anfragen.
Die Seitenanzahl ist begrenzt durch Ihren Shoply-Tarif.

Wann der Crawler läuft

Automatisch nach einem Zeitplan. Wie oft, hängt von Ihrem Tarif ab.
Wenn Sie im Shoply-Admin auf „Recrawl Now“ klicken.
Alle 2 Tage, solange Crawls weiterhin fehlschlagen. Shoply versucht es automatisch erneut. Sobald Sie also die Allow-Regel hinzufügen, wird der nächste Wiederholungsversuch oder ein manueller Recrawl Ihre Website erfassen.

Wie erlaube ich Shoply in Cloudflare?

Erstellen Sie in Cloudflare eine Custom Rule mit der Aktion Skip. Eine Skip-Regel erlaubt es passenden Anfragen, die Sicherheitsprüfungen zu umgehen, die sie sonst blockieren oder mit einer Challenge versehen würden.

Schritt 1: Erstellen Sie die Skip-Regel

Öffnen Sie im Cloudflare-Dashboard Ihre Website (Zone) und gehen Sie zu Security rules.
Wählen Sie Create rule > Custom rules.
Geben Sie unter Rule name einen klaren Namen ein, zum Beispiel Allow Shoply AI crawler.
Stellen Sie unter When incoming requests match Folgendes ein:
- Field: User Agent
- Operator: contains
- Value: ShoplyAIBot
Wenn Sie lieber den Expression Editor verwenden möchten, nutzen Sie:
text
```
(http.user_agent contains "ShoplyAIBot")
```
Wählen Sie unter Then take action > Choose action die Option Skip.
Wählen Sie aus, was übersprungen werden soll (siehe Tabelle unten).
Lassen Sie Log matching requests eingeschaltet. Dann erscheinen Shoplys Anfragen in Cloudflares Security Events, was bei der Fehlersuche hilft.
Wählen Sie Deploy.

Schritt 2: Wählen Sie aus, was übersprungen werden soll

Skip-Option in Cloudflare	Überspringen?	Warum
Browser Integrity Check	Ja	Verursacht Fehler 1010 für Crawler
Security Level	Ja	Verhindert, dass Security-Level-Prüfungen den Crawler mit einer Challenge versehen
All Super Bot Fight Mode rules	Ja, bei Pro-Tarifen und höher	Super Bot Fight Mode kann Crawler mit einer Challenge versehen oder blockieren
User Agent Blocking	Falls Sie es verwenden	Nur relevant, wenn Sie Regeln zur Sperrung nach User-Agent erstellt haben
All rate limiting rules	Nur wenn Security Events zeigen, dass eine Rate-Limiting-Regel Shoply blockiert	Shoplys Anfragerate ist niedrig, aber ein strenges Limit kann sie trotzdem erfassen
All managed rules	Nur wenn Security Events zeigen, dass eine Managed Rule Shoply blockiert	Hält Cloudflares Regeln für Angriffsmuster für alle anderen weiterhin aktiv
All remaining custom rules	Wenn Sie andere Custom Rules haben, die Bots blockieren	Verhindert, dass Ihre späteren Custom Rules Shoply blockieren

Beginnen Sie mit den Zeilen mit „Ja“. Wenn Cloudflares Security Events weiterhin zeigen, dass Shoplys Anfragen blockiert werden oder eine Challenge erhalten, zeigt das Ereignis an, welche Funktion aktiv war. Fügen Sie diese Funktion zur Skip-Regel hinzu.

Schritt 3: Setzen Sie die Regel an die erste Stelle

Cloudflare wertet Custom Rules der Reihe nach aus, von oben nach unten. Wenn eine Regel über Ihrer Anfrage blockiert oder mit einer Challenge versieht, wird Ihre Skip-Regel nie ausgeführt. Verschieben Sie die Shoply-Regel an den Anfang Ihrer Liste mit Custom Rules.

Wenn Sie Bot Fight Mode verwenden (Cloudflare-Free-Tarif)

Bot Fight Mode kann nicht mit einer Skip-Regel umgangen werden. Cloudflare führt ihn getrennt von Custom Rules aus, daher haben Skip- und Allow-Regeln keine Wirkung darauf. Sie haben zwei Möglichkeiten:

Schalten Sie Bot Fight Mode aus: Gehen Sie zu Security > Settings, filtern Sie nach Bot traffic und schalten Sie Bot fight mode aus.
Wechseln Sie zu einem Pro-Tarif oder höher und verwenden Sie Super Bot Fight Mode, der Skip-Regeln unterstützt.

Wenn Under Attack mode aktiviert ist

Der Under Attack mode zeigt jedem Besucher eine Challenge-Seite, und Crawler können sie nicht bestehen. Cloudflare empfiehlt, ihn nur während eines aktiven Angriffs zu verwenden. Shoply kann Ihre Website nicht lesen, solange er aktiviert ist.

Ist es sicher, einen User-Agent zu erlauben?

Jeder Client kann behaupten, ShoplyAIBot zu sein. Diese Regel überspringt daher einige Bot-Prüfungen für jeden, der diesen User-Agent sendet. Um das Risiko gering zu halten, überspringen Sie nur die Funktionen, die den Crawler blockieren, und lassen Sie Ihren Schutz für Login, Checkout und Admin-Bereich bestehen. Shoply benötigt niemals Zugriff auf diese Bereiche.

Wie erlaube ich Shoply in anderen Firewalls?

Das Prinzip ist überall dasselbe: Erlauben Sie Anfragen, deren User-Agent ShoplyAIBot enthält. Die genauen Menüs unterscheiden sich je nach Produkt. Folgen Sie daher der Dokumentation Ihres Anbieters, um eine Allow- oder Ausnahme-Regel zu erstellen. Häufige Stellen, die Sie prüfen sollten:

Cloud-Web-Application-Firewalls (WAFs) wie Sucuri, AWS WAF und Akamai: Fügen Sie eine Allow- oder Ausnahme-Regel hinzu, die auf den User-Agent-Header passt.
WordPress-Sicherheits-Plugins wie Wordfence: Suchen Sie nach Einstellungen für Bot-Blocking, Rate Limiting oder User-Agent-Blocking.
Filter auf Serverebene wie ModSecurity-Regeln und Bot-Blocker Ihres Hosting-Anbieters: Setzen Sie den User-Agent auf die Whitelist oder bitten Sie Ihren Hoster, dies zu tun.

Magento-Shops: Stellen Sie sicher, dass die Regel auch POST-Anfragen an /graphql abdeckt. Manche Firewalls behandeln API-Anfragen getrennt von Seitenaufrufen. Wenn Seiten erlaubt sind, aber /graphql blockiert ist, wird Ihr Produktkatalog nicht aktualisiert.

Verlassen Sie sich nicht auf eine IP-Allowlist. Der Crawler von Shoply verwendet keine festen IP-Adressen.

Wie prüfe ich, ob es funktioniert hat?

Klicken Sie im Shoply-Admin auf Recrawl Now.
Warten Sie, bis der Crawl abgeschlossen ist, und prüfen Sie dann, dass „Last updated“ in Ihrem Dashboard auf eine aktuelle Zeit zurückgesetzt wurde.
Fragen Sie den Chatbot nach einem Produkt oder einer Seite, die Sie kürzlich geändert haben, und bestätigen Sie, dass Antwort und Link mit Ihrer Live-Website übereinstimmen.

Sie können auch eine schnelle Prüfung von Ihrem eigenen Computer aus durchführen. Ersetzen Sie https://your-site.com/ durch die Adresse Ihrer Website:

bash


curl -I -A "ShoplyAIBot/1.0 (https://shoplyai.ai; support@shoplyai.ai; For sites installed Shoply AI Search & Chatbot)" https://your-site.com/

Eine Antwort mit HTTP/2 200 (oder HTTP/1.1 200 OK) bedeutet, dass Ihre Regel diesen User-Agent durchlässt. Ein 403 bedeutet, dass ihn noch etwas blockiert.

Dieser Test läuft von der IP-Adresse Ihres Computers, nicht von Shoplys Servern. Manche Firewalls behandeln Traffic unterschiedlich, je nachdem, woher er kommt. Deshalb ist der Recrawl im Shoply-Admin die endgültige Prüfung.

Benötigen Sie Hilfe?

Senden Sie eine E-Mail an support@shoplyai.ai mit der Adresse Ihrer Website, dem von Ihnen verwendeten Firewall- oder Hosting-Anbieter und einem Screenshot einer blockierten Anfrage in den Logs Ihrer Firewall. Bitte senden Sie keine Passwörter oder API-Schlüssel.