Como permitir que o crawler do Shoply AI passe pelo seu firewall

O Shoply AI mantém suas respostas corretas lendo regularmente o seu site. Se o seu site usa Cloudflare ou outro serviço de firewall ou proteção contra bots, esse serviço pode bloquear o crawler da Shoply. Quando isso acontece, o chatbot continua respondendo com base em uma cópia antiga do seu site.

A correção normalmente é uma única regra: permitir solicitações cujo User-Agent contenha ShoplyAIBot. Este guia explica por que o crawler é necessário, como reconhecê-lo e como permiti-lo no Cloudflare e em outros firewalls.

Quem precisa fazer isso?

• Proprietários de sites com SiteChat. O SiteChat é o chat e a busca da Shoply para qualquer site que não seja uma loja Shopify, incluindo lojas Magento.
• Agências e desenvolvedores que gerenciam hospedagem, uma CDN (rede de distribuição de conteúdo) ou configurações de segurança desses sites.

Lojistas que usam o app da Shopify normalmente não precisam mudar nada. A Shoply recebe os dados de produtos da Shopify por meio da API da Shopify, não rastreando a sua vitrine. No entanto, se você adicionou páginas de um site que não é Shopify como fontes de conhecimento, como uma central de ajuda ou blog hospedado em outro lugar, o firewall desse site ainda pode bloquear a Shoply. Veja como ensinar a Shoply sobre o conhecimento da sua loja para saber onde essas páginas são listadas.

Por que a Shoply precisa ler o meu site?

A Shoply lê as páginas que você listou nas suas configurações de rastreamento para que as respostas, os preços e os links do chatbot correspondam ao seu site ao vivo.

Para lojas Magento, a Shoply também lê o seu catálogo público de produtos por meio do endpoint GraphQL da sua loja (/graphql). Ela envia consultas de produto somente leitura para obter detalhes como nomes, SKUs, preços, variantes e URLs dos produtos.

O crawler nunca faz login, nunca realiza pedidos e nunca envia formulários. Para saber o que a Shoply faz com esse conteúdo, leia quais informações a Shoply usa para responder às perguntas dos clientes.

O que acontece se o crawler for bloqueado?

• Os rastreamentos falham. A Shoply não consegue buscar suas páginas nem os dados dos seus produtos.
• A IA continua respondendo com base no último rastreamento bem-sucedido. Os compradores podem ver preços antigos, produtos que você removeu e links desatualizados ou incorretos. Em um caso real, uma loja mudou de um site de desenvolvimento para o domínio de produção, mas o firewall bloqueou o crawler, então o chatbot continuou enviando os compradores para o antigo site de desenvolvimento.
• “Last updated … ago” para de avançar no painel de administração da Shoply.

Sinais comuns de um crawler bloqueado

No admin da Shoply, o tempo do rastreamento fica desatualizado. No painel, o tempo “Last updated at: … ago” em Content crawled by Shoply AI continua aumentando em vez de ser redefinido a cada poucas horas, por exemplo “770 hours ago” (cerca de um mês). Ele continua atrasado mesmo depois que você clica em Recrawl Now, porque um rastreamento bloqueado nunca termina.

Se você verificar os logs do seu firewall, o sintoma mais comum é o Cloudflare retornar HTTP 403 para as solicitações da Shoply, em uma destas formas:

• Erro 1010, significando que o proprietário do site baniu a solicitação com base em sua assinatura de navegador. A própria correção do Cloudflare para esse erro aponta para Browser Integrity Check.
• Uma página de desafio “Just a moment…”, que um crawler não consegue concluir.

Como eu reconheço o crawler da Shoply?

Toda solicitação do crawler da Shoply usa este User-Agent:

ShoplyAIBot/1.0 (https://shoplyai.ai; support@shoplyai.ai; For sites installed Shoply AI Search & Chatbot)

Escreva suas regras para corresponder ao texto mais curto ShoplyAIBot (por exemplo, “User-Agent contains ShoplyAIBot”). Assim, sua regra continuará funcionando se o número da versão mudar.

Permita pelo user agent, não por endereço IP. O crawler da Shoply não usa endereços IP fixos, então uma lista de permissões por IP não funcionará de forma confiável.

Como o crawler se comporta

• Ele rastreia apenas os sites que você configurou na Shoply.
• Ele respeita o robots.txt ao ler páginas. Se o seu robots.txt bloquear uma página, a Shoply a ignorará, então verifique se ele não está bloqueando as páginas das quais você quer que a IA aprenda.
• Ele é leve com o seu servidor: no máximo 2 solicitações por vez, com um intervalo de 2 segundos entre as solicitações.
• A contagem de páginas é limitada pelo seu plano da Shoply.

Quando o crawler é executado

• Automaticamente em uma programação. A frequência depende do seu plano.
• Quando você clica em “Recrawl Now” no admin da Shoply.
• A cada 2 dias enquanto os rastreamentos continuarem falhando. A Shoply tenta novamente automaticamente, então assim que você adicionar a regra de permissão, a próxima tentativa ou um novo rastreamento manual irá capturar seu site.

Como permito a Shoply no Cloudflare?

No Cloudflare, crie uma custom rule com a ação Skip. Uma regra de ignorar permite que as solicitações correspondentes contornem as verificações de segurança que, de outra forma, as bloqueariam ou desafiariam.

Etapa 1: Criar a regra de ignorar

1. No painel do Cloudflare, abra o seu site (zone) e vá para Security rules.

2. Selecione Create rule > Custom rules.

3. Em Rule name, insira algo claro, como Allow Shoply AI crawler.

4. Em When incoming requests match, defina:

   • Field: User Agent
   • Operator: contains
   • Value: ShoplyAIBot

   Se preferir o editor de expressões, use:

   text

   (http.user_agent contains "ShoplyAIBot")

5. Em Then take action > Choose action, selecione Skip.

6. Escolha o que ignorar (veja a tabela abaixo).

7. Deixe Log matching requests ativado. Assim, as solicitações da Shoply aparecerão em Security Events do Cloudflare, o que ajuda na solução de problemas.

8. Selecione Deploy.

Etapa 2: Escolha o que ignorar

Comece pelas linhas marcadas com “Sim”. Se os Security Events do Cloudflare ainda mostrarem as solicitações da Shoply sendo bloqueadas ou desafiadas, o evento informará qual recurso agiu. Adicione esse recurso à regra de ignorar.

Etapa 3: Coloque a regra em primeiro lugar

O Cloudflare avalia as custom rules em ordem, da primeira à última. Se uma regra acima da sua bloquear ou desafiar a solicitação, sua regra de ignorar nunca será executada. Mova a regra da Shoply para o topo da sua lista de custom rules.

Se você usa Bot Fight Mode (plano Free do Cloudflare)

O Bot Fight Mode não pode ser contornado com uma regra de ignorar. O Cloudflare o executa separadamente das custom rules, então regras de skip e allow não têm efeito sobre ele. Você tem duas opções:

• Desativar o Bot Fight Mode: vá para Security > Settings, filtre por Bot traffic e desative Bot fight mode.
• Fazer upgrade para um plano Pro ou superior e usar Super Bot Fight Mode, que oferece suporte a regras de ignorar.

Se o modo Under Attack estiver ativado

O modo Under Attack mostra uma página de desafio para todo visitante, e crawlers não conseguem passar por ela. O Cloudflare recomenda usá-lo apenas durante um ataque ativo. A Shoply não conseguirá ler o seu site até que ele seja desativado.

É seguro permitir um user agent?

Qualquer cliente pode afirmar ser ShoplyAIBot, então essa regra ignora algumas verificações de bot para qualquer um que envie esse User-Agent. Para manter o risco baixo, ignore apenas os recursos que bloqueiam o crawler e mantenha ativas as proteções de login, checkout e admin. A Shoply nunca precisa de acesso a essas áreas.

Como permito a Shoply em outros firewalls?

O princípio é o mesmo em qualquer lugar: permita solicitações cujo User-Agent contenha ShoplyAIBot. Os menus exatos variam conforme o produto, então siga a documentação do seu fornecedor para criar uma regra de permissão ou exceção. Lugares comuns para verificar:

• Firewalls de aplicação web (WAFs) em nuvem como Sucuri, AWS WAF e Akamai: adicione uma regra de permissão ou exceção que corresponda ao cabeçalho User-Agent.
• Plugins de segurança do WordPress como Wordfence: procure configurações de bloqueio de bots, limitação de taxa ou bloqueio por user-agent.
• Filtros em nível de servidor como regras do ModSecurity e bloqueadores de bots fornecidos pela sua empresa de hospedagem: adicione o user agent à lista de permissões ou peça ao seu host para fazer isso.

Lojas Magento: certifique-se de que a regra também cubra solicitações POST para /graphql. Alguns firewalls tratam solicitações de API separadamente das visualizações de página. Se as páginas forem permitidas, mas /graphql for bloqueado, o seu catálogo de produtos não será atualizado.

Não dependa de uma lista de permissões por IP. O crawler da Shoply não usa endereços IP fixos.

Como verifico se funcionou?

1. No admin da Shoply, clique em Recrawl Now.
2. Aguarde o término do rastreamento e então verifique se “Last updated” no seu painel foi redefinido para um horário recente.
3. Pergunte ao chatbot sobre um produto ou página que você alterou recentemente e confirme que a resposta e o link correspondem ao seu site ao vivo.

Você também pode fazer uma verificação rápida do seu próprio computador. Substitua https://your-site.com/ pelo endereço do seu site:

curl -I -A "ShoplyAIBot/1.0 (https://shoplyai.ai; support@shoplyai.ai; For sites installed Shoply AI Search & Chatbot)" https://your-site.com/

Uma resposta HTTP/2 200 (ou HTTP/1.1 200 OK) significa que sua regra permite a passagem desse user agent. Um 403 significa que algo ainda está bloqueando.

Esse teste é executado a partir do IP do seu computador, não dos servidores da Shoply. Alguns firewalls tratam o tráfego de maneira diferente dependendo de onde ele vem, então o novo rastreamento no admin da Shoply é a verificação final.

Precisa de ajuda?

Envie um e-mail para support@shoplyai.ai com o endereço do seu site, o firewall ou provedor de hospedagem que você usa e uma captura de tela de qualquer solicitação bloqueada nos logs do seu firewall. Por favor, não envie senhas nem chaves de API.