Cómo permitir que el rastreador de Shoply AI pase a través de tu firewall

Shoply AI mantiene sus respuestas precisas al leer tu sitio web con regularidad. Si tu sitio usa Cloudflare u otro servicio de firewall o protección contra bots, ese servicio puede bloquear el rastreador de Shoply. Cuando eso sucede, el chatbot sigue respondiendo a partir de una copia antigua de tu sitio.

La solución normalmente es una sola regla: permitir solicitudes cuyo User-Agent contenga ShoplyAIBot. Esta guía explica por qué se necesita el rastreador, cómo reconocerlo y cómo permitirlo en Cloudflare y otros firewalls.

¿Quién necesita hacer esto?

• Propietarios de sitios web con SiteChat. SiteChat es el chat y la búsqueda de Shoply para cualquier sitio web que no sea una tienda Shopify, incluidas las tiendas Magento.
• Agencias y desarrolladores que gestionan el hosting, una CDN (red de entrega de contenido) o la configuración de seguridad de esos sitios web.

Los comerciantes que usan la app de Shopify normalmente no necesitan cambiar nada. Shoply recibe los datos de productos de Shopify a través de la API de Shopify, no rastreando tu escaparate. Sin embargo, si agregaste páginas de un sitio web que no es de Shopify como fuentes de conocimiento, como un centro de ayuda o un blog alojado en otro lugar, el firewall de ese sitio web aún podría bloquear a Shoply. Consulta cómo enseñarle a Shoply sobre tu tienda para ver dónde se listan esas páginas.

¿Por qué Shoply necesita leer mi sitio web?

Shoply lee las páginas que listaste en tu configuración de rastreo para que las respuestas, precios y enlaces del chatbot coincidan con tu sitio en vivo.

En el caso de las tiendas Magento, Shoply también lee tu catálogo público de productos a través del endpoint GraphQL de tu tienda (/graphql). Envía consultas de productos de solo lectura para obtener detalles como nombres, SKU, precios, variantes y URL de productos.

El rastreador nunca inicia sesión, nunca realiza pedidos y nunca envía formularios. Para saber qué hace Shoply con este contenido, lee qué información usa Shoply para responder preguntas de clientes.

¿Qué pasa si el rastreador está bloqueado?

• Los rastreos fallan. Shoply no puede obtener tus páginas ni los datos de tus productos.
• La IA sigue respondiendo desde el último rastreo exitoso. Los compradores pueden ver precios antiguos, productos que ya eliminaste y enlaces desactualizados o incorrectos. En un caso real, una tienda pasó de un sitio de desarrollo a su dominio de producción, pero su firewall bloqueó el rastreador, por lo que el chatbot siguió enviando a los compradores al antiguo sitio de desarrollo.
• “Last updated … ago” deja de avanzar en tu panel de administración de Shoply.

Señales comunes de un rastreador bloqueado

En la administración de Shoply, el tiempo del rastreo se retrasa. En el panel, el tiempo de “Last updated at: … ago” bajo Content crawled by Shoply AI sigue aumentando en lugar de restablecerse cada pocas horas, por ejemplo “770 hours ago” (aproximadamente un mes). Sigue retrasado incluso después de hacer clic en Recrawl Now, porque un rastreo bloqueado nunca termina.

Si revisas los registros de tu firewall, el síntoma habitual es que Cloudflare devuelve HTTP 403 a las solicitudes de Shoply, en una de estas formas:

• Error 1010, que significa que el propietario del sitio prohibió la solicitud según su firma de navegador. La propia solución de Cloudflare para este error apunta a Browser Integrity Check.
• Una página de desafío “Just a moment…”, que un rastreador no puede completar.

¿Cómo reconozco el rastreador de Shoply?

Cada solicitud del rastreador de Shoply usa este User-Agent:

ShoplyAIBot/1.0 (https://shoplyai.ai; support@shoplyai.ai; For sites installed Shoply AI Search & Chatbot)

Escribe tus reglas para que coincidan con el texto más corto ShoplyAIBot (por ejemplo, “User-Agent contains ShoplyAIBot”). Así tu regla seguirá funcionando si cambia el número de versión.

Permite por user agent, no por dirección IP. El rastreador de Shoply no usa direcciones IP fijas, así que una lista de permitidos por IP no funcionará de forma confiable.

Cómo se comporta el rastreador

• Solo rastrea los sitios que configuraste en Shoply.
• Respeta robots.txt al leer páginas. Si tu robots.txt bloquea una página, Shoply la omitirá, así que comprueba que no bloquee las páginas de las que quieres que la IA aprenda.
• Es cuidadoso con tu servidor: como máximo 2 solicitudes al mismo tiempo, con una demora de 2 segundos entre solicitudes.
• La cantidad de páginas tiene un límite según tu plan de Shoply.

Cuándo se ejecuta el rastreador

• Automáticamente según un horario. La frecuencia depende de tu plan.
• Cuando haces clic en “Recrawl Now” en la administración de Shoply.
• Cada 2 días mientras los rastreos sigan fallando. Shoply reintenta automáticamente, así que una vez que agregues la regla de permiso, el siguiente reintento o un nuevo rastreo manual volverá a tomar tu sitio.

¿Cómo permito Shoply en Cloudflare?

En Cloudflare, crea una custom rule con la acción Skip. Una regla de omisión permite que las solicitudes coincidentes eviten los controles de seguridad que, de otro modo, las bloquearían o desafiarían.

Paso 1: Crear la regla de omisión

1. En el panel de Cloudflare, abre tu sitio web (zone) y ve a Security rules.

2. Selecciona Create rule > Custom rules.

3. En Rule name, escribe algo claro, como Allow Shoply AI crawler.

4. En When incoming requests match, configura:

   • Field: User Agent
   • Operator: contains
   • Value: ShoplyAIBot

   Si prefieres el editor de expresiones, usa:

   text

   (http.user_agent contains "ShoplyAIBot")

5. En Then take action > Choose action, selecciona Skip.

6. Elige qué omitir (consulta la tabla de abajo).

7. Deja activada la opción Log matching requests. Así, las solicitudes de Shoply aparecerán en los Security Events de Cloudflare, lo que ayuda con la resolución de problemas.

8. Selecciona Deploy.

Paso 2: Elegir qué omitir

Empieza con las filas marcadas como “Sí”. Si los Security Events de Cloudflare siguen mostrando que las solicitudes de Shoply están siendo bloqueadas o desafiadas, el evento te dirá qué función actuó. Agrega esa función a la regla de omisión.

Paso 3: Coloca la regla primero

Cloudflare evalúa las custom rules en orden, de arriba hacia abajo. Si una regla situada por encima de la tuya bloquea o desafía la solicitud, tu regla de omisión nunca se ejecutará. Mueve la regla de Shoply a la parte superior de tu lista de custom rules.

Si usas Bot Fight Mode (plan Free de Cloudflare)

Bot Fight Mode no puede omitirse con una regla de omisión. Cloudflare lo ejecuta por separado de las custom rules, así que las reglas de omisión y permiso no tienen efecto sobre él. Tienes dos opciones:

• Desactivar Bot Fight Mode: ve a Security > Settings, filtra por Bot traffic y desactiva Bot fight mode.
• Actualizar a un plan Pro o superior y usar Super Bot Fight Mode, que sí admite reglas de omisión.

Si el modo Under Attack está activado

El modo Under Attack muestra una página de desafío a todos los visitantes, y los rastreadores no pueden superarla. Cloudflare recomienda usarlo solo durante un ataque activo. Shoply no podrá leer tu sitio hasta que se desactive.

¿Es seguro permitir un user agent?

Cualquier cliente puede afirmar que es ShoplyAIBot, así que esta regla omite algunas comprobaciones de bots para cualquiera que envíe ese User-Agent. Para mantener bajo el riesgo, omite solo las funciones que bloquean al rastreador y conserva las protecciones de inicio de sesión, checkout y administración. Shoply nunca necesita acceso a esas áreas.

¿Cómo permito Shoply en otros firewalls?

El principio es el mismo en todas partes: permite solicitudes cuyo User-Agent contenga ShoplyAIBot. Los menús exactos varían según el producto, así que sigue la documentación de tu proveedor para crear una regla de permiso o excepción. Lugares comunes para revisar:

• Firewalls web de aplicaciones en la nube (WAF) como Sucuri, AWS WAF y Akamai: agrega una regla de permiso o excepción que coincida con el encabezado User-Agent.
• Plugins de seguridad de WordPress como Wordfence: busca configuraciones de bloqueo de bots, limitación de tasa o bloqueo por user-agent.
• Filtros a nivel de servidor como reglas de ModSecurity, y bloqueadores de bots proporcionados por tu empresa de hosting: incluye el user agent en la lista blanca o pide a tu proveedor de hosting que lo haga.

Tiendas Magento: asegúrate de que la regla también cubra las solicitudes POST a /graphql. Algunos firewalls tratan las solicitudes de API por separado de las vistas de página. Si se permiten las páginas pero /graphql está bloqueado, tu catálogo de productos no se actualizará.

No dependas de una lista de permitidos por IP. El rastreador de Shoply no usa direcciones IP fijas.

¿Cómo compruebo que funcionó?

1. En la administración de Shoply, haz clic en Recrawl Now.
2. Espera a que termine el rastreo y luego comprueba que “Last updated” en tu panel se haya restablecido a un tiempo reciente.
3. Pregúntale al chatbot sobre un producto o página que hayas cambiado recientemente y confirma que la respuesta y el enlace coincidan con tu sitio en vivo.

También puedes hacer una comprobación rápida desde tu propio ordenador. Sustituye https://your-site.com/ por la dirección de tu sitio web:

curl -I -A "ShoplyAIBot/1.0 (https://shoplyai.ai; support@shoplyai.ai; For sites installed Shoply AI Search & Chatbot)" https://your-site.com/

Una respuesta HTTP/2 200 (o HTTP/1.1 200 OK) significa que tu regla permite el paso de ese user agent. Un 403 significa que algo todavía lo está bloqueando.

Esta prueba se ejecuta desde la IP de tu ordenador, no desde los servidores de Shoply. Algunos firewalls tratan el tráfico de manera diferente según de dónde provenga, así que el nuevo rastreo en la administración de Shoply es la comprobación final.

¿Necesitas ayuda?

Envía un correo a support@shoplyai.ai con la dirección de tu sitio web, el firewall o proveedor de hosting que usas y una captura de pantalla de cualquier solicitud bloqueada en los registros de tu firewall. Por favor, no envíes contraseñas ni claves de API.