# Permitir acceso general a buscadores tradicionales User-agent: * Allow: / # Permitir explícitamente búsquedas y productos Allow: /?s=* Allow: /producto/* Allow: /categoria-producto/* # ======================================================= # BLOQUEOS ESPECÍFICOS DE WOOCOMMERCE Y WORDPRESS # ======================================================= Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php # Carrito, pago y cuenta de cliente (Páginas privadas / duplicadas) Disallow: /cart/ Disallow: /checkout/ Disallow: /my-account/ Disallow: /carrito/ Disallow: /finalizar-comprar/ Disallow: /mi-cuenta/ # Bloquear solo acciones de carrito y filtros duplicados (SIN bloquear la búsqueda) Disallow: /*?select=* Disallow: /*?add-to-cart=* Disallow: /*?filter_* Disallow: /*?orderby=* # Directorios internos de WordPress Disallow: /readme.html Disallow: /license.txt # ======================================================= # 1. PERMITIR IA EN TIEMPO REAL (Búsqueda y citas directas) # ======================================================= User-agent: ChatGPT-User Allow: / User-agent: PerplexityBot Allow: / User-agent: Claude-Web Allow: / # ======================================================= # 2. BLOQUEO DE BOTS DE ENTRENAMIENTO DE IA # ======================================================= User-agent: GPTBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: Anthropic-AI Disallow: / User-agent: ClaudeBot Disallow: / User-agent: CCBot Disallow: / User-agent: Bytespider Disallow: / User-agent: Diffbot Disallow: / User-agent: Cohere-training Disallow: / # ======================================================= # 3. BLOQUEO DE SCRAPERS AGRESIVOS Y HERRAMIENTAS DE SEO # ======================================================= User-agent: AhrefsBot Disallow: / User-agent: SemrushBot Disallow: / User-agent: MJ12bot Disallow: / User-agent: DotBot Disallow: / User-agent: BLEXBot Disallow: / User-agent: DataForSEOBot Disallow: / # Ubicación del Sitemap Sitemap: https://setel.com.mx/sitemap_index.xml