# ─────────────────────────────────────────────────────────────────
# dgenius.cl — robots.txt
#
# NOTA IMPORTANTE sobre las páginas privadas (/precios, /recursos,
# /brochure, /r): NO se bloquean acá a propósito.
#
# Un Disallow impide que Google RASTREE la página, y por lo tanto que
# vea el noindex — el resultado es que la URL se indexa igual, sin
# snippet. Eso es exactamente lo que estaba pasando (/precios llegó a
# 54 impresiones en posición 3,65 estando "bloqueada").
#
# El mecanismo correcto es el inverso: dejarlas rastreables y enviar
# `X-Robots-Tag: noindex, nofollow` en la respuesta. Esa regla vive en
# public/.htaccess. Así el crawler entra, lee la instrucción y las saca
# del índice de verdad — y funciona incluso para crawlers que no
# ejecutan JavaScript.
# ─────────────────────────────────────────────────────────────────

# Rastreadores de búsqueda tradicionales
User-agent: *
Allow: /

# Internals de la instalación WordPress legacy
Disallow: /wp-admin
Disallow: /wp-json
Disallow: /wp-content/plugins/

# Rastreadores de IA — acceso explícito.
# Sirven de poco sin pre-render: ninguno ejecuta JavaScript, así que si
# el HTML llega vacío leen una página en blanco. Ver scripts/prerender.mjs
# y el script `build:full` en package.json.
User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: CCBot
Allow: /

User-agent: anthropic-ai
Allow: /

User-agent: Claude-Web
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

User-agent: Applebot-Extended
Allow: /

User-agent: meta-externalagent
Allow: /

# Ubicación del sitemap
Sitemap: https://dgenius.cl/sitemap.xml