# UN SOLO GRUPO PARA TODOS LOS RASTREADORES.
#
# Hasta el 2026-11-03 los bots de IA y Googlebot tenian su propio grupo con
# solo "Allow: /". Segun la norma (RFC 9309) un rastreador obedece UNICAMENTE
# el grupo mas especifico que lo nombra, asi que esos cinco ignoraban todos
# los Disallow de abajo y entraban en /buscar/ y /api/. Varias lineas
# User-agent seguidas comparten las mismas reglas: asi siguen bienvenidos
# (incluidos los de busqueda de ChatGPT, Claude y Perplexity) y respetan lo
# mismo que el resto.
User-agent: *
User-agent: Googlebot
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /
# LAS PAGINAS DE BUSQUEDA NO SE RASTREAN. NINGUNA.
#
# Aqui habia dos Allow para /buscar/tiendas-en- y /search/shops-in-, con el
# comentario "city landing pages". Eran de cuando ese era el esquema de URL de
# las fichas de ciudad. Hoy la ficha de ciudad es /ciudades/{ciudad} —831 en el
# sitemap— y /buscar/tiendas-en-{ciudad} es un duplicado de la misma intencion.
#
# Y se contradecian con la propia pagina: comprobado el 2026-08-26, TODAS las
# de /buscar/ se sirven con <meta name="robots" content="noindex, follow">,
# incluida /buscar/tiendas-en-montgat, que es la que citaba el comentario. O
# sea que inviabamos al rastreador a entrar y luego le deciamos que no
# indexara. En tres horas, 226 peticiones a la API originadas ahi.
Disallow: /buscar/
Disallow: /search/
Disallow: /cuenta/
Disallow: /mi-cuenta
Disallow: /registro
Disallow: /iniciar-sesion
Disallow: /login
Disallow: /register
Disallow: /api/

# EL SITEMAP, EN ESTE MISMO DOMINIO.
#
# Aqui apuntaba a api.niar.app. Un sitemap en otro host solo lo acepta
# Google si los DOS dominios estan verificados en Search Console, y no lo
# estan. Medido sobre el log de nginx del 26 al 30 de agosto de 2026:
# Googlebot pidio este robots.txt 39 veces y el sitemap CERO.
#
# niar.app/sitemap_index.xml es un proxy fino al XML que sigue
# construyendo el backend dos veces al dia; el contenido es el mismo.
Sitemap: https://niar.app/sitemap_index.xml

# LLMs.txt — see https://niar.app/llms.txt