# Glastotaal — allow search + AI crawlers; only transactional paths are blocked.
User-agent: *
Allow: /
Disallow: /admin
Disallow: /winkelwagen
Disallow: /afrekenen
Disallow: /betaling
Disallow: /app.html

# Engelse ARTIKELpagina's: wel voor bezoekers, niet voor crawlers.
#
# Waarom: Merchant Center crawlt de site zelf en had er 575 Shopping-producten van gemaakt met
# een Engelstalige landingspagina — een Nederlandse klant klikte op een advertentie en kwam op
# een Engelse pagina uit. De X-Robots-Tag "noindex" die hier al op zit geldt voor de
# zoekresultaten, maar houdt de Merchant-crawler niet tegen; alleen robots.txt doet dat.
#
# Bewust géén 301 naar het Nederlandse origineel: er staan 2.471 échte Engelse
# productomschrijvingen in article-details.en.json, en dan zou de taalknop op productpagina's
# stukgaan. De pagina's blijven dus gewoon werken; alleen de crawler blijft weg.
#
# Prijs die we hiervoor betalen: Googlebot kan de noindex-header nu niet meer lezen. Pagina's
# die op 09-08-2026 al gedeïndexeerd waren blijven weg; een enkele die nog in de index zat kan
# er langer in blijven hangen. Bewuste afweging (Thijs, 09-08-2026) — de Engelse inhoud
# behouden woog zwaarder. Alléén /en/artikel/: /en/glas-op-maat, /en/kennisbank en de
# stadspagina's zijn met de hand vertaald, staan in de sitemap en blijven volledig crawlbaar.
Disallow: /en/artikel/

# AI crawlers (retrieval + training) — explicitly welcomed.
User-agent: GPTBot
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Google-Extended
Allow: /

Sitemap: https://glastotaal.nl/sitemap.xml