# BRDMap robots.txt
#
# Strategie: Inhalt ist oeffentlich-amtlich (aggregiert aus Behoerden-Feeds),
# Ziel ist Reichweite via Suchmaschinen UND AI-Assistenten (Antwort-Engines).
# Daher: alle Bots erlaubt, /vendor/ ausgeschlossen (Third-Party-JS,
# kein Site-Content). llms.txt zeigt LLM-Crawlern eine Markdown-Zusammenfassung.

User-agent: *
Allow: /
Disallow: /vendor/
Disallow: /sidebar-test/

# --- AI / LLM Crawler (explizite Allow-Listen, defensiv) ---
# Manche dieser Bots respektieren wildcard-Regeln, manche nur explizite
# Eintraege. Doppelt erlaubt schadet nicht.

# OpenAI
User-agent: GPTBot
Allow: /
Disallow: /vendor/

User-agent: ChatGPT-User
Allow: /
Disallow: /vendor/

User-agent: OAI-SearchBot
Allow: /
Disallow: /vendor/

# Anthropic
User-agent: ClaudeBot
Allow: /
Disallow: /vendor/

User-agent: Claude-Web
Allow: /
Disallow: /vendor/

User-agent: anthropic-ai
Allow: /
Disallow: /vendor/

# Google Gemini (separater Bot, nicht Googlebot)
User-agent: Google-Extended
Allow: /
Disallow: /vendor/

# Perplexity
User-agent: PerplexityBot
Allow: /
Disallow: /vendor/

User-agent: Perplexity-User
Allow: /
Disallow: /vendor/

# Apple Intelligence
User-agent: Applebot
Allow: /
Disallow: /vendor/

User-agent: Applebot-Extended
Allow: /
Disallow: /vendor/

# Meta AI
User-agent: Meta-ExternalAgent
Allow: /
Disallow: /vendor/

User-agent: Meta-ExternalFetcher
Allow: /
Disallow: /vendor/

# Mistral
User-agent: MistralAI-User
Allow: /
Disallow: /vendor/

# You.com / Cohere / Diffbot / Bytespider / Amazonbot / DuckAssistBot
User-agent: YouBot
Allow: /
Disallow: /vendor/

User-agent: cohere-ai
Allow: /
Disallow: /vendor/

User-agent: DiffBot
Allow: /
Disallow: /vendor/

User-agent: Bytespider
Allow: /
Disallow: /vendor/

User-agent: Amazonbot
Allow: /
Disallow: /vendor/

User-agent: DuckAssistBot
Allow: /
Disallow: /vendor/

# --- Sitemap + LLM-Hinweis ---

Sitemap: https://brdmap.de/sitemap.xml

# llms.txt (https://llmstxt.org/) — Markdown-Zusammenfassung fuer LLM-Crawler
# https://brdmap.de/llms.txt