# Robots.txt für GEO AGENTUR Zürich
# Optimiert für SEO, GEO und AI-Crawler
# Letzte Aktualisierung: Januar 2025

# Allgemeine Regeln für alle Crawler
User-agent: *
Allow: /
Disallow: /api/
Disallow: /_next/
Disallow: /admin/
Disallow: /*.json$

# Sitemap-Verweis (wichtig für SEO & GEO)
Sitemap: https://www.geo-agentur-zuerich.de/sitemap.xml

# Spezielle Regeln für wichtige Suchmaschinen
# Google
User-agent: Googlebot
Allow: /
Crawl-delay: 0

# Googlebot-Image (für Bilder-SEO)
User-agent: Googlebot-Image
Allow: /
Allow: /*.webp$
Allow: /*.png$
Allow: /*.jpg$

# Google-Video (für Video-Content)
User-agent: Googlebot-Video
Allow: /*.mp4$

# Bing
User-agent: Bingbot
Allow: /
Crawl-delay: 0

# AI & LLM Crawler (wichtig für GEO!)
# OpenAI (ChatGPT, GPTs)
User-agent: ChatGPT-User
Allow: /

User-agent: GPTBot
Allow: /
Crawl-delay: 1

# Anthropic (Claude)
User-agent: anthropic-ai
Allow: /
Crawl-delay: 1

User-agent: Claude-Web
Allow: /

# Google (Gemini, Bard)
User-agent: Google-Extended
Allow: /
Crawl-delay: 1

User-agent: GoogleOther
Allow: /

# Perplexity AI (wichtig für AI-Search)
User-agent: PerplexityBot
Allow: /
Crawl-delay: 1

# Meta (LLaMA)
User-agent: FacebookBot
Allow: /

User-agent: Meta-ExternalAgent
Allow: /

# Cohere
User-agent: cohere-ai
Allow: /

# Common Crawl (wird von vielen AI-Modellen verwendet)
User-agent: CCBot
Allow: /
Crawl-delay: 2

# Diffbot (strukturierte Datenextraktion)
User-agent: Diffbot
Allow: /

# Apple (Siri, Apple Intelligence)
User-agent: Applebot
Allow: /
User-agent: Applebot-Extended
Allow: /

# Amazon (Alexa)
User-agent: Amazonbot
Allow: /

# Yandex (Russland)
User-agent: YandexBot
Allow: /

# DuckDuckGo
User-agent: DuckDuckBot
Allow: /

# Ahrefs, SEMrush und andere SEO-Tools (erlaubt für Analyse)
User-agent: AhrefsBot
Allow: /
Crawl-delay: 2

User-agent: SemrushBot
Allow: /
Crawl-delay: 2

User-agent: MJ12bot
Allow: /
Crawl-delay: 2

# Bad Bots blockieren (Scraper, Spam)
User-agent: AhrefsBot/6.1
Disallow: /

User-agent: MJ12bot/v1.4.8
Disallow: /

User-agent: dotbot
Disallow: /

User-agent: Mail.RU_Bot
Disallow: /

User-agent: SemrushBot/7~bl
Disallow: /

User-agent: Barkrowler
Disallow: /

User-agent: BLEXBot
Disallow: /

User-agent: MegaIndex
Disallow: /

# Zusätzliche Informationen
# Host: www.geo-agentur-zuerich.de
# Für mehr Informationen über unsere AI-Optimierung: https://www.geo-agentur-zuerich.de/llms.txt