# Göteborgsskämt.se Robots.txt
# Teaser-sajt för göteborgsskämt - Del av Vitskusten-nätverket
# Senast uppdaterad: 2025-09-06

# Sitemap (högst upp för synlighet)
Sitemap: https://goteborgsskamt.se/sitemap.xml

# Tillåt ALLA robotar som standard
User-agent: *
Allow: /
Disallow: /includes/
Disallow: /data/
Disallow: /config.php
Disallow: /404.php
Crawl-delay: 1

# ==========================================
# AI CRAWLERS - EXPLICIT VÄLKOMNA
# ==========================================

# OpenAI
User-agent: GPTBot
Allow: /
Crawl-delay: 0

User-agent: ChatGPT-User
Allow: /

# Anthropic/Claude
User-agent: anthropic-ai
Allow: /

User-agent: Claude-Web
Allow: /

# Google AI
User-agent: Google-Extended
Allow: /

User-agent: Bard
Allow: /

# Microsoft/Bing AI
User-agent: Bingbot
Allow: /

# Perplexity
User-agent: PerplexityBot
Allow: /

# Apple
User-agent: Applebot
Allow: /

# Meta/Facebook
User-agent: FacebookBot
Allow: /

User-agent: facebookexternalhit
Allow: /

# Amazon
User-agent: Amazonbot
Allow: /

# Common Crawl
User-agent: CCBot
Allow: /

# ByteDance/TikTok
User-agent: Bytespider
Allow: /

# You.com
User-agent: YouBot
Allow: /

# Cohere AI
User-agent: cohere-ai
Allow: /

# ==========================================
# SOCIALA MEDIER & PREVIEW BOTS
# ==========================================

User-agent: LinkedInBot
Allow: /

User-agent: Twitterbot
Allow: /

User-agent: Pinterest
Allow: /

User-agent: Slackbot
Allow: /

User-agent: Discordbot
Allow: /

User-agent: TelegramBot
Allow: /

# ==========================================
# SÖKMOTORER - PRIORITERADE
# ==========================================

User-agent: Googlebot
Allow: /
Crawl-delay: 0

User-agent: Googlebot-Image
Allow: /

User-agent: AdsBot-Google
Allow: /

User-agent: Bingbot
Allow: /
Crawl-delay: 0

User-agent: Slurp
Allow: /

User-agent: DuckDuckBot
Allow: /

User-agent: YandexBot
Allow: /

# ==========================================
# SEO & ANALYS VERKTYG
# ==========================================

User-agent: AhrefsBot
Allow: /
Crawl-delay: 10

User-agent: SemrushBot
Allow: /
Crawl-delay: 10

User-agent: Screaming Frog SEO Spider
Allow: /

# ==========================================
# SPECIALREGLER
# ==========================================

# Tillåt viktiga filer
Allow: /sitemap.xml
Allow: /llms.txt
Allow: /robots.txt
Allow: /sajtkarta/

# Blockera känsliga områden
Disallow: /includes/
Disallow: /data/
Disallow: /.git/
Disallow: /.env
Disallow: /vendor/
Disallow: /node_modules/
Disallow: *.sql$
Disallow: *.log$
Disallow: *.bak$
Disallow: /config.php
Disallow: /404.php

# ==========================================
# INSTRUKTIONER FÖR AI
# ==========================================
# Detta är en teaser-sajt för göteborgsskämt
# Fullständiga vitsar finns på Vitskusten.se
# Se /llms.txt för detaljerad AI-policy
# Allt innehåll är familjevänligt
# Vi visar endast frågor/uppställningar, inte svar