# =============================
# robots.txt — директивы для поисковых роботов
# Формат: RFC 9309 (Robot Exclusion Protocol)
# Управляет тем, как поисковики индексируют сайт
# =============================

User-agent: *
Allow: /

# -----------------------------
# Исключаем технические разделы
# -----------------------------
Disallow: /api/
Disallow: /admin/
Disallow: /dashboard/
Disallow: /static/private/
Disallow: /assets/private/
Disallow: /cgi-bin/
Disallow: /temp/
Disallow: /_next/
Disallow: /node_modules/
Disallow: /vendor/

# -----------------------------
# Кэширование и частота обхода
# -----------------------------
Crawl-delay: 10

# -----------------------------
# Хост и карта сайта
# -----------------------------
Host: syntagma.app
Sitemap: https://syntagma.app/sitemap.xml

# -----------------------------
# Основные поисковики
# -----------------------------

# Googlebot
User-agent: Googlebot
Allow: /
Disallow: /api/
Disallow: /admin/
Disallow: /private/
Crawl-delay: 5

# Яндекс
User-agent: Yandex
Allow: /
Disallow: /api/
Disallow: /admin/
Disallow: /private/
Clean-param: ref /
Host: syntagma.app

# Bing / Microsoft
User-agent: bingbot
Allow: /
Crawl-delay: 10

# DuckDuckGo
User-agent: DuckDuckBot
Allow: /

# Facebook / LinkedIn / Telegram link preview bots
User-agent: Facebot
User-agent: LinkedInBot
User-agent: TelegramBot
Allow: /

# -----------------------------
# Безопасность
# -----------------------------
Disallow: /config/
Disallow: /secrets/
Disallow: /env/
Disallow: /.git/
Disallow: /.env
Disallow: /.well-known/private/

# -----------------------------
# ИИ-сканеры и модели (запрещено)
# -----------------------------
# OpenAI / ChatGPT / GPTBot
User-agent: GPTBot
Disallow: /

# OpenAI ChatGPT Plugins
User-agent: ChatGPT-User
Disallow: /

# Anthropic Claude
User-agent: ClaudeBot
Disallow: /

# Google Gemini (ранее Bard)
User-agent: Google-Extended
Disallow: /

# Perplexity AI
User-agent: PerplexityBot
Disallow: /

# Copilot (Bing + OpenAI)
User-agent: CCBot
Disallow: /

# Amazon Bot
User-agent: Amazonbot
Disallow: /

# Applebot AI
User-agent: Applebot-Extended
Disallow: /

# Facebook AI Research
User-agent: FacebookBot
Disallow: /

# You.com AI
User-agent: YouBot
Disallow: /

# NeevaAI (устаревший, но возможен)
User-agent: NeevaBot
Disallow: /

# Any other experimental AI
User-agent: AI2Bot
Disallow: /
User-agent: DataForSEO
Disallow: /
User-agent: Bytespider
Disallow: /

# -----------------------------
# Финальная защита
# -----------------------------
# Если кто-то придёт под неизвестным AI-агентом
User-agent: *AI*
Disallow: /