# Robots.txt pour Antiquités en France
# Généré automatiquement

User-agent: *

{% if environment == 'prod' %}
# Production - Autoriser l'indexation
Allow: /

# Interdire l'accès aux dossiers sensibles
Disallow: /admin/
Disallow: /dashboard/
Disallow: /subscription/webhooks/
Disallow: /_profiler/
Disallow: /_wdt/
Disallow: /var/
Disallow: /vendor/
Disallow: /config/

# Autoriser spécifiquement les pages importantes
Allow: /catalog
Allow: /annuaire
Allow: /about
Allow: /contact
Allow: /faq
Allow: /terms
Allow: /privacy

# Limiter la fréquence d'exploration
Crawl-delay: 1

{% else %}
# Développement - Interdire l'indexation
Disallow: /

{% endif %}

# Sitemap
Sitemap: {{ base_url }}/sitemap.xml

# Robots spécifiques
User-agent: Googlebot
{% if environment == 'prod' %}
Allow: /
Crawl-delay: 1
{% else %}
Disallow: /
{% endif %}

User-agent: Bingbot
{% if environment == 'prod' %}
Allow: /
Crawl-delay: 2
{% else %}
Disallow: /
{% endif %}

User-agent: facebookexternalhit
{% if environment == 'prod' %}
Allow: /
{% else %}
Disallow: /
{% endif %}

User-agent: Twitterbot
{% if environment == 'prod' %}
Allow: /
{% else %}
Disallow: /
{% endif %}

# Règles pour les bots agressifs
User-agent: AhrefsBot
Crawl-delay: 10

User-agent: MJ12bot
Crawl-delay: 10

User-agent: DotBot
Disallow: /