# Robots.txt pour feeds.duhaz.fr
# Mise à jour: 2025-01-14

# Règles pour les principaux moteurs de recherche
User-agent: Googlebot
Allow: /
Disallow: /auth
Disallow: /gone

User-agent: Bingbot
Allow: /
Disallow: /auth
Disallow: /gone

# Bots des réseaux sociaux (pour les previews)
User-agent: Twitterbot
Allow: /

User-agent: facebookexternalhit
Allow: /

User-agent: LinkedInBot
Allow: /

# Règles par défaut pour tous les autres bots
User-agent: *
Allow: /
Disallow: /auth
Disallow: /gone
# Note: /flux/ et /account/ redirigent vers /gone (HTTP 410) donc pas besoin de les bloquer

# Crawl delay pour éviter la surcharge serveur
Crawl-delay: 1

# Sitemap principal
Sitemap: https://feeds.duhaz.fr/sitemap.xml