public/robots.txt

@@ -1,22 +1,36 @@
+# Robots.txt pour feeds.duhaz.fr
+# Mise à jour: 2025-01-14
+
+# Règles pour les principaux moteurs de recherche
 User-agent: Googlebot
 Allow: /
-Disallow: /flux/
-Disallow: /account/
+Disallow: /auth
+Disallow: /gone
 
 User-agent: Bingbot
 Allow: /
-Disallow: /flux/
-Disallow: /account/
+Disallow: /auth
+Disallow: /gone
 
+# Bots des réseaux sociaux (pour les previews)
 User-agent: Twitterbot
 Allow: /
 
 User-agent: facebookexternalhit
 Allow: /
 
+User-agent: LinkedInBot
+Allow: /
+
+# Règles par défaut pour tous les autres bots
 User-agent: *
 Allow: /
-Disallow: /flux/
-Disallow: /account/
+Disallow: /auth
+Disallow: /gone
+# Note: /flux/ et /account/ redirigent vers /gone (HTTP 410) donc pas besoin de les bloquer
+
+# Crawl delay pour éviter la surcharge serveur
+Crawl-delay: 1
 
+# Sitemap principal
 Sitemap: https://feeds.duhaz.fr/sitemap.xml