Mettre en place robots.txt

- Ajoute un fichier robots.txt plus strict et adapté aux routes de l’application
- Bloque les pages sensibles (/auth, /gone) et les anciennes redirections (/flux, /account)
- Maintient l’accès aux pages publiques et au sitemap
- Inclut un commentaire et le Sitemap pour SEO

X-Lovable-Edit-ID: edt-160ec9e8-96fe-47fc-a4de-25e1917872b2

public/robots.txt

@@ -1,22 +1,36 @@
+# Robots.txt pour feeds.duhaz.fr
+# Mise à jour: 2025-01-14
+
+# Règles pour les principaux moteurs de recherche
 User-agent: Googlebot
 Allow: /
-Disallow: /flux/
-Disallow: /account/
+Disallow: /auth
+Disallow: /gone
 
 User-agent: Bingbot
 Allow: /
-Disallow: /flux/
-Disallow: /account/
+Disallow: /auth
+Disallow: /gone
 
+# Bots des réseaux sociaux (pour les previews)
 User-agent: Twitterbot
 Allow: /
 
 User-agent: facebookexternalhit
 Allow: /
 
+User-agent: LinkedInBot
+Allow: /
+
+# Règles par défaut pour tous les autres bots
 User-agent: *
 Allow: /
-Disallow: /flux/
-Disallow: /account/
+Disallow: /auth
+Disallow: /gone
+# Note: /flux/ et /account/ redirigent vers /gone (HTTP 410) donc pas besoin de les bloquer
+
+# Crawl delay pour éviter la surcharge serveur
+Crawl-delay: 1
 
+# Sitemap principal
 Sitemap: https://feeds.duhaz.fr/sitemap.xml