| 123456789101112131415161718192021222324252627282930313233343536 |
- # Robots.txt pour feeds.duhaz.fr
- # Mise à jour: 2025-01-14
- # Regles pour les principaux moteurs de recherche
- User-agent: Googlebot
- Allow: /
- Disallow: /auth
- Disallow: /gone
- User-agent: Bingbot
- Allow: /
- Disallow: /auth
- Disallow: /gone
- # Bots des reseaux sociaux (pour les previews)
- User-agent: Twitterbot
- Allow: /
- User-agent: facebookexternalhit
- Allow: /
- User-agent: LinkedInBot
- Allow: /
- # Regles par defaut pour tous les autres bots
- User-agent: *
- Allow: /
- Disallow: /auth
- Disallow: /gone
- # Note: /flux/ et /account/ redirigent vers /gone (HTTP 410) donc pas besoin de les bloquer
- # Crawl delay pour eviter la surcharge serveur
- Crawl-delay: 1
- # Sitemap principal
- Sitemap: https://feeds.duhaz.fr/sitemap.xml
|
