Home Esplora Aiuto
Accedi
MrDuhaz
/
feeds-duhaz-fr-v4
1
0
Forka 0
File Problemi 0 Pull Requests 0 Wiki
Albero (Tree): 82f9451d58
Rami (Branch) Tag
feeds-duhaz-fr-...
/
public
/
robots.txt

robots.txt 719 B
Cronologia Originale

123456789101112131415161718192021222324252627282930313233343536 
  1. # Robots.txt pour feeds.duhaz.fr
    2. 

  2. # Mise à jour: 2025-01-14
    3. 

  3. 

  4. # Règles pour les principaux moteurs de recherche
    5. 

  5. User-agent: Googlebot
    6. 

  6. Allow: /
    7. 

  7. Disallow: /auth
    8. 

  8. Disallow: /gone
    9. 

  9. 

  10. User-agent: Bingbot
    11. 

  11. Allow: /
    12. 

  12. Disallow: /auth
    13. 

  13. Disallow: /gone
    14. 

  14. 

  15. # Bots des réseaux sociaux (pour les previews)
    16. 

  16. User-agent: Twitterbot
    17. 

  17. Allow: /
    18. 

  18. 

  19. User-agent: facebookexternalhit
    20. 

  20. Allow: /
    21. 

  21. 

  22. User-agent: LinkedInBot
    23. 

  23. Allow: /
    24. 

  24. 

  25. # Règles par défaut pour tous les autres bots
    26. 

  26. User-agent: *
    27. 

  27. Allow: /
    28. 

  28. Disallow: /auth
    29. 

  29. Disallow: /gone
    30. 

  30. # Note: /flux/ et /account/ redirigent vers /gone (HTTP 410) donc pas besoin de les bloquer
    31. 

  31. 

  32. # Crawl delay pour éviter la surcharge serveur
    33. 

  33. Crawl-delay: 1
    34. 

  34. 

  35. # Sitemap principal
    36. 

  36. Sitemap: https://feeds.duhaz.fr/sitemap.xml
    37.