| 12345678910111213141516171819202122 |
- # Robots.txt optimisé pour www.duhaz.fr
- # Dernière mise à jour : Automatique via Django
- User-agent: *
- # Autoriser tout sauf l'admin
- Disallow: /admin/
- # Bloquer les anciennes URLs /youtube/ et /flux/ (redirigent vers feeds.duhaz.fr)
- # Ces URLs causent des erreurs Soft 404 dans Google Search Console
- Disallow: /youtube/
- Disallow: /flux/
- Disallow: /lecture_flux/
- # Autoriser les crawlers sur le reste du site
- Allow: /blog/
- Allow: /static/
- # Sitemap dynamique Django
- Sitemap: https://www.duhaz.fr/sitemap.xml
- # Délai entre les requêtes (politesse)
- Crawl-delay: 1
|
