# Robots.txt optimisé pour www.duhaz.fr
# Dernière mise à jour : Automatique via Django

User-agent: *
# Autoriser tout sauf l'admin
Disallow: /admin/

# Bloquer les anciennes URLs /youtube/ et /flux/ (redirigent vers feeds.duhaz.fr)
# Ces URLs causent des erreurs Soft 404 dans Google Search Console
Disallow: /youtube/
Disallow: /flux/
Disallow: /lecture_flux/

# Autoriser les crawlers sur le reste du site
Allow: /blog/
Allow: /static/

# Sitemap dynamique Django
Sitemap: https://www.duhaz.fr/sitemap.xml

# Délai entre les requêtes (politesse)
Crawl-delay: 1