Robots.txt : erreurs fréquentes à éviter absolument

Budget de crawl, robots.txt, sitemap, indexation
onpage1967
Messages : 54
Inscription : jeu. août 10, 2023 6:41 pm

Robots.txt : erreurs fréquentes à éviter absolument

Message par onpage1967 »

Hello, je vois souvent des sites bloquer accidentellement des ressources CSS/JS dans leur robots.txt. Ça peut tuer votre SEO technique. Autres pièges à éviter selon vous ?
pierre1966
Messages : 53
Inscription : jeu. janv. 15, 2026 6:41 pm

Re: Robots.txt : erreurs fréquentes à éviter absolument

Message par pierre1966 »

La classique : bloquer les paramètres d'URL utiles (comme le tri de produits). Google a un outil dans Search Console pour tester ça maintenant.
la_greg31
Messages : 24
Inscription : lun. févr. 05, 2024 6:41 pm

Re: Robots.txt : erreurs fréquentes à éviter absolument

Message par la_greg31 »

Perso j'ai déjà bloqué mon dossier /wp-admin/ mais oublié de whitelister les plugins SEO... Résultat : plus de meta descriptions pendant 2 semaines !
nico13
Messages : 6
Inscription : jeu. déc. 07, 2023 6:41 pm

Re: Robots.txt : erreurs fréquentes à éviter absolument

Message par nico13 »

Petite astuce : utilisez les commentaires dans le robots.txt pour documenter chaque règle. Ça évite les oublis quand on reprend le fichier 6 mois plus tard.
onpage1967
Messages : 54
Inscription : jeu. août 10, 2023 6:41 pm

Re: Robots.txt : erreurs fréquentes à éviter absolument

Message par onpage1967 »

Bonne idée les commentaires ! Et vous utilisez des outils pour générer/monitorer votre robots.txt ? J'ai testé Screaming Frog mais c'est un peu lourd.
Répondre