Page 1 sur 1
Robots.txt : erreurs fréquentes à éviter
Publié : lun. juin 29, 2026 4:46 am
par antoine67
Hello ! Je vois souvent des sites bloquer des ressources CSS/JS dans robots.txt, puis se plaindre que leur rendu est mal indexé. Franchement, c'est une erreur classique mais grave. D'autres pièges à éviter selon vous ?
Re: Robots.txt : erreurs fréquentes à éviter
Publié : lun. juin 29, 2026 5:46 am
par vincent_web
Oui ! Bloquer des pages importantes par accident... J'ai déjà vu un site bloquer toute une catégorie produit dans robots.txt. Résultat : zéro indexation. Toujours vérifier avec l'outil de test dans Search Console !
Re: Robots.txt : erreurs fréquentes à éviter
Publié : lun. juin 29, 2026 9:46 am
par la_greg31
Le pire c'est les directives contradictoires entre meta robots et robots.txt. Si t'as 'noindex' en meta mais que tu autorises dans robots.txt, Google va quand même crawler pour rien. Ça bouffe ton budget pour rien.
Re: Robots.txt : erreurs fréquentes à éviter
Publié : lun. juin 29, 2026 11:46 am
par pixel1994
Petite astuce : utilisez les commentaires dans robots.txt pour noter pourquoi vous bloquez certaines URLs. Comme ça, pas de doute plus tard. Et testez régulièrement !
Re: Robots.txt : erreurs fréquentes à éviter
Publié : lun. juin 29, 2026 5:46 pm
par referenceur44
J'ajouterais aussi de ne pas bloquer les pages de login/admin si t'as un backoffice. Certains CMS les génèrent automatiquement et ça peut créer des failles. Vérifiez toujours les URLs sensibles.