Robots.txt : erreurs fréquentes à éviter

[antoine67]

Hello ! Je vois souvent des sites bloquer des ressources CSS/JS dans robots.txt, puis se plaindre que leur rendu est mal indexé. Franchement, c'est une erreur classique mais grave. D'autres pièges à éviter selon vous ?

[vincent_web]

Oui ! Bloquer des pages importantes par accident... J'ai déjà vu un site bloquer toute une catégorie produit dans robots.txt. Résultat : zéro indexation. Toujours vérifier avec l'outil de test dans Search Console !

[la_greg31]

Le pire c'est les directives contradictoires entre meta robots et robots.txt. Si t'as 'noindex' en meta mais que tu autorises dans robots.txt, Google va quand même crawler pour rien. Ça bouffe ton budget pour rien.

[pixel1994]

Petite astuce : utilisez les commentaires dans robots.txt pour noter pourquoi vous bloquez certaines URLs. Comme ça, pas de doute plus tard. Et testez régulièrement !

[referenceur44]

J'ajouterais aussi de ne pas bloquer les pages de login/admin si t'as un backoffice. Certains CMS les génèrent automatiquement et ça peut créer des failles. Vérifiez toujours les URLs sensibles.