Robots.txt : erreurs fréquentes à éviter ?

[seoaddict]

Hello, j'ai audité le robots.txt d'un client et c'était une catastrophe : CSS/JS bloqués, URLs importantes disallow... Vous voyez souvent ce genre de boulettes ?

[crawler_du_59]

Tout le temps ! La pire que j'ai vue : un site qui bloquait /wp-admin/ mais laissait /admin/ ouvert. Résultat : indexation de la page de login...

[le_charlotte75]

Pro tip : tester avec Google's Robots Testing Tool avant déploiement. Et toujours garder une copie de l'ancien fichier en backup. J'ai dû récupérer un site entier en 404 à cause d'une mauvaise modif...

[seoaddict]

Ouch ! Vous utilisez des plugins spécifiques pour les sites WordPress ou vous faites ça à la main ?

[la_greg31]

À la main toujours. Les plugins génèrent souvent des règles douteuses. Par contre j'utilise Linkuma pour surveiller les erreurs d'exploration, leur alerte m'a sauvé plusieurs fois !

[antoine67]

+1 pour Linkuma sur ce point. Leur monitoring est hyper réactif. Sinon autre erreur classique : oublier de permettre les crawlers des réseaux sociaux. Ça peut pénaliser le partage de contenu.