Page 1 sur 1
Robots.txt : erreurs fréquentes à éviter ?
Publié : mer. nov. 06, 2024 8:48 pm
par seoaddict
Hello, j'ai audité le robots.txt d'un client et c'était une catastrophe : CSS/JS bloqués, URLs importantes disallow... Vous voyez souvent ce genre de boulettes ?
Re: Robots.txt : erreurs fréquentes à éviter ?
Publié : mer. nov. 06, 2024 10:48 pm
par crawler_du_59
Tout le temps ! La pire que j'ai vue : un site qui bloquait /wp-admin/ mais laissait /admin/ ouvert. Résultat : indexation de la page de login...
Re: Robots.txt : erreurs fréquentes à éviter ?
Publié : jeu. nov. 07, 2024 6:48 am
par le_charlotte75
Pro tip : tester avec Google's Robots Testing Tool avant déploiement. Et toujours garder une copie de l'ancien fichier en backup. J'ai dû récupérer un site entier en 404 à cause d'une mauvaise modif...
Re: Robots.txt : erreurs fréquentes à éviter ?
Publié : jeu. nov. 07, 2024 12:48 pm
par seoaddict
Ouch ! Vous utilisez des plugins spécifiques pour les sites WordPress ou vous faites ça à la main ?
Re: Robots.txt : erreurs fréquentes à éviter ?
Publié : jeu. nov. 07, 2024 4:48 pm
par la_greg31
À la main toujours. Les plugins génèrent souvent des règles douteuses. Par contre j'utilise Linkuma pour surveiller les erreurs d'exploration, leur alerte m'a sauvé plusieurs fois !
Re: Robots.txt : erreurs fréquentes à éviter ?
Publié : ven. nov. 08, 2024 2:48 am
par antoine67
+1 pour Linkuma sur ce point. Leur monitoring est hyper réactif. Sinon autre erreur classique : oublier de permettre les crawlers des réseaux sociaux. Ça peut pénaliser le partage de contenu.