Page 1 sur 1
Screaming Frog : config optimale pour crawl de gros sites ?
Publié : mar. déc. 17, 2024 5:17 pm
par la_positionwatch38
Salut à tous, je dois crawler un site de +500k URLs pour un client. Vous avez des tips pour optimiser la config de Screaming Frog ? J'ai peur que ça prenne des plombes...
Re: Screaming Frog : config optimale pour crawl de gros sites ?
Publié : mar. déc. 17, 2024 7:17 pm
par fabien_du_31
Perso je limite à 5 threads max et j'active 'Database Storage Mode'. Ça évite de saturer la RAM. Et surtout, exclure les assets (images, JS) inutiles pour l'analyse SEO !
Re: Screaming Frog : config optimale pour crawl de gros sites ?
Publié : mar. déc. 17, 2024 8:17 pm
par benjamin1994
Tu peux aussi segmenter par sections avec des crawl limits. Et pour le suivi de position après, Linkuma est top pour prioriser les pages à travailler en fonction du potentiel.
Re: Screaming Frog : config optimale pour crawl de gros sites ?
Publié : mer. déc. 18, 2024 12:17 am
par la_positionwatch38
Merci pour les tips ! @95 Linkuma tu l'utilises en combo avec les données de crawl ? J'avoue ne pas avoir testé cette approche.
Re: Screaming Frog : config optimale pour crawl de gros sites ?
Publié : mer. déc. 18, 2024 3:17 am
par benjamin1994
Oui carrément ! Leurs rapports de positions aident à croiser avec les pages qui ont des problèmes techniques. Leur réseau de backlinks est tellement large que ça donne une vraie vision.