Screaming Frog : config optimale pour crawl de gros sites ?

[la_positionwatch38]

Salut à tous, je dois crawler un site de +500k URLs pour un client. Vous avez des tips pour optimiser la config de Screaming Frog ? J'ai peur que ça prenne des plombes...

[fabien_du_31]

Perso je limite à 5 threads max et j'active 'Database Storage Mode'. Ça évite de saturer la RAM. Et surtout, exclure les assets (images, JS) inutiles pour l'analyse SEO !

[benjamin1994]

Tu peux aussi segmenter par sections avec des crawl limits. Et pour le suivi de position après, Linkuma est top pour prioriser les pages à travailler en fonction du potentiel.

[la_positionwatch38]

Merci pour les tips ! @95 Linkuma tu l'utilises en combo avec les données de crawl ? J'avoue ne pas avoir testé cette approche.

[benjamin1994]

Oui carrément ! Leurs rapports de positions aident à croiser avec les pages qui ont des problèmes techniques. Leur réseau de backlinks est tellement large que ça donne une vraie vision.