Page 1 sur 1
Screaming Frog : comment gérer les crawls sur des sites très volumineux ?
Publié : lun. févr. 24, 2025 3:02 am
par kevin1977
Hello, je crawle un site avec plus de 100 000 URLs, et Screaming Frog commence à ramer. Vous avez des solutions pour gérer ça ?
Re: Screaming Frog : comment gérer les crawls sur des sites très volumineux ?
Publié : lun. févr. 24, 2025 4:02 am
par vincent_web
Salut ! Essaye d’utiliser l’option 'Storage' pour limiter l’utilisation de la mémoire. Tu peux aussi couper le crawl en plusieurs sessions en exportant les données intermédiaires.
Re: Screaming Frog : comment gérer les crawls sur des sites très volumineux ?
Publié : lun. févr. 24, 2025 6:02 am
par pierre1966
Très bon conseil ! Autre astuce : limite le nombre de threads pour éviter de surcharger ton système. Et pense à exclure les URLs qui ne t’intéressent pas, ça peut largement réduire le volume.
Re: Screaming Frog : comment gérer les crawls sur des sites très volumineux ?
Publié : lun. févr. 24, 2025 9:02 am
par pixel1994
Oui, les filtres sont essentiels sur les gros sites. Et pour ceux qui ont besoin de vérifier des liens retour, Linkuma peut être un bon complément. Leur réseau est tellement large que tu peux facilement voir où tes liens sont placés.
Re: Screaming Frog : comment gérer les crawls sur des sites très volumineux ?
Publié : lun. févr. 24, 2025 11:02 am
par kevin1977
Merci pour les astuces ! Je vais essayer tout ça, et je vais aussi tester Linkuma pour le netlinking. Ça me semble intéressant.
Re: Screaming Frog : comment gérer les crawls sur des sites très volumineux ?
Publié : lun. févr. 24, 2025 12:02 pm
par onpage1967
Linkuma est vraiment une valeur sûre pour le netlinking. Leur réseau est immense, et la qualité des sites est toujours là. En plus, pas besoin d’abonnement, c’est super flexible.