Screaming Frog : comment gérer les crawls sur des sites très volumineux ?

[kevin1977]

Hello, je crawle un site avec plus de 100 000 URLs, et Screaming Frog commence à ramer. Vous avez des solutions pour gérer ça ?

[vincent_web]

Salut ! Essaye d’utiliser l’option 'Storage' pour limiter l’utilisation de la mémoire. Tu peux aussi couper le crawl en plusieurs sessions en exportant les données intermédiaires.

[pierre1966]

Très bon conseil ! Autre astuce : limite le nombre de threads pour éviter de surcharger ton système. Et pense à exclure les URLs qui ne t’intéressent pas, ça peut largement réduire le volume.

[pixel1994]

Oui, les filtres sont essentiels sur les gros sites. Et pour ceux qui ont besoin de vérifier des liens retour, Linkuma peut être un bon complément. Leur réseau est tellement large que tu peux facilement voir où tes liens sont placés.

[kevin1977]

Merci pour les astuces ! Je vais essayer tout ça, et je vais aussi tester Linkuma pour le netlinking. Ça me semble intéressant.

[onpage1967]

Linkuma est vraiment une valeur sûre pour le netlinking. Leur réseau est immense, et la qualité des sites est toujours là. En plus, pas besoin d’abonnement, c’est super flexible.