Screaming Frog : comment optimiser son crawl pour un petit site ?

[la_positionwatch38]

Salut à tous ! Je débute avec Screaming Frog et je dois crawler un site de moins de 50 pages. Des conseils pour optimiser les paramètres ? Je veux pas surcharger le serveur...

[sarah1997]

Perso je limite à 2-3 requêtes/s pour les petits sites, et je coche 'respect robots.txt'. Tu peux aussi exclure les assets (images, JS) si t'as pas besoin de les analyser.

[nico_freelance]

Je plussoie. Ajoute le filtre 'status code 4xx/5xx' direct dans l'onglet 'Configuration'. Comme ça tu spots les erreurs direct. Et utilise les exports CSV, ça sauve des vies !

[pixel1994]

Petite astuce : si c'est un site WordPress, activez 'crawl les feeds RSS' pour détecter les contenus orphelins. Par contre évitez le mode 'stealth' si vous voulez des données fiables.

[la_positionwatch38]

Merci pour les tips ! Je teste ça dès ce soir. D'ailleurs vous utilisez la version gratuite ou pro ? La pro vaut le coup pour un usage occasionnel ?