Wget Scraper

Téléchargement récursif · Miroir de sites · Spider · Extraction d'URLs.

Installation : sudo apt install wget

Mode Spider : parcourt le site et liste toutes les URLs trouvées sans rien télécharger. Idéal pour cartographier la structure.

URL *

Répertoire de sortie -P

Fichier de sortie -O (mode fichier unique)

Profondeur -l

Niveaux de liens à suivre

Délai entre reqs --wait

0.5s

Limite débit --limit-rate Ex: 500k, 2m

Accepter extensions -A Séparées par des virgules

Rejeter extensions -R

Domaines autorisés --domains Rester sur ces domaines

Inclure seulement --include-directories

Ne pas remonter -np Délai aléatoire --random-wait Convertir liens -k Pas de dossiers -nd

User-Agent --user-agent

Referer --referer

Cookies --header

Header personnalisé --header

Authentification HTTP

Timeout -T

30s

Ignorer SSL --no-check-certificate Réponses serveur -S Timestamping -N Proxy