Es sabido que si en consola tipeamos wget http://direccionweb.com/archivo.tar.gz se descargará en nuestra máquina un archivo comprimido que se encuentra en la dirección mencionada. Pues bien, navegando por la red encontré que con wget no solo podemos descargar archivos…también se puede descargar un sitio completo, esto incluye todos los archivos que éste contenga (html, php, imágenes, videso, etc), y para hacerlo basta con pasarle al wget los parámetroo necesarios:

wget -r http://sitioweb.com

El parámetro -r le indica a wget que baje los archivos del sitio recursivamente,  o sea, uno tras otro. Ahora, existen servidores que cuando reciben demasiadas peticiones desde una IP, simplemente la bloquean, lo que quiere decir que no son aceptadas las peticiones desde dicha IP. Para no caer en esto hacemos lo siguiente:

wget –random-wait –limit-rate=20k -r http://sitioweb.com

El parámetro -ramdom-wait hace que wget espere un tiempo aleatorio entre cada petición que hace al sitio web, con lo cual el servidor no bloquea la IP porque lasolicitudes no son una tras otra.

-limit-rat=20 forza a que la tasa de transferencia sea de una velocidad máxima de 20 kilos, lo cual ayuda al mismo propósito que el -random-wait.

También podemos limitarnos a descargar del sitio solo algunos tipos de archivos, por ejemplo:

wget -r -A=.jpg,.png http://sitioweb.com

-A=.jpg,.png forza a wget que descargue únicamente las imágenes en formato jpg y png del sitio.

Para conocer algunas otras opciones puedes visitar la fuente de la información o también puedes tipear en consola :~$ man wget