Come utilizzare Wget per scaricare qualsiasi cosa da Internet

Wget è un'utilità della riga di comando che può essere utilizzata per scaricare quasi tutto ciò che è disponibile su Internet. Il problema è che dovrebbe essere disponibile sui protocolli HTTP, HTTPS o FTP; altrimenti Wget non sarà in grado di scaricarlo. Esistono diversi modi in cui è possibile utilizzare Wget, ad esempio è possibile utilizzare Wget per scaricare ogni immagine su un sito Web oppure è anche possibile scaricare un singolo file. Wget è anche in grado di riprendere i download, quando possibile. Quindi, se ti stai chiedendo come funziona Wget e cosa può fare per te, ecco come utilizzare Wget:

Installazione di Wget

1. Installazione di Wget su macOS Sierra

Prima di iniziare a utilizzare Wget, dovremo installarlo sul nostro sistema. Ora, fortunatamente, la maggior parte delle distribuzioni Linux viene fornita con Wget preinstallato, quindi non dovrai fare alcun lavoro aggiuntivo. Tuttavia, se sei su un Mac, dovrai installare Wget. Questo può essere fatto facilmente usando Homebrew (download). Se hai bisogno di aiuto, ecco i passaggi che dovrai seguire:

Innanzitutto, dovrai installare Homebrew sul tuo Mac, per poter scaricare Wget. Per fare questo, basta avvia il terminale, e digita il seguente comando:

/ usr / bin / ruby -e "$ (curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

Dopo il completamento del comando, Homebrew verrà installato sul tuo sistema. Ora puoi usare Homebrew per installare pacchetti, come Wget. Nel Terminale, esegui il seguente comando:

brew installa wget

Homebrew verrà avviato automaticamente download, decompressione e installazione di Wget sul tuo sistema. Questo passaggio potrebbe richiedere del tempo, a seconda della velocità della rete, quindi sii paziente. Una volta completato il comando, dovresti essere in grado di utilizzare Wget sul tuo Mac. Per verificare se è stato installato, usa semplicemente il comando:

wget -V

2. Installazione di Wget su Windows

L'installazione di Wget su Windows richiede un po 'più di impegno, ma può essere eseguita facilmente. Se desideri installare Wget sul tuo PC Windows, segui i passaggi seguenti:

Innanzitutto, scarica Cygwin e poi eseguire il file di installazione scaricato.

Quando richiede la fonte di download predefinita, scegli l'opzione che dice "Installa da Internet"E fare clic su "Il prossimo".

Scegli una directory di installazione per Cygwin, oltre a una directory in cui salverà i file del pacchetto per l'installazione delle utilità.

Nella schermata successiva, ti viene richiesto di selezionare la tua connessione Internet. Se stai utilizzando un proxy, scegli il tipo di proxy che è e inserisci i dettagli. Per la maggior parte degli utenti, tuttavia, la scelta sarebbe "Connessione diretta".

Ti verrà quindi mostrato un file elenco dei mirror, scegli uno di questi per scaricare Cygwin. Se il download non riesce, puoi riprovare con un mirror diverso.

Nella finestra successiva, cerca "Wget", e fare clic sul file più accanto a "ragnatela" nell'elenco che viene visualizzato. Qui, la casella di controllo accanto a "wget"Verrà selezionato automaticamente. Basta fare clic su "Il prossimo".

La schermata successiva ti mostrerà i pacchetti da scaricare. Basta fare clic "Il prossimo".

Una volta completata l'installazione, ti verrà chiesto se lo desideri creare un'icona sul desktop, e / o aggiungi un file accesso al menu di avvio. Questa è completamente una questione di preferenze personali, ma ti suggerirei almeno di aggiungerlo al menu di avvio, in modo da poterlo trovare facilmente.

Questo è tutto. Wget è ora installato sul tuo PC Windows. Tuttavia, non sarai in grado di eseguirlo dal prompt dei comandi. Invece, dovrai avvia il terminale Cygwin e usa Wget da lì.

Come usare Wget

Ora che abbiamo Wget attivo e funzionante sul nostro sistema, esploriamo tutti i modi interessanti in cui possiamo utilizzare Wget per scaricare file, cartelle e persino interi siti Web da Internet. Ecco un paio di cose interessanti che puoi fare con Wget sul tuo sistema.

Nota: Sto usando Wget su un MacBook Air con macOS Sierra 10.12.3 beta. Tuttavia, poiché l'utilità che stiamo utilizzando è la stessa (Wget), i comandi saranno gli stessi su qualsiasi sistema operativo su cui potresti utilizzare Wget.

1. Usa Wget per scaricare i file

Puoi usare Wget per scaricare file da Internet con facilità. Usa semplicemente il seguente comando

wget

Scarica un file e salvalo con un nome file specifico

I file sui server a volte hanno i nomi più strani e potresti voler scaricare il file e fare in modo che Wget lo rinomini automaticamente con qualcosa che ha più senso per te. Per fare ciò, usa semplicemente il seguente comando

wget -o

Scarica solo tipi di file specifici

Un server Web potrebbe ospitare diversi file. Quindi, cosa succede se si desidera scaricare solo tutti i PDF sul server, o forse tutte le GIF? Usa semplicemente il seguente comando:

wget -r -A pdf

Questo particolare comando è stato utilizzato da Mark Zuckerberg nella sua stanza del dormitorio di Harvard, per scaricare tutte le immagini con un solo comando e creare il famigerato sito web "facesmash.com".

wget -r -A jpg, jpeg, png, bmp

2. Scarica file da più URL con Wget

Supponiamo che sia necessario scaricare file da una serie di posizioni diverse su Internet. Potrebbe esserci un file File PDF su url1, un importante File ZIP su url2, e qualcos'altro in url3. Se hai usato Wget in modo tradizionale, dovrai eseguirlo tre volte. Tuttavia, esiste un modo molto più semplice per farlo.

Innanzitutto, crea un file con tutti gli URL da cui scaricare i dati. Accertati di mantieni ogni URL nella propria riga. Salva il file e assicurati di ricordare il nome.

In Terminal, utilizza il seguente comando per scaricare i file da tutti gli URL:

wget -i

dove "nome del file" è il nome del file che hai creato con tutti gli URL dovevi scaricare materiale da.

3. Scarica un intero sito web con Wget

Sì, avete letto bene. Puoi utilizzare Wget anche per scaricare i contenuti di un intero sito web. Ovviamente, se il sito web è troppo grande, questo comando impiegherà molto tempo per finire, per non parlare del fatto che occuperà molto spazio sul tuo sistema. Detto questo, se vuoi usare Wget per scaricare un intero sito web, usa semplicemente il seguente comando:

wget --mirror -p  -P ./LOCAL-DIR WEBSITE-URL

Questo scaricherà l'intero sito web, in una cartella "LOCALE-DIR"All'interno della directory di lavoro. I file del sito web verranno archiviati in una cartella con lo stesso nome del sito web, grazie a "URL DEL SITO".

4. Usa Wget come un Web Spider

Puoi anche fare in modo che Wget si comporti come un web crawler (o un web spider). Questo è utile quando vuoi conferma che l'URL del file che desideri scaricare è valido. Per utilizzare Wget come un web spider e verificare la validità degli URL, è sufficiente utilizzare il seguente comando:

wget: ragno

Questo controllerà se l'URL che hai menzionato esiste e riceverai una risposta che ti indicherà i risultati del controllo.

Risposta positiva:

Risposta negativa:

5. Continua download incompleti

Questa è un'altra cosa davvero interessante che Wget può fare. Supponiamo che stavi scaricando un file con Wget, ma per qualche motivo hai dovuto spegnere il tuo laptop. La prossima volta che vuoi provare a scaricare lo stesso file, Wget può effettivamente farlo continua il download per te. Devi solo farlo assicurati di essere nella stessa cartella in cui stavi scaricando il file l'ultima volta, e quindi utilizzare il seguente comando:

wget -c

Quando Wget vede che una parte del file è già presente nel tuo sistema, continuerà automaticamente il download.

Nota: Se il file sul server è stato modificato dall'ultima volta che hai provato a scaricarlo, non dovresti usare questo comando, perché risulterà in un file danneggiato che non sarai in grado di leggere.

Inoltre, se il server non consente download continui, Wget rifiuterà di avviare il download da zero. Se vuoi avviare il download da zero, dovrai eliminare il file parzialmente scaricato dal tuo sistema, primo.

Ci sono altre condizioni per usare questo argomento e puoi leggere di più su di esso nella pagina man di Wget.

6. Limita la velocità di download

Se stai usando Wget per scaricare file e navighi in Internet insieme ad esso, probabilmente non vorresti che tutta la tua larghezza di banda fosse utilizzata da Wget. Fortunatamente, Wget include un argomento che puoi usare per limitare la quantità di larghezza di banda che Wget può usare per scaricare file sul tuo sistema:

wget --limit-rate =

Nota: Tieni presente che la velocità è menzionata in byte e non in bit. Quindi, se usi Wget -limit-rate = 20k, limiterà l'utilizzo della larghezza di banda a 20 kB e non a 20 kb.

7. Utilizzare Wget per scaricare file da server FTP

Se devi scaricare un file da un server FTP, puoi farlo anche con Wget. Usa semplicemente il seguente comando per scaricare file dai server FTP:

wget

Scarica file da server FTP con accesso

SE il tuo server FTP richiede un accesso per consentire il download dei file, puoi semplicemente passare le credenziali anche con Wget. Usa semplicemente il seguente comando:

wget --ftp-username = USERNAME --ftp-password = PASSWORD

VEDERE ANCHE: 30 comandi del terminale Mac per accedere alle funzionalità nascoste

Usa facilmente Wget per scaricare file da Internet

Puoi utilizzare Wget per scaricare file da qualsiasi punto di Internet. Tuttavia, mentre Wget funziona quasi sempre, ci sono alcuni server che impediscono l'accesso a Wget, nel qual caso puoi provare a cambiare -user-agent per il tuo comando Wget. Tuttavia, questa non è una linea d'azione consigliata, a meno che tu non sappia assolutamente cosa stai facendo. Per la maggior parte, Wget ti consentirà di scaricare qualsiasi file da Internet, purché tu abbia accesso ad esso e al suo URL.

Quindi, hai mai usato Wget per scaricare file da Internet? Facci sapere la tua esperienza con l'utilizzo di Wget per scaricare file, tramite i protocolli HTTP, HTTPS e FTP. Inoltre, se sei a conoscenza di altri usi di Wget che ritieni meritino di essere inclusi in questo elenco, faccelo sapere nella sezione commenti qui sotto.