Wget ist das Programm mit dem ich zum ersten Mal die Macht der Kommandozeile kennengelernt habe. Für ein Projekt brauchte ich viele Bilder, um genau zu sein mehrere Tausend Bilder.

Über die Sammlung der Public-Domain-Bilderquellen der Wikipedia bin ich auf die NASA-Bilder-Sammlung aufmerksam geworden, die Public Domain ist. Es ist nicht schwierig herauszufinden, dass sich alle Bilder im Ordner http://grin.hq.nasa.gov/IMAGES/ befinden.

Möchte man jetzt alle Bilder herunterladen, könnte man natürlich jedes Bild einzeln mit der rechten Maustaste anclicken und dann speichern. Das muss aber nicht sein, wenn man das Kommandozeilentool wget kennt.

Zunächst muß man ein Terminal öffnen (Anwendungen ? Zubehör ? Terminal in fast allen aktuellen Linux-Distributionen). Dann sollte man sich kurz über wget informieren (man wget hilft dabei). Generell sollte man sich immer erst über Kommandozeilentools schlau machen, bevor man sie nutzt! Sonst wundert man sich, dass nach einem sudo rm -Rvf / nichts mehr funktioniert
Jetzt kann es losgehen. Wget braucht als einziges Argument eine URL

Wenn wir nur eine einzige URL runterladen wollen, reicht:

wget http://grin.hq.nasa.gov/IMAGES/LARGE/GPN-2000-000038.jpg

Und schon liegt die Datei im aktuellen Verzeichnis. Natürlich ist das langweilig, wir wollen ja nicht nur eine Datei herunterladen, sondern alle in dem entsprechenden Verzeichnis. Hier kommt die Option -r zu Hilfe, die ein rekursives Downloaden ermöglich. Das heißt, jede heruntergeladene html-Datei wird nach Dateiverweisen durchsucht, um diese Dateien dann auch herunterzuladen (rekursiv eben). Die Rekursionstiefe ist mit der Option -l beliebig einstellbar.

In unserem NASA-Beispiel reicht ein Rekursionstiefe von 1.

wget -r -l 1 http://grin.hq.nasa.gov/IMAGES/SMALL/ &

Und schon beginnt wget sein Werk. Wget beendet sich von allein, wenn alle Dateien heruntergeladen sind. Das & am Ende sorgt dafür, daß der Prozess im Hintergrund läuft.

Auf diese Weise kann man sich ganze Webpräsenzen herunterladen und mitnehmen. Damit sie wirklich offline nutzbar sind, muß man webseiteninterne Links auf die lokal heruntergeladenen Dateien umleiten. Auch das ist mit wget kinderleicht, da es die Option -convert-links gibt:

wget --convert-links -r http://www.informatik-blog.de

Wenn man die Ordnerstruktur der Webseite nicht beibehalten, sondern alle Dateien in ein Verzeichnis downloaden möchte, nutzt man die Option -nd (nd für no directories). Wenn man nur bestimmte Dateitypen haben möchte gibt es die Option -A (Acceptlist). Mit -random-wait kann man einen menschlichen Internetnutzer simulieren, der zwischen den Seitenaufrufen verschieden lange Zeiten verstreichen lässt. Sonst feuert wget aus allen Rohren und nutzt die gesamte zur Verfügung stehende Download-Rate.

Mit
wget -r -l 10 -A .jpg -nd -random-wait http://www.meineinternetadresse.de &

ist es dann ganz einfach möglich von einer beliebigen Webseite alle jpg-Dateien herunterzuladen. Und das mit einer Zeile!
Eine kleine Einschränkung gibt es. Wget hält sich (normalerweise) an die Regeln der robots.txt. Das heißt, wenn dort der Zugriff auf das Bilderverzeichnis für robots gesperrt ist, bleibt wget draußen.

Natürlich sollte man nur Dateien von Webseiten herunterladen, die das auch ausdrücklich erlauben! So stehen zum Beispiel amerikanische Regierungsseiten fast immer unter der Public Domain. Und auch das Projekt Gutenberg ist kostenlos.

Wget kann noch vielmehr und wäre sogar als Basis für eine eigene Suchmaschine geeignet. Davon später vielleicht mehr.

Viel Spaß mit wget!

Weiterführende Links

http://www.gnu.org/software/wget/
http://de.wikipedia.org/wiki/Wget

Viel zu oft wird die Frage “Wie lösche ich ein Verzeichnis rekursiv?” mit einem 100-Zeilen Skript beantwortet. Schade eigentlich, denn viele Programmierer haben sich immer noch keine Mühe gemacht die Änderungen von PHP5 wahrzunehmen. Dabei würde sich ein genauerer Blick lohnen, die Antwort auf diese Frage ist seither sehr kurz und einfach geworden:

function recursive($dest)
{
	$list = array_diff(scandir($dest), array('.', '..'));
	foreach ($list as $value) {
		$file = $dest.'/'.$value;
		if (is_dir($file)) { recursive($file) } else { unlink($file) }
	}
	return rmdir($dest);
}

Wie wir sehen, passt das sehr einfach in 9 Zeilen. Was geschieht denn genau? Zuerst lesen wir das Verzeichnis, das wir beim Funktionsaufruf mitgegeben haben aus (scandir()) und entfernen danach “.” (aktuelles Verzeichnis) und “..” (übergeordnetes Verzeichnis). Das muss sein, denn sonst würden wir bei ersterem in eine Endlosschleife geraten und bei letzterem über das Ziel hinaus schiessen und übergeordnete Dateien löschen. Sobald wir also unsere Liste haben, gehen wir sie durch und prüfen ob es sich um ein Verzeichnis handelt oder nicht. Ist es eins, so wird die gesamte Prozedur nochmal darauf angewandt – andernfalls wird die Datei einfach gelöscht und das geht dann so lange bis nichts mehr übrig ist.

Verwendet wird es übrigens folgendermassen:

if (recursive('./bilder')) {
	print "super, hat geklappt.";
} else {
	print "ohje, bestimmt hab ich keine berechtigung dazu.";
}

Schlägt der Funktionsaufruf fehl, erscheinen (je nach tiefe der Verzeichnise) von PHP generierte Fehlermeldungen.