Am 7. und 8. Februar werden mehr als fünftausend Entwickler der Freien und OpenSource Software Szene auf dem Solbosch-Campus der Freien Universität Brüssel zum 9. Free and Open Source Developer European Meeting erwartet. FOSDEM ’09 ist kostenlos und nichtkommerziell, wird von der OpenSourceCommunity für die Community organisiert und soll Entwicklern die Möglichkeit geben, sich kennenzulernen und auszutauschen.

Das Hauptprogramm ist dichtgepackt und kann mit einigen bekannten Namen der OpenSource-Szene aufwarten. 

In den Developper Rooms verfolgen die einzelnen Projekte ihre eigenen Zeitpläne mit Bugfixing-Sessions, Vorträgen und anderen Ideen.

So gibt es zum Beispiel Developper Rooms für die folgenden Projekte:

• Ada
• BSD+PostgreSQL
• CrossDesktop
• Debian
• Drupal
• Eingebettete Systeme
• Fedora+CentOS
• Free Java
• GNOME
• GNUstep+OpenGroupware+Etoile
• Jabber+XMPP
• KDE
• Mozilla
• MySQL
• OpenOffice.org
• openSUSE
• Ruby and Rails
• X.org

Schade, daß es so weit nach Brüssel ist.

Wget ist das Programm mit dem ich zum ersten Mal die Macht der Kommandozeile kennengelernt habe. Für ein Projekt brauchte ich viele Bilder, um genau zu sein mehrere Tausend Bilder.

Über die Sammlung der Public-Domain-Bilderquellen der Wikipedia bin ich auf die NASA-Bilder-Sammlung aufmerksam geworden, die Public Domain ist. Es ist nicht schwierig herauszufinden, dass sich alle Bilder im Ordner http://grin.hq.nasa.gov/IMAGES/ befinden.

Möchte man jetzt alle Bilder herunterladen, könnte man natürlich jedes Bild einzeln mit der rechten Maustaste anclicken und dann speichern. Das muss aber nicht sein, wenn man das Kommandozeilentool wget kennt.

Zunächst muß man ein Terminal öffnen (Anwendungen ? Zubehör ? Terminal in fast allen aktuellen Linux-Distributionen). Dann sollte man sich kurz über wget informieren (man wget hilft dabei). Generell sollte man sich immer erst über Kommandozeilentools schlau machen, bevor man sie nutzt! Sonst wundert man sich, dass nach einem sudo rm -Rvf / nichts mehr funktioniert
Jetzt kann es losgehen. Wget braucht als einziges Argument eine URL

Wenn wir nur eine einzige URL runterladen wollen, reicht:

wget http://grin.hq.nasa.gov/IMAGES/LARGE/GPN-2000-000038.jpg

Und schon liegt die Datei im aktuellen Verzeichnis. Natürlich ist das langweilig, wir wollen ja nicht nur eine Datei herunterladen, sondern alle in dem entsprechenden Verzeichnis. Hier kommt die Option -r zu Hilfe, die ein rekursives Downloaden ermöglich. Das heißt, jede heruntergeladene html-Datei wird nach Dateiverweisen durchsucht, um diese Dateien dann auch herunterzuladen (rekursiv eben). Die Rekursionstiefe ist mit der Option -l beliebig einstellbar.

In unserem NASA-Beispiel reicht ein Rekursionstiefe von 1.

wget -r -l 1 http://grin.hq.nasa.gov/IMAGES/SMALL/ &

Und schon beginnt wget sein Werk. Wget beendet sich von allein, wenn alle Dateien heruntergeladen sind. Das & am Ende sorgt dafür, daß der Prozess im Hintergrund läuft.

Auf diese Weise kann man sich ganze Webpräsenzen herunterladen und mitnehmen. Damit sie wirklich offline nutzbar sind, muß man webseiteninterne Links auf die lokal heruntergeladenen Dateien umleiten. Auch das ist mit wget kinderleicht, da es die Option -convert-links gibt:

wget --convert-links -r http://www.informatik-blog.de

Wenn man die Ordnerstruktur der Webseite nicht beibehalten, sondern alle Dateien in ein Verzeichnis downloaden möchte, nutzt man die Option -nd (nd für no directories). Wenn man nur bestimmte Dateitypen haben möchte gibt es die Option -A (Acceptlist). Mit -random-wait kann man einen menschlichen Internetnutzer simulieren, der zwischen den Seitenaufrufen verschieden lange Zeiten verstreichen lässt. Sonst feuert wget aus allen Rohren und nutzt die gesamte zur Verfügung stehende Download-Rate.

Mit
wget -r -l 10 -A .jpg -nd -random-wait http://www.meineinternetadresse.de &

ist es dann ganz einfach möglich von einer beliebigen Webseite alle jpg-Dateien herunterzuladen. Und das mit einer Zeile!
Eine kleine Einschränkung gibt es. Wget hält sich (normalerweise) an die Regeln der robots.txt. Das heißt, wenn dort der Zugriff auf das Bilderverzeichnis für robots gesperrt ist, bleibt wget draußen.

Natürlich sollte man nur Dateien von Webseiten herunterladen, die das auch ausdrücklich erlauben! So stehen zum Beispiel amerikanische Regierungsseiten fast immer unter der Public Domain. Und auch das Projekt Gutenberg ist kostenlos.

Wget kann noch vielmehr und wäre sogar als Basis für eine eigene Suchmaschine geeignet. Davon später vielleicht mehr.

Viel Spaß mit wget!

Weiterführende Links

http://www.gnu.org/software/wget/
http://de.wikipedia.org/wiki/Wget