usage.de :: what goes around, comes around

Große Verzeichnisse löschen per NFS / Linux

Stefan — Tue, 16 Mar 2010 19:51:32 +0000

Ich wurde heute gefragt wieso es so lange dauert ein großes Verzeichnis mit vielen Dateien zu löschen, welches per NFS gemountet wurde. Angenommen ich habe die folgende Verzeichnisstruktur:

/fileserver/Vorratsdatenspeicherung/
/fileserver/Vorratsdatenspeicherung/2007/Januar/
/fileserver/Vorratsdatenspeicherung/2007/Januar/01/Server1/…
/fileserver/Vorratsdatenspeicherung/2007/Januar/01/Server2/…
[...]
/fileserver/Vorratsdatenspeicherung/2007/Januar/31/Server1/…
/fileserver/Vorratsdatenspeicherung/2007/Januar/31/Server2/…
[...]
/fileserver/Vorratsdatenspeicherung/2010/Januar/31/Server1/…
/fileserver/Vorratsdatenspeicherung/2010/Maerz/02/Server2/…

usw…

und möchte das aus gegebenen Anlass loswerden. Die Vermutung war, dass der Linux Client an den NFS Server nur den Befehl ‘lösche das Verzeichnis “Vorratsdatenspeicherung”‘ schicken müsste, und den Rest würde der NFS Server dann automagisch tun. Ein Vorgang der innerhalb von 1-2 Sekunden also zumindest aus Client Sicht erledigt wäre. In der Realität sieht das ganze etwas anders aus, weshalb es schonmal eine Weile dauert, bis so ein großes Verzeichnis leer ist.

Warum?

Wenn ich den oben genannten Befehl (rm -rf /fileserver/Vorratsdatenspeicherung) absetze, muss der Linux Client das ersteinmal für das Linux Dateisystem übersetzen, denn der Benutzer spricht nicht direkt mit dem NFS Server, sondern über eine Dateisystem-Zwischenschicht, die im Hintergrund Dateisystem-Anfragen in NFS-Operationen umwandelt.

(Achtung: Es folgt eine abstrakte Übersicht über das, was im Hintergrund dabei passiert. Diese Übersicht ist nicht vollständig und in der Realität noch x-fach komplexer)

Der NFS Server kennt den Pfad /fileserver/Vorratsdatenspeicherung vermutlich gar nicht. Der Fileserver hat die Daten vielleicht unter /vol/datenschutzabteilung/Server/Vorratsdatenspeicherung/ liegen und muss nun mit Löschbefehlen gefüttert werden. Der Linux Client läuft also los und sagt ‘Hey Verzeichnis Vorratsdatenspeicherung/, ich lösch dich jetz!’. Das Linux Filesystem antwortet darauf und meinte “Nee, das ist ein Verzeichnis, das geht so nicht, das muss erstmal leer sein, bevor du das löschen kannst. Und dann geht der Spaß los:

- Das Verzeichnis wird geöffnet, openat(Vorratsdatenspeicherung)
- Die Verzeichnisattribute werden eingelesen, fstat()
- Die Verzeichnisinhalte werden abgefragt, getdents()

Die Ausgabe von getdents wird überprüft und oh schreck. Da sind ja noch mehr Verzeichnisse! Also geht das Spiel wieder los für das Verzeichnis Vorratsdatenspeicherung/2007/, dann für Vorratsdatenspeicherung/2007/Januar/, Vorratsdatenspeicherung/2007/Januar/01/ bis Vorratsdatenspeicherung/2007/Januar/01/Server01/ und dann meint der Server, ja, da sind momentan (z.B.) 8192 Dateien drin. Daraufhin holt sich der Linux Client die Liste der Dateien und fängt dann an nach und nach alle 8192 Dateien in dem Verzeichnis zu löschen:

unlinkat(Datei0)
unlinkat(Datei1)
unlinkat(Datei2)
[...]
unlinkat(Datei8191)

Jetzt ist das erste Unterverzeichnis leer. Dann schaut der Client zur Sicherheit mit getdents() nochmal nach ob alles weg ist und erst dann wird das erste Unterzeichnis Vorratsdatenspeicherung/2007/Januar/01/Server01/ entfernt – unlinkat(Server01, AT_REMOVEDIR).

Der Übersicht halber habe ich hier einige Systembefehle weggelassen. In der Realtität passiert da noch viel viel mehr. Bis das gesamte Verzeichnis Vorratsdatenspeicherung/ tatsächlich weg ist, wird der Linux Client mehrere zehntausende Dateisystem-Anfragen gestellt haben und bis zu dieser Stelle hab ich noch gar nicht über NFS(v3) Anfragen gesprochen.

Im Hintergrund wird jede herkömmliche Linux Filesystem-Anfrage in diesem Fall in NFS RPC Calls übersetzt und an den NFS Server übermittelt. Am Ende dieses Löschbefehls wird der NFS Server also vielleicht einige Millionen Befehle empfangen haben, bis das Verzeichnis tatsächlich auf dem Share gelöscht ist. Und genau deshalb dauert es manchmal ziemlich lang einen kleinen unscheinbaren Befehl auszuführen.

Weiterführende Doku:

Linux NFS FAQ
Wikipedia über das NFS Protokoll
RFC1813 (NFS Version 3 Protocol Specification)
Mike Eislers NFS Blog

Mikael

Stefan — Sun, 14 Mar 2010 19:10:41 +0000

Fototag, Ikea Tisch Mikael (sorry for crosspost)

Weiter gehts, nix passiert!

Stefan — Sat, 13 Mar 2010 23:48:35 +0000

Nachdem die alte Hardware einfach nicht mehr tragbar war, musste ich quasi im laufenden Betrieb umziehen.

Und irgendwie hats geklappt. Aber das war ja auch zu erwarten … ich als alter Admin Profi! *hust* Auf die nächsten 5 Jahre mit dann hoffentlich besser Support Untersützung, wenns mal nicht mehr gehen sollte – liebe Strato!

Am Ende sind es alles Menschen

Stefan — Sat, 13 Mar 2010 23:13:08 +0000

Und sofern es auch nur ansatzweise die Chance gibt, dass die Menschen bis 2050 unabhängig von ihrer Religion lernen sich gegenseitig zu respektieren, sollte es sowas von egal sein ob die Person neben einem Christ, Moslem oder Atheist ist. Zugegeben, die Chance ist weitaus höher bis 2050 einen globalen Krieg im Namen einer Religion zu erleben. Aber man wird ja wohl noch auf die Vernunft hoffen dürfen.

Ja nee, is klar

Stefan — Fri, 12 Mar 2010 21:56:55 +0000

Ich wollte wissen wieso der Windows Media Player selbst unter Windows7 kein MP4 (genau gesagt AVC1) abspielt. Microsoft meint dazu:

MPEG-4-Videoinhalte können mithilfe von Windows Media Tools und Windows Media Encoder in einem ASF-Dateicontainer codiert und gespeichert werden. Sie können diese Dateien dann in Windows Media Player wiedergeben.

Ah ja. Dann eben nicht. Hallo VLC!

Teamspeak 3, Unterschied merkbar

Stefan — Thu, 11 Mar 2010 19:13:15 +0000

Also ganz ehrlich: Der Unterschied zwischen Teamspeak Version 2 und Version 3 ist spürbar, und zwar nicht nur im Design. Es erinnert ein wenig an Ventrilo, ohne aber den Bezug zu vorherigen Versionen verloren zu haben. Die Sprachqualität hat sich extrem verbessert. Die Tage an denen man Kopfschmerzen durch Teamspeak bekam, sind damit hoffentlich vorbei. Und das Beste: Sowohl Client als auch Server gibts ab sofort direkt für Windows, Linux und MacOS!

Ein Minuspunkt: Ich darf die Sondertasten meiner Tastatur nicht mehr als Push2Talk Tasten benutzen. Ab Version 3 tut TS so, als würden die Tasten gar nicht mehr existieren. Ich hoffe das wird noch gefixt. Bei guter Software aus Deutschland[tm] bin ich da guter Hoffnung. ;-) Den aktuellen TS Client bekommt ihr hier.

George Carlin – Back In Town

Stefan — Mon, 08 Mar 2010 03:23:54 +0000

Der unglaubliche “7 things you can’t say on radio or tv” George Carlin. Am besten das ganze Programm reinziehen (Teil 1-6):

akutes Selbstschämen

Stefan — Sun, 07 Mar 2010 02:42:50 +0000

Manchmal muss man auch die Größe haben NICHT stolz auf das zu sein, was man fabriziert hat:

Möge es in Frieden ruhen und irgendwann in den weiten der Bits&Bytes in Vergessenheit geraten. Wir machen weiter mit Musik.

Tool of the week: dygraphs

Stefan — Sat, 06 Mar 2010 18:48:59 +0000

Letzte Woche bekam ich eine riesen Liste von Performance Daten im CSV (Comma-Separated Values) Format. Excel konnte sich mit den Dateien nicht recht anfreunden, also musste eine brauchbare Lösung her, die auch Offline funktioniert und aus den Listen irgendwas menschenlesbares macht.

Nach kurzer Suche fand ich “dygraphs” (JavaScript Visualization Library) – eine Möglichkeit Daten zu visualisieren. Dygraphs nimmt als Quelle CSV Daten (per HTTP/GET) oder einzeln im Source aufgeführte Werte; also ein richtig schönes Spielzeug!

Was kann man damit machen? So ziemlich alles visualisieren, was einfach gestrickt ist. Wer selbst damit rumspielen möchte, findet hier Anleitungen und die Quellen. Leider verträgt sich meine Blog-Engine nicht mit js/xhtml gewusel, weshalb an dieser Stelle ein statischer Screenshot herhalten muss – eine Live Demo könnte ungefähr so aussehen.

(Horde Auctions House / EU-Anub’Arak)

Kommando zurück!

Stefan — Wed, 03 Mar 2010 18:35:06 +0000

Jetzt fing ich hier grad an auf hohem Niveau ausgiebig schriftlich zu jammern und dann fällt mir ein das wollt ich ja gar nicht mehr tun. Diese blöden Verhaltensmanipulatoren! (also ich fand das war jetzt recht kurz, yay!)