Festplatte voll trotz Aufräumen
Festplatte voll trotz Aufräumen: gelöschte, offene Dateien
Festplatte voll trotz Aufräumen: gelöschte, offene Dateien
Symptom
df meldet 90 bis 100 Prozent Belegung auf einem Volume, obwohl find und du kaum etwas finden. Aufräumen bringt kurz Linderung, danach läuft das Volume wieder voll. Das Problem liegt nicht in sichtbaren Dateien.
Ursache
Linux gibt den Platz einer Datei erst frei, wenn kein Prozess sie mehr offen hat. Wenn jemand eine Logdatei mit rm löscht, während der schreibende Prozess weiterläuft, bleibt der Dateideskriptor offen. Die Datei ist im Verzeichnis weg, belegt aber weiterhin Speicher und wächst mit jedem Schreibzugriff. find sieht sie nicht mehr, df rechnet sie trotzdem mit.
Typische Auslöser: manuelles rm auf Logs laufender Dienste, ein logrotate ohne copytruncate auf selbst verwaltete Dateien oder Anwendungen, die ihren stdout selbst in eine Datei umleiten, die niemand rotiert.
Diagnose
Zuerst prüfen, ob df und du auseinanderlaufen:
df -h /var
du -sx /var
Zeigt df deutlich mehr belegten Platz als du aufsummiert, sind gelöschte, offene Dateien die Ursache.
Dann die Verursacher auflisten:
lsof -nP +L1 | awk '$7+0 > 1073741824' | sort -k7 -rn
+L1 zeigt nur Dateien mit Linkzähler 0, also bereits gelöschte. Die Größe steht in Spalte 7, der Prozess und die PID in den ersten Spalten, am Pfad hängt ein (deleted).
Behebung
Ohne Neustart lässt sich der Platz sofort freigeben, indem man die Datei über den Deskriptor auf 0 kürzt:
: > /proc/<PID>/fd/<FD>
Der Prozess läuft weiter und schreibt ab dann in die weiter unsichtbare Datei. Das ist eine Übergangslösung, kein Zustand. Spätestens wenn die Datei wieder wächst, braucht es einen kontrollierten Neustart des Dienstes. Erst damit wird der Deskriptor geschlossen und die Datei endgültig beseitigt.
Der Doppelpunkt ist ein Shell-Builtin, das nichts tut. Eine No-Op-Anweisung. Er
existiert hier nur, weil eine Umleitung in Bash immer an einen Befehl hängen >
muss. : > datei heißt also: führe nichts aus, aber öffne die Datei vorher im Schreibmodus.
Das > hinter dem No-Op öffnet die Datei mit O_TRUNC. Das ist der Mechanismus, der auch > datei bei normalen Shells nutzt, um Dateien zu leeren: Kernel öffnet die Datei zum Schreiben und schneidet sie dabei auf 0 Byte. Der Befehl selbst schreibt nichts, also bleibt sie leer.
Und /proc/PID/fd/N ist ein spezieller Symlink. Der Kernel exportiert dort die offenen Dateideskriptoren eines Prozesses, und ein Öffnen dieses Pfades öffnet nicht den Namen, sondern denselben Inode, den der Prozess hält. Genau deshalb funktioniert der Trick bei gelöschten Dateien: Der Name ist weg, aber über /proc kommst du wieder an den Inode heran, den sonst niemand mehr erreicht.
Zusammen: Der Befehl öffnet den Inode, den mein Prozess offen hält, mit O_TRUNC und schließt ihn wieder. Ergebnis: Datei auf 0, Prozess läuft unbeeindruckt weiter.
Ein Nebeneffekt, den man kennen sollte: Das truncate setzt die Schreibposition des Prozesses nicht zurück. Sein Dateideskriptor hat einen Offset, der nach 400 GB Schreibarbeit eben bei 400 GB steht. Das nächste write landet also wieder bei Offset 400 GB, obwohl die Datei 0 Byte groß war. Der Kernel füllt den Raum dazwischen mit Löchern, das Ergebnis ist eine Sparse-Datei: riesige angezeigte Größe in ls, kaum echter Platzverbrauch in df und du. Nur wenn die App ihre Logs mit O_APPEND öffnet, was bei den meisten Logging-Frameworks der Fall ist, fällt der Effekt weg, dann hängt jedes write ans aktuelle Dateiende. Bei meinem mmo-Log war der Platz nach dem truncate sofort und vollständig weg, also schreibt die App offenbar im Append-Modus.
Danach dafür sorgen, dass es nicht wieder passiert:
- Logs von langlaufenden Prozessen nie per
rmentsorgen. - logrotate mit
copytruncatekonfigurieren, wenn die Anwendung ihre Logdatei selbst hält. - Longrunner unter systemd betreiben und stdout über journald leiten, mit
SystemMaxUse=als Obergrenze.
Sonderfall: InnoDB-Tablespaces
Gelöschte .ibd-Dateien, die mariadbd oder mysqld offen hält, sind keine Logs. Wird der Datenbankdienst neu gestartet, ist die Datei endgültig weg und der Tablespace bricht. Vor einem Neustart gilt:
- Tabelle nicht mehr nötig: per SQL
DROP TABLEausführen, das schließt den Deskriptor sauber. - Tabelle noch nötig: zurückkopieren geht, solange der Prozess läuft:
cp /proc/<PID>/fd/<FD> /var/lib/mysql/<db>/<table>.ibd
chown mysql:mysql /var/lib/mysql/<db>/<table>.ibd
chmod 600 /var/lib/mysql/<db>/<table>.ibd
Vor dem Kopieren Schreibzugriffe auf die Tabelle sperren, sonst ist die Kopie inkonsistent.