Festplatte halb leer. Trotzdem kein Platz mehr.

Warum erschöpfte Inodes Anwendungen stoppen können

Warum erschöpfte Inodes Anwendungen stoppen können

Lesezeit: ca. 5–6 Minuten

Die Anwendung kann keine neue Datei anlegen. Ein Upload bricht ab, ein Hintergrundjob scheitert, und im Log erscheint „No space left on device“. Der erste Blick auf die Festplatte wirkt beruhigend: Mehr als die Hälfte des Speichers ist frei. Also wird neu gestartet. Danach funktioniert vielleicht ein Teil des Systems wieder, bis dieselbe Fehlermeldung zurückkehrt.

Dieses Fehlerbild zeigt, warum Speicherüberwachung mehr umfassen muss als freie Gigabytes. Ein Dateisystem verwaltet nicht nur den Inhalt von Dateien, sondern auch deren Metadaten. Dafür stehen Inodes zur Verfügung. Ist die entsprechende Kapazität erschöpft, können neue Dateien scheitern, obwohl noch Datenblöcke frei sind. Besonders Anwendungen, die sehr viele kleine Dateien erzeugen, treffen auf diese Grenze.

Zwei unterschiedliche Kapazitäten

Ein Inode beschreibt ein Dateisystemobjekt und enthält beispielsweise Informationen zu Eigentümer, Berechtigungen und den gespeicherten Daten. Der Dateiname liegt im Verzeichniseintrag. Mehrere Hardlinks können deshalb auf denselben Inode verweisen. Die technische Organisation und die Möglichkeiten zur Erweiterung unterscheiden sich zwischen Dateisystemen. Die ext4-Dokumentation beschreibt unter anderem die Zuordnung von Inodes zu Blockgruppen.

Für den Betrieb genügt zunächst eine praktische Unterscheidung: Wie viel Platz ist für Inhalte verfügbar, und wie viele Dateisystemobjekte können noch verwaltet werden? Beide Werte können unabhängig voneinander knapp werden. Ein großer Film benötigt viel Speicher, aber vergleichsweise wenige Dateisystemobjekte. Millionen kleiner Cache-Dateien können dagegen die Objektverwaltung erschöpfen, lange bevor die Datenkapazität verbraucht ist.

Das bedeutet auch: Eine pauschale Aussage wie „Wir haben noch 500 Gigabyte frei“ ist keine vollständige Kapazitätsbewertung. Ohne Dateisystemtyp, Mountpoint und Inode-Belegung bleibt offen, ob die Anwendung tatsächlich weitere Dateien anlegen kann.

Ein typisches Betriebsszenario

Ein illustratives Beispiel: Ein Exportdienst erzeugt für jeden Auftrag mehrere kleine Zwischenstände. Nach erfolgreichem Abschluss sollen diese Dateien gelöscht werden. Die Bereinigung funktioniert jedoch nur im Erfolgsfall. Abgebrochene Aufträge hinterlassen ihre Arbeitsverzeichnisse dauerhaft.

Im Alltag fällt das kaum auf. Jede einzelne Datei ist klein, das Volumen wächst langsam. Nach mehreren Monaten oder einer Phase mit besonders vielen fehlgeschlagenen Aufträgen steigt die Dateianzahl jedoch stark an. Schließlich kann der Dienst kein neues Arbeitsverzeichnis mehr anlegen. Gleichzeitig scheitern weitere Prozesse auf demselben Dateisystem.

Der eigentliche Fehler liegt damit nicht in einer zu kleinen Festplatte. Er liegt im Lebenszyklus der temporären Daten. Mehr Kapazität kann den Zeitpunkt des nächsten Ausfalls verschieben, beseitigt aber nicht die fehlende Bereinigung.

Die Diagnose beginnt am betroffenen Pfad

Zuerst muss klar sein, wo die fehlgeschlagene Schreiboperation stattfindet. Ein freies Root-Dateisystem sagt nichts über ein separat eingebundenes Datenvolume aus. Ebenso kann ein Container auf ein anderes Dateisystem schreiben, als das Dashboard vermuten lässt.

Unter GNU/Linux lassen sich für einen konkreten Pfad beide Perspektiven prüfen:

df -h /pfad/zur/anwendung
df -i /pfad/zur/anwendung

Der erste Aufruf zeigt die Blockbelegung, der zweite die Inode-Belegung. Die GNU-Dokumentation beschreibt dafür die Option --inodes. Wichtig ist, die Ausgabe auf den tatsächlichen Fehlerpfad zu beziehen und nicht nur auf eine beliebige Partition des Hosts.

Wenn die Inodes knapp sind, folgt die Suche nach Verzeichnissen mit besonders vielen Einträgen. Eine solche Analyse kann bei Millionen Dateien selbst erhebliche I/O-Last erzeugen. Deshalb sollte sie eingegrenzt erfolgen: zuerst bekannte Cache-, Export-, Session- oder Spool-Verzeichnisse untersuchen, statt ohne Vorbereitung den gesamten Host rekursiv zu durchsuchen.

Aufräumen braucht einen fachlichen Rahmen

Viele Dateien bedeuten nicht automatisch, dass sie entbehrlich sind. In einem Mail-Spool, einer Warteschlange oder einem Importverzeichnis können kleine Dateien noch nicht verarbeitete Geschäftsvorgänge repräsentieren. Wer hier nur nach Alter löscht, kann produktive Daten verlieren.

Vor der Bereinigung sollten deshalb drei Fragen beantwortet sein: Welcher Dienst erzeugt die Dateien? Woran erkennt man einen abgeschlossenen Vorgang? Welche Aufbewahrung ist fachlich erforderlich? Erst daraus ergibt sich eine sichere Löschregel.

Eine kontrollierte Maßnahme kann darin bestehen, die Erzeugung neuer temporärer Dateien kurz zu begrenzen und eindeutig verwaiste Arbeitsverzeichnisse schrittweise zu entfernen. Die Anwendung muss anschließend zeigen, dass sie wieder erfolgreich schreiben kann. Es reicht nicht, wenn ein einzelner Kennwert zurückgeht.

Auch nach dem Löschen lohnt sich ein zweiter Blick. Offene, bereits entfernte Dateien können Ressourcen bis zum Schließen des letzten Handles belegen. Ein notwendiger Dienstneustart sollte dann gezielt geplant werden, statt aus Gewohnheit sämtliche Prozesse zu unterbrechen.

Die Anwendung muss ihre Reste beherrschen

Die nachhaltige Korrektur beginnt beim Erzeuger. Temporäre Daten brauchen einen definierten Lebenszyklus, der auch Fehler, Abbrüche und Prozessneustarts berücksichtigt. Eine Bereinigung ausschließlich am Ende eines erfolgreichen Requests lässt genau die problematischen Fälle zurück.

Hilfreich sind klar getrennte Verzeichnisse für aktive und abgeschlossene Arbeiten, nachvollziehbare Statusinformationen und ein wiederholbar ausführbarer Aufräumprozess. Dieser sollte selbst überwacht werden. Ein Bereinigungsjob, der seit Wochen fehlschlägt, ist ein Betriebsfehler mit verzögerter Wirkung.

Auch das Speicherformat gehört auf den Prüfstand. Muss wirklich jeder kleine Zwischenstand eine eigene Datei sein? Je nach Zugriffsmuster können zusammengefasste Artefakte oder eine passende Datenhaltung sinnvoller sein. Diese Entscheidung muss Wiederanlauf, Parallelität und Nachvollziehbarkeit berücksichtigen; allein die Dateianzahl zu reduzieren ist noch kein gutes Design.

Früh erkennen statt regelmäßig freiräumen

Ein brauchbares Monitoring zeigt freie Inodes, freie Datenkapazität und deren Entwicklung pro relevantem Dateisystem. Zusätzlich sollte sichtbar sein, welcher Workload die Veränderung verursacht. Ein Alarm kurz vor vollständiger Erschöpfung lässt oft zu wenig Zeit für die Ursachenanalyse.

Für die Kapazitätsplanung ist die Wachstumsgeschwindigkeit besonders nützlich. Ein Dateisystem mit vielen freien Inodes kann trotzdem kritisch sein, wenn ein neuer Fehler pro Stunde Hunderttausende Dateien erzeugt. Umgekehrt ist eine hohe, über Monate stabile Belegung anders zu bewerten als ein plötzlicher Anstieg.

Nach der Behebung sollte ein Test den ursprünglichen Fehlerpfad nachstellen: Aufträge abbrechen, den Prozess neu starten und anschließend prüfen, ob verwaiste Daten zuverlässig erkannt werden. Damit wird aus einer einmaligen Bereinigung eine überprüfbare Betriebseigenschaft.

Die wichtigste Konsequenz lautet: Speicher ist mehr als eine Zahl in Gigabyte. Wer Dateien erzeugt, muss auch deren Anzahl, Lebensdauer und Bereinigung verantworten. Erst dann beschreibt ein grünes Speicherdashboard die tatsächliche Handlungsfähigkeit der Anwendung.

Eine klare Zuständigkeit verhindert den nächsten Vorfall

Die Verantwortung sollte dabei zwischen Anwendung und Plattform ausdrücklich geklärt sein. Das Plattformteam stellt die Kapazität bereit und meldet ungewöhnliche Entwicklung. Das Anwendungsteam erklärt, welche Dateien aktive Arbeit darstellen und welche sicher entfernt werden dürfen. Beide Informationen werden für eine belastbare Bereinigung benötigt.

Diese Zusammenarbeit lässt sich in einem kurzen Runbook festhalten: betroffener Pfad, erzeugender Dienst, erwartete Dateianzahl, zulässige Aufbewahrung und kontrollierter Bereinigungsweg. Damit muss die nächste Bereitschaft nicht unter Zeitdruck herausfinden, ob ein Verzeichnis wertlose Zwischenstände oder noch offene Kundenaufträge enthält. Die technische Beobachtung wird so mit der fachlichen Bedeutung der Daten verbunden.

Technische Quellen