Ephemeral Storage im Kubernetes-Betrieb verstehen
Lesezeit: ca. 5–6 Minuten
Die Datenbank schreibt auf ein Persistent Volume. Auch die hochgeladenen Dateien liegen auf einem eigenen Speicher. Trotzdem meldet ein Kubernetes-Node DiskPressure. Pods werden beendet, neue Container starten nicht zuverlässig, und das Team sucht nach einem überraschend großen Datenbestand auf der Systemplatte.
Die Erklärung liegt häufig in Daten, die außerhalb der bewusst geplanten persistenten Ablage entstehen. Container-Logs, temporäre Arbeitsdateien und beschreibbare Container-Schichten benötigen ebenfalls Platz. Ein Persistent Volume deckt nur die Pfade ab, die tatsächlich dorthin gemountet und von der Anwendung genutzt werden. Alles andere muss gesondert betrachtet werden.
Persistente Daten sind nur ein Teil der Speicherbilanz
Eine Anwendung kann ihre fachlichen Daten korrekt auf einem Volume ablegen und gleichzeitig große lokale Zwischenstände erzeugen. Ein Import entpackt Dateien, ein Export rendert Dokumente, ein Webserver schreibt ausführliche Logs. Diese Daten sind möglicherweise kurzlebig, ihre Kapazitätswirkung ist dennoch real.
Kubernetes unterscheidet lokalen ephemeren Speicher unter anderem für beschreibbare Container-Schichten, Logs und nicht speicherbasierte emptyDir-Volumes. Ein emptyDir mit medium: Memory wird dagegen als Speichernutzung behandelt. Diese Unterscheidung ist wichtig: Die Verschiebung temporärer Daten ins RAM beseitigt ihren Ressourcenbedarf nicht.
Daneben belegen auch Container-Images und Systemdienste lokale Dateisysteme. Welche Bereiche getrennt sind und wie sie erfasst werden, hängt vom Node-Layout, der Runtime und der Kubernetes-Konfiguration ab. Ein einzelner Wert „Platte frei“ beschreibt diese Struktur nur unzureichend.
Ein Fehler kann sich durch Logs verstärken
Ein illustratives Szenario: Eine Anwendung verliert die Verbindung zu einem externen Dienst. Jeder fehlgeschlagene Versuch erzeugt einen umfangreichen Stacktrace. Der Fehler wiederholt sich tausendfach. Die eigentliche fachliche Datenmenge bleibt unverändert, aber die lokalen Container-Logs wachsen schnell.
Parallel versucht ein Log-Agent, die Daten weiterzuleiten. Wenn auch sein Ziel langsam oder nicht erreichbar ist, können zusätzliche Puffer entstehen. Ob und wo diese Puffer lokal gespeichert werden, hängt vom eingesetzten Agenten ab und muss bekannt sein.
Damit wird aus einer externen Störung ein lokaler Kapazitätsvorfall. Der Node gerät unter Druck, weitere Pods sind betroffen, und die ursprüngliche Ursache wird durch neue Symptome überlagert. Der Umgang mit Fehlerlogs ist deshalb Bestandteil der Resilienz einer Plattform.
Der tatsächliche Schreibpfad zählt
Bei der Diagnose sollten zunächst die größten Veränderungen zeitlich eingegrenzt werden. Seit wann sinkt der freie Platz? Welche Deployments, Jobs oder Fehler traten davor auf? Betrifft es alle Nodes oder nur einen bestimmten Workload-Standort?
Anschließend wird geprüft, wo die Anwendung wirklich schreibt. Eine Konfiguration kann ein Volume vorsehen, während ein neuer Codepfad seine temporären Daten weiterhin unter /tmp ablegt. Auch ein falscher Mount-Pfad kann dazu führen, dass Dateien in der beschreibbaren Container-Schicht landen.
Die Untersuchung sollte Container, Pod und Node miteinander verbinden. Nur im Anwendungscontainer nach großen Dateien zu suchen, übersieht möglicherweise Runtime-Logs und lokale Images. Nur auf dem Node zu suchen, erschwert dagegen die Zuordnung zum verursachenden Dienst.
Requests und Limits geben einen Rahmen
Für lokalen ephemeren Speicher können Requests und Limits konfiguriert werden. Requests helfen bei der Platzierung, Limits beschreiben den erlaubten Verbrauch. Die tatsächliche Erfassung setzt jedoch ein unterstütztes und korrekt eingerichtetes Speicherlayout voraus. Die Kubernetes-Dokumentation weist darauf hin, dass fehlende Messung auch die Durchsetzung beeinflusst.
Ein Limit wirkt außerdem nicht wie eine exakt an jedem Schreibvorgang geprüfte Dateisystemquote. Die Erkennung und Reaktion erfolgen über die Kubernetes-Mechanismen. Deshalb darf die Node-Kapazität nicht ohne Reserve bis an die Summe theoretischer Grenzen verplant werden.
Die Werte sollten aus beobachtetem Verhalten entstehen. Relevant sind nicht nur der Normalbetrieb, sondern auch Exporte, große Uploads, Fehlerphasen und Wiederanlauf. Ein temporärer Vorgang kann den höchsten Verbrauch verursachen, obwohl er nur selten ausgeführt wird.
Was DiskPressure praktisch bedeutet
Der Kubelet beobachtet bestimmte Ressourcensignale und kann bei Speicherdruck Maßnahmen zur Rückgewinnung ergreifen. Dazu gehört je nach Situation auch die Beendigung von Pods. Die Dokumentation zur Node-pressure Eviction unterscheidet dabei relevante Dateisysteme und Signale für freie Kapazität beziehungsweise Inodes.
Für die Anwendung ist wichtig, dass ein plötzlich beendeter Pod seine temporären Arbeiten verlieren kann. Eine zuverlässig betriebene Verarbeitung muss damit umgehen können. „Die Daten waren nur temporär“ bedeutet nicht automatisch, dass ihr Verlust fachlich folgenlos ist.
Ein Export sollte beispielsweise erkennen können, ob sein Ergebnis vollständig ist. Ein Import muss nach einem Abbruch einen definierten Zustand hinterlassen. Sonst entsteht aus dem Kapazitätsproblem zusätzlich ein Problem mit unvollständigen oder doppelt ausgeführten Vorgängen.
Kontrolliert Platz schaffen
Im Incident ist zunächst festzustellen, welche Daten gefahrlos entfernt werden können. Runtime-Verzeichnisse enthalten verwaltete Zustände und sollten nicht wahllos manuell geleert werden. Ein vermeintlich schneller Eingriff kann laufende Container oder spätere Bereinigungen beeinträchtigen.
Geeignete Maßnahmen hängen vom Verursacher ab: Einen ausufernden Job stoppen, eine fehlerhafte Logschleife begrenzen, dokumentierte Garbage-Collection-Verfahren nutzen oder eindeutig verwaiste Arbeitsdaten kontrolliert entfernen. Dabei sollte die Ursache parallel behoben werden, sonst ist der gewonnene Platz schnell wieder verbraucht.
Auch die Wiederaufnahme braucht Aufmerksamkeit. Wenn viele verdrängte Pods gleichzeitig neu starten, können Image-Downloads und erneute Aufträge unmittelbar neue Last erzeugen. Ein geordneter Wiederanlauf ist deshalb Teil der Reparatur und nicht nur deren automatische Folge.
Datenlebenszyklen sichtbar machen
Jeder relevante Schreibpfad sollte einen bekannten Zweck und eine definierte Lebensdauer haben. Wer erzeugt die Daten? Wann werden sie gelöscht? Was passiert bei einem Abbruch? Wie groß darf der Bestand werden? Diese Fragen gehören in die Betriebsbeschreibung der Anwendung.
Für Logs kommen Rotation, Aufbewahrung und Verhalten bei einem ausgefallenen zentralen Ziel hinzu. Eine zentrale Logging-Plattform ersetzt lokale Grenzen nicht. Der Node muss auch dann handlungsfähig bleiben, wenn die Weiterleitung vorübergehend nicht funktioniert.
Bei großen temporären Arbeiten kann ein gezielt dimensionierter Speicherbereich sinnvoll sein. Er erleichtert die Kapazitätsplanung und verhindert, dass unkontrollierte Arbeitsdateien dieselbe kleine Systempartition wie kritische Node-Komponenten beanspruchen. Die passende Lösung hängt vom Workload ab.
Den Fehlerfall mitmessen
Ein realistischer Test sollte den größten vorgesehenen Job ausführen und gleichzeitig beobachten, welche lokalen Bereiche wachsen. Danach wird geprüft, ob der Verbrauch wieder auf das erwartete Niveau zurückkehrt. Ein erfolgreicher Job mit dauerhaft zurückbleibenden Zwischenständen ist noch kein vollständiger Erfolg.
Zusätzlich lohnt sich ein kontrollierter Abbruch. Gerade dann zeigt sich, ob Bereinigung nur im idealen Ablauf funktioniert. Auch ein gestörter Logtransport kann in einer Testumgebung sichtbar machen, ob lokale Puffer begrenzt sind und welche Daten bei Erreichen der Grenze verloren gehen.
Persistente Volumes schützen und organisieren wichtige Daten. Sie nehmen dem Node jedoch nicht jede Speicherarbeit ab. Ein belastbares Speicherkonzept umfasst deshalb auch die kurzlebigen Daten, ihre Spitzen und ihren Fehlerfall. Erst diese vollständige Bilanz erklärt, warum ein Node trotz korrekt angebundener Volumes ausreichend Reserve besitzt.