Gelöscht heißt nicht weg

Warum Kubernetes-Ressourcen auf Terminating hängen

Warum Kubernetes-Ressourcen auf Terminating hängen

Lesezeit: ca. 5–6 Minuten

Der Löschbefehl wurde ausgeführt. Kubernetes hat ihn angenommen. Trotzdem steht die Ressource Minuten später noch in der Übersicht. Ein Namespace bleibt auf Terminating, ein Volume verschwindet nicht, und der nächste Deployment-Schritt wartet. Die naheliegende Reaktion lautet häufig: mit mehr Nachdruck löschen.

Genau hier lohnt sich eine Pause. In Kubernetes ist Löschen oft ein koordinierter Prozess. Neben dem API-Objekt müssen möglicherweise externe Ressourcen aufgeräumt, Abhängigkeiten geprüft oder laufende Arbeiten beendet werden. Solange diese Schritte nicht abgeschlossen sind, kann das Objekt bewusst erhalten bleiben. Ein Finalizer ist ein Mechanismus, mit dem solche Bedingungen abgesichert werden.

Ein Löschwunsch ist noch kein Abschluss

Wenn ein Objekt mit Finalizern gelöscht werden soll, setzt die Kubernetes API einen deletionTimestamp. Das Objekt bleibt zunächst vorhanden. Der zuständige Controller soll seine Aufräumarbeit erledigen und anschließend den entsprechenden Finalizer entfernen. Erst wenn die Bedingungen erfüllt sind, kann die endgültige Entfernung erfolgen.

Ein Finalizer ist dabei kein ausführbares Skript im Objekt. Er ist eine Kennzeichnung, auf die ein Controller reagiert. Wenn dieser Controller nicht läuft, keine Berechtigung hat oder eine externe API nicht erreicht, bleibt die Kennzeichnung bestehen. Die offizielle Kubernetes-Dokumentation beschreibt diesen Ablauf ausdrücklich als Teil des Löschprozesses.

Das erklärt, warum wiederholte Löschbefehle häufig nichts verändern. Der Löschwunsch ist längst bekannt. Es fehlt die erfolgreiche Bearbeitung der zugehörigen Voraussetzung.

Ein Beispiel mit einer externen Ressource

Angenommen, ein Operator verwaltet für eine Anwendung einen externen Speicherbereich. Das Kubernetes-Objekt beschreibt diesen Speicher. Bei seiner Entfernung soll der Operator abhängig von der konfigurierten Richtlinie auch die externe Ressource bereinigen oder ihre weitere Behandlung dokumentieren.

Nun wird zuerst der Operator deinstalliert und anschließend sein verwaltetes Objekt gelöscht. Der Finalizer bleibt bestehen, aber niemand bearbeitet ihn mehr. Das Objekt wirkt festgefahren. Tatsächlich ist der vorgesehene Lebenszyklus unterbrochen worden.

Wird der Finalizer jetzt blind entfernt, kann das API-Objekt verschwinden, während der externe Speicher weiter existiert. Je nach Ressource entstehen Kosten, verwaiste Zugänge oder unklare Besitzverhältnisse. Die sichtbare Aufräumarbeit im Cluster wäre abgeschlossen, die tatsächliche Infrastruktur jedoch nicht.

Nicht jedes Terminating ist ein Finalizer-Problem

Der Status allein genügt nicht für eine Diagnose. Bei Pods können auch laufende Shutdown-Schritte, nicht erreichbare Nodes oder Probleme beim Volume-Abbau relevant sein. Ein Namespace bringt zusätzliche Besonderheiten mit, weil seine Inhalte über verschiedene API-Ressourcen hinweg ermittelt und entfernt werden müssen.

Deshalb beginnt die Untersuchung mit dem konkreten Objekttyp. Welche Phase wird angezeigt? Seit wann existiert der Löschzeitstempel? Welche Finalizer sind gesetzt? Welche Events und Conditions liegen vor? Bei Namespaces sind insbesondere die Conditions hilfreich, um Probleme bei Discovery oder verbliebenen Inhalten einzugrenzen.

Die Kubernetes-Dokumentation zur Pod-Terminierung und die produktspezifischen Troubleshooting-Hinweise unterscheiden diese Ursachen. Das verhindert, dass jede verzögerte Löschung mit derselben pauschalen Maßnahme behandelt wird.

Den verantwortlichen Controller finden

Ein erster lesender Blick kann über kubectl get im YAML-Format erfolgen. Bei einem Pod wären beispielsweise metadata.deletionTimestamp, metadata.finalizers und die Statusinformationen interessant. kubectl describe ergänzt Events und weitere Zusammenhänge.

Anschließend muss der Finalizer einem Verantwortlichen zugeordnet werden. Der Name liefert oft einen Hinweis auf den Operator oder die Komponente. Deren Dokumentation und Logs zeigen, welche Aufräumaktion erwartet wird. Auch Owner-Referenzen können helfen, die Beziehung zu übergeordneten Ressourcen zu verstehen.

Im nächsten Schritt wird die eigentliche Blockade geprüft: Läuft der Controller? Hat er Zugriff auf die Kubernetes API? Sind externe Zugangsdaten noch gültig? Ist eine Provider-API erreichbar? Wurde eine Berechtigung geändert? Die Antwort darauf ist meist hilfreicher als ein stärkerer Löschbefehl.

Den Ablauf möglichst wiederherstellen

Wenn der zuständige Controller fehlt, kann seine kontrollierte Wiederherstellung der sauberste Weg sein. Voraussetzung ist, dass Version, Konfiguration und verwaltete Ressourcen zusammenpassen. Ein beliebiger neuer Operator ist kein sicherer Ersatz für den bisherigen Lebenszyklus.

Bei einem Berechtigungs- oder Erreichbarkeitsproblem sollte zunächst dieser Fehler korrigiert werden. Danach kann der Controller die vorgesehene Bereinigung selbst abschließen. Das erhält die Nachvollziehbarkeit und reduziert das Risiko, versteckte Abhängigkeiten zu übergehen.

Eine gute Reparatur wird nicht nur daran gemessen, ob das Objekt verschwindet. Sie überprüft auch die externe Wirkung: Wurde der Loadbalancer entfernt? Ist das Volume noch vorhanden? Bleibt eine Rechnung erzeugende Ressource zurück? Stimmen die vorgesehenen Aufbewahrungsregeln?

Wann ein manueller Eingriff vertretbar ist

Es gibt Situationen, in denen der normale Ablauf nicht mehr hergestellt werden kann. Dann kann das gezielte Entfernen eines Finalizers notwendig sein. Voraussetzung ist eine verstandene und dokumentierte Ersatzhandlung für die eigentlich vorgesehene Aufräumarbeit.

Dazu gehört, den Zustand der externen Ressource zu prüfen, die Konsequenz der Entfernung zu kennen und gegebenenfalls die Bereinigung außerhalb des Controllers durchzuführen. Ein solcher Eingriff sollte sich auf das betroffene Objekt und den konkret verstandenen Finalizer beschränken.

Bei einem zwangsweise entfernten Pod ist außerdem die Unterscheidung zwischen API-Zustand und laufendem Prozess wichtig. Die API kann ein Objekt entfernen, ohne vom nicht erreichbaren Node eine Bestätigung über das tatsächliche Prozessende zu haben. Das ist besonders bei zustandsbehafteten Anwendungen relevant.

Deinstallation als geplanten Prozess behandeln

Viele solcher Vorfälle entstehen bei Aufräumarbeiten. Ein Helm-Release wird entfernt, eine Umgebung abgeschaltet oder ein Operator durch einen anderen ersetzt. Der Blick richtet sich auf die Installation des Nachfolgers, während der Abbau der bisherigen Ressourcen nur nebenbei geplant wird.

Ein besserer Ablauf prüft zuerst die verwalteten Objekte, ihre Aufbewahrungsregeln und die erforderlichen Controller. Erst wenn deren Aufgaben abgeschlossen sind, werden die Komponenten entfernt, die diese Aufgaben ausführen. Die Reihenfolge ist Teil der Betriebsanleitung.

Für wiederkehrende Testumgebungen lohnt sich ein automatisierter Abnahmetest: Umgebung erstellen, typische Ressourcen anlegen, kontrolliert löschen und anschließend sowohl den Cluster als auch externe Systeme auf Reste prüfen. Damit wird der gesamte Lebenszyklus getestet, nicht nur die erfolgreiche Bereitstellung.

Ein hängendes Objekt ist häufig ein Hinweis auf unerledigte Arbeit. Wer diese Arbeit identifiziert, behebt die Ursache. Wer nur die Anzeige bereinigt, kann das Problem außerhalb des Clusters weiterbestehen lassen.

Den erfolgreichen Abbau dokumentieren

Nach einer ungewöhnlichen Löschung sollte der Abschluss nachvollziehbar festgehalten werden. Dazu gehören das betroffene Objekt, der verantwortliche Controller und die tatsächlich durchgeführten externen Schritte. Falls eine Ressource bewusst erhalten bleibt, braucht sie einen neuen klaren Besitzer und eine Erklärung für ihre weitere Nutzung.

Diese Dokumentation ist besonders bei Teamwechseln und abgeschalteten Testumgebungen hilfreich. Sonst taucht Wochen später eine Rechnung oder ein Speicherbestand auf, dessen Ursprung niemand mehr zuordnen kann. Ein sauberer Abbau endet deshalb mit einer überprüften Bestandslage und nicht lediglich mit einer leeren Ausgabe von kubectl.

Technische Quellen