Die Kubernetes-Integrationskosten: Prometheus, Cilium und die Realität in der Produktion

TL;DR

Die Integration mehrerer CNCF-Projekte in Produktionsumgebungen kann erhebliche versteckte Kosten verursachen, die als “Integration Tax” bezeichnet werden. Diese Kosten entstehen nicht nur durch die Installation und Anpassung der Tools, sondern vor allem durch die notwendige Verbindung und Interaktion der verschiedenen Komponenten. Eine nachhaltige Lösung zur Reduzierung dieser Kosten ist die Implementierung eines GitOps-Ansatzes mit einer klaren Trennung der Repositories.

Hauptinhalt

Die Herausforderungen bei der Integration von CNCF-Projekten in Kubernetes-Umgebungen sind vielfältig und oft unerwartet. Ein Beispiel ist die Interaktion zwischen Prometheus und Cilium, bei der Monitoring-Daten aufgrund fehlender ServiceMonitors in Prometheus nicht angezeigt werden. Solche Probleme verdeutlichen die “Integration Tax”, die den Großteil der Zeit der Plattformteams in Anspruch nimmt. Statt sich auf die individuellen Projekte zu konzentrieren, müssen Teams oft viel Zeit damit verbringen, sicherzustellen, dass die verschiedenen Komponenten miteinander kommunizieren.

In der CNCF-Landschaft gibt es etwa 250 Projekte, wobei die meisten Produktionsumgebungen auf einen Kernstapel von 20 bis 30 cloud-nativen Tools setzen. Zu diesen gehören Prometheus für Monitoring, ArgoCD für GitOps, Cilium für Netzwerkmanagement und andere. Die Installation dieser Tools ist der erste Schritt, doch die eigentliche Herausforderung liegt im “Wiring” – der Integration der Tools, um eine reibungslose Kommunikation zu gewährleisten.

Ein konkretes Beispiel ist der Konflikt zwischen cert-manager und Ingress-Controllern. Der HTTP-01 ACME Challenge von cert-manager erfordert, dass ein Token über HTTP bereitgestellt wird. Wenn jedoch der Ingress-Controller eine globale HTTP-zu-HTTPS-Umleitung erzwingt, schlägt die Validierung stillschweigend fehl. Dies führt zu abgelaufenen TLS-Zertifikaten, die erst bemerkt werden, wenn Kunden Warnungen in ihren Browsern sehen. Eine Lösung besteht darin, DNS-01-Challenges zu verwenden, was jedoch spezifische IAM-Berechtigungen erfordert, die nicht standardmäßig in Helm-Charts konfiguriert sind.

Ein weiteres Beispiel ist das Zusammenspiel von Prometheus und kubelet. kubelet stellt Metriken auf mehreren Endpunkten bereit, die identische Zeitstempel für denselben Prozess ausgeben. Dies führt zu doppelten Proben und einer erhöhten Alarmierung, die oft schwer zu diagnostizieren ist. Die Lösung erfordert spezifische Anpassungen, die nicht offensichtlich sind, wenn man nur die Dokumentation der Projekte betrachtet.

Die Einführung des Cluster API (CAPI) hat die Art und Weise revolutioniert, wie Kubernetes-Cluster über verschiedene Cloud-Anbieter hinweg bereitgestellt werden. CAPI ermöglicht es, Cluster als Kubernetes-native Ressourcen zu verwalten, wodurch die Abhängigkeit von den spezifischen CLI-Tools der Cloud-Anbieter entfällt. Dies erleichtert auch die Durchführung von Upgrades und das Disaster Recovery, da die gesamte Cluster-Konfiguration aus dem Git-Zustand wiederhergestellt werden kann.

Technische Details/Implikationen

Die Implementierung eines GitOps-Ansatzes mit einer klaren Trennung der Repositories hat sich als effektive Methode zur Reduzierung der Integrationskosten erwiesen. Ein dediziertes Plattform-Repository, das über 100 Helm-Charts mit getesteten Standardkonfigurationen enthält, kann dazu beitragen, die Komplexität der Integration zu minimieren. Durch die Vorab-Konfiguration von Cilium NetworkPolicies und Prometheus ServiceMonitors wird sichergestellt, dass diese Komponenten von Anfang an korrekt miteinander kommunizieren.

Diese strukturierte Herangehensweise ermöglicht es Teams, sich auf die Entwicklung und den Betrieb der Anwendungen zu konzentrieren, anstatt zeitaufwändige Integrationsprobleme zu beheben. Die Automatisierung von Day-2-Operationen, wie das Cordon und Draining von Knoten oder das Wiederherstellen von Backups, wird ebenfalls erleichtert.

Fazit/Ausblick

Die Herausforderungen bei der Integration von CNCF-Projekten sind signifikant, können jedoch durch strategische Ansätze wie GitOps und die Verwendung von CAPI effektiv adressiert werden. Zukünftige Entwicklungen in der Kubernetes- und CNCF-Landschaft werden weiterhin darauf abzielen, die Integration und Interoperabilität zu verbessern, um die Effizienz in Produktionsumgebungen zu steigern.