Was ist Container Monitoring?
Unter Container-Monitoring versteht man die kontinuierliche Erfassung von Metriken und die Verfolgung des Zustands von containerisierten Anwendungen und Microservices-Umgebungen, um ihren Zustand und ihre Leistung zu verbessern und ihren reibungslosen Betrieb sicherzustellen. Container haben sich zu einer der beliebtesten Methoden für die Bereitstellung von Anwendungen entwickelt und bringen Vorteile mit sich, wie z. B. die Erleichterung der Portabilität von Anwendungen und die Verbesserung der betrieblichen Ausfallsicherheit. In der 2018 durchgeführten Umfrage der Cloud Native Computing Foundation (CNCF) gaben 73 % der Befragten an, dass sie derzeit Container in der Produktion einsetzen, um die Agilität zu erhöhen und das Innovationstempo zu beschleunigen. Container-Monitoring ist eine Untergruppe von Observability - ein Begriff, der oft neben Monitoring verwendet wird und auch Log-Aggregation und -Analysen, Tracing, Benachrichtigungen und Visualisierungen umfasst. Im Vergleich zu herkömmlichen Überwachungslösungen bieten moderne Überwachungslösungen robuste Funktionen zum Aufspüren potenzieller Fehler sowie granulare Einblicke in das Containerverhalten. Auf dieser Seite erfahren Sie, warum, wann und wie Sie Ihre Container überwachen sollten, und auf welche Herausforderungen und Lösungen Sie achten sollten.
Warum sollten Sie Ihre Container überwachen?
Der Einblick in Metriken, Protokolle und Traces ist für Betreiber von Container-Plattformen von großem Nutzen. Das Verständnis dessen, was nicht nur auf Cluster- oder Host-Ebene, sondern auch innerhalb der Container-Laufzeit und -Anwendung geschieht, hilft Unternehmen dabei, besser informierte Entscheidungen zu treffen, z. B. wann Instanzen/Aufgaben/Pods ein- und ausgesteuert werden sollen, wann Instanztypen geändert werden sollen und wann Kaufoptionen (On-Demand, reserviert und Spot) bestehen. DevOps- oder Systemingenieure können auch die Effizienz verbessern und die Lösungsfindung beschleunigen, indem sie Automatisierungen hinzufügen, z. B. durch die Verwendung von Warnmeldungen zur dynamischen Auslösung von Skalierungsvorgängen. Durch die aktive Überwachung der Speicherauslastung können Sie beispielsweise einen Schwellenwert ermitteln und Betreiber benachrichtigen, wenn sich der Ressourcenverbrauch den Ressourcengrenzen nähert, oder Sie können automatisch zusätzliche Knoten hinzufügen, bevor die verfügbare CPU- und Speicherkapazität erschöpft ist. Wenn Sie eine Regel festlegen, die z. B. bei einer Auslastung von 70 % einen Alarm auslöst, können Sie dem Cluster dynamisch Instanzen hinzufügen, wenn der Schwellenwert erreicht ist.
Herausforderungen bei der Container-Überwachung
Trotz der Beliebtheit von Containern für die Bereitstellung moderner Anwendungen ergab die CNCF-Umfrage 2018, dass 34 % der Befragten die Überwachung als eine der größten Herausforderungen bei der Einführung von Containern nannten. Die Einführung eines Container-Überwachungssystems ist im Vergleich zu einer herkömmlichen Überwachungslösung für virtualisierte Infrastrukturen mit einzigartigen Herausforderungen verbunden. Zu diesen Herausforderungen gehören:
Container sind kurzlebig
Sie lassen sich schnell bereitstellen und ebenso schnell wieder zerstören. Dieses Verhalten ist einer der Hauptvorteile bei der Verwendung von Containern, aber es kann schwierig sein, Änderungen zu verfolgen, insbesondere in komplexen Systemen mit hoher Fluktuation.
Container teilen sich Ressourcen
Ressourcen wie Arbeitsspeicher und CPU werden von einem oder mehreren Hosts gemeinsam genutzt, was die Überwachung des Ressourcenverbrauchs auf dem physischen Host erschwert und somit einen guten Überblick über die Leistung der Container oder den Zustand der Anwendung erschwert.
Unzureichendes Tooling
Herkömmliche Überwachungsplattformen, selbst solche, die sich gut für virtualisierte Umgebungen eignen, bieten unter Umständen keinen ausreichenden Einblick in Metriken, Protokolle und Traces, die für die Überwachung und Fehlersuche in Bezug auf den Zustand und die Leistung von Containern erforderlich sind.
Optionen für Überwachungslösungen
Um Entwicklungszyklen zu beschleunigen und Governance in ihre Pipelines für kontinuierliche Integration und kontinuierliche Lieferung (CI/CD) einzubauen, können Teams reaktive Tools und Skripte in ihre Standard-Devops-Orchestrierung einbauen, indem sie Metriken aus ihrer Überwachungslösung nutzen oder Community-Projekte wie AutoPilot von Portworx zur Hilfe nehmen. Autopilot ist eine Überwachungs- und Reaktions-Engine. Sie beobachtet die Metriken der von ihr überwachten Anwendungen und reagiert auf der Grundlage bestimmter Bedingungen, die in diesen Metriken erfüllt sind, und ändert die Laufzeitumgebung der Anwendung. Es wurde für die Überwachung von zustandsabhängigen Anwendungen entwickelt, die auf Kubernetes bereitgestellt werden, und ist ein gutes Beispiel für ein Projekt, das es Unternehmen erleichtern soll, metrikbasierte Entscheidungen zu treffen und ihre betriebliche Resilienz zu stärken.
Unternehmen, die in Chaos Engineering investiert haben, müssen Fehlerbereiche isolieren und profilieren, um ihre Tools für die Risikoresilienz zu ergänzen. Chaos Monkey, das ursprünglich von Netflix entwickelt wurde, beendet nach dem Zufallsprinzip virtuelle Maschineninstanzen und Container, die in Ihrer Produktionsumgebung laufen. Auf diese Weise werden die Ingenieure häufiger mit Fehlern konfrontiert und können belastbare Dienste entwickeln. Wenn man einem System Ausfälle zufügt, aber keine guten Metriken hat, mit denen man sie verfolgen kann, bleibt eigentlich nur das Chaos.
Die Open-Source-Datenreihen-Visualisierungssuite Grafana ist in vielen Szenarien eine gute Wahl, da sie eine lange Liste von Datenquellen unterstützt, darunter Prometheus, Graphite und Amazon CloudWatch, um nur einige zu nennen. Während die Kernkompetenz von Grafana bisher in der Visualisierung und Alarmierung von Metriken lag, ermöglicht die kürzlich hinzugefügte Unterstützung für Logs Analytics mit Datenquellen für InfluxDB und Elasticsearch die Korrelation von Metrikdaten mit Log-Events und bietet eine verbesserte Ursachenanalyse. Neben Grafana gibt es viele kostenpflichtige Lösungen für das Container-Monitoring, die jedoch in der Regel die Verwendung spezifischer Agenten oder Datensammlungsprotokolle erfordern.
Wie funktioniert die Container-Überwachung?
Die Verknüpfung unterschiedlicher Messdatenquellen erfordert eine robuste Infrastrukturüberwachungsplattform, die einen einzigen Überblick über die Daten aus verschiedenen Quellen bietet. Es erfordert auch viel Überlegung und Planung von Ihrem Anwendungsentwicklungsteam, um sicherzustellen, dass die Daten korreliert werden können, um ein einfaches Debugging von Anfang bis Ende zu ermöglichen.
Konzeptuell werden containerisierte Anwendungen auf ähnliche Weise überwacht wie herkömmliche Anwendungen. Es werden Daten auf verschiedenen Ebenen des Stacks für unterschiedliche Zwecke benötigt. Sie messen und sammeln Metrikdaten sowohl im Container selbst als auch auf der Infrastrukturebene für ein besseres Ressourcenmanagement, z. B. bei Skalierungsaktivitäten. Außerdem benötigen Sie anwendungsspezifische Daten, ein Leistungsmanagement der Anwendung und Tracing-Informationen für die Fehlersuche in der Anwendung.
Robuste Beobachtbarkeit und einfaches Debugging sind der Schlüssel zum Aufbau einer Microservices-Architektur. Mit dem Wachstum Ihres Systems steigt auch die Komplexität bei der Überwachung der gesamten Anwendung. Traditionell würden Sie einen unabhängigen Dienst erstellen, der einen einzigen Zweck erfüllt und mit anderen Diensten kommuniziert, um eine größere Aufgabe zu erfüllen. Mithilfe eines SDK-Ansatzes können Sie Dienste so erstellen, dass sie neben der Geschäftslogik auch Netzwerkfunktionen wie die Kommunikation zwischen Diensten, Verkehrssteuerung, Wiederholungslogik und vieles mehr enthalten. Diese Aufgaben werden jedoch sehr komplex, wenn Sie Hunderte von Diensten haben, die verschiedene Programmiersprachen in unterschiedlichen Teams verwenden. An dieser Stelle kommt Service Mesh ins Spiel.
Source: AWS
Ein Service Mesh verwaltet die Kommunikationsschicht Ihres Microservices-Systems durch die Implementierung einer Softwarekomponente als Sidecar-Proxy. Diese Softwarekomponente führt Netzwerkfunktionen, Verkehrssteuerung, Verfolgung und Protokollierung durch. Jeder Dienst hat seinen eigenen Proxy-Dienst und alle Proxy-Dienste bilden das Mesh. Jeder Dienst kommuniziert nicht direkt mit anderen Diensten, sondern nur mit seinem eigenen Proxy. Die Kommunikation zwischen den Diensten findet zwischen den Proxys statt. So sieht die Architektur aus:
Source: AWS
Mit einem Service Mesh können Sie ein Netzwerk von Microservices aufbauen und den größten Teil der Netzwerkschicht auslagern, um die Verwaltung und Beobachtbarkeit zu optimieren. Wenn Probleme auftreten, können Sie die Ursache des Problems schnell ermitteln. Hier sind einige der Vorteile der Verwendung von Service Mesh:
- Sicherstellung einer konsistenten Kommunikation zwischen den Diensten.
- Vollständige Transparenz der End-to-End-Kommunikation.
- Kontrolle des Datenverkehrs in der gesamten Anwendung, z. B. Lastausgleich, Skalierung und Verkehrslenkung während der Bereitstellung.
- Einblick in Metriken, Protokollierung und Nachverfolgung in den Stacks.
- Rationalisierung der Netzwerkschicht und der Implementierung der verteilten Architektur, z. B. Wiederholungen, Ratenbegrenzung und Unterbrechung von Verbindungen außerhalb der Geschäftslogik.
- Es ist unabhängig von der Dienstplattform, so dass Sie Dienste in jeder beliebigen Programmiersprache erstellen können.
- Eine der beliebtesten Implementierungen des Sidecar-Proxys für ein Dienstnetz ist Envoy. Envoy ist ein leistungsstarker verteilter C++-Proxy, der ursprünglich bei Lyft entwickelt wurde. Envoy läuft neben jedem Dienst und bietet allgemeine Netzwerkfunktionen auf plattformunabhängige Weise. Es ist in sich geschlossen und benötigt nur sehr wenig Speicherplatz (8 MB). Es unterstützt fortschrittliche Lastausgleichsfunktionen wie automatische Wiederholungsversuche, Unterbrechung von Verbindungen, Ratenbegrenzung und so weiter. Während der Dienstverkehr durch das Netz fließt, bietet Envoy tiefe Beobachtbarkeit des L7-Verkehrs (Anwendungsschicht), native Unterstützung für verteiltes Tracing und Beobachtbarkeit des Systems auf Leitungsebene.
Source: AWS
Ein letzter Tipp
Der Zweck der Überwachung Ihrer Anwendung besteht darin, Überwachungs- und Betriebsdaten in Form von Protokollen, Metriken, Ereignissen und Traces zu sammeln, um Probleme schnell zu erkennen und darauf zu reagieren und Unterbrechungen zu minimieren. Wenn Ihr Überwachungssystem gut funktioniert, sollten Sie idealerweise in der Lage sein, auf einfache Weise Alarme zu erstellen und automatische Aktionen durchzuführen, wenn Schwellenwerte erreicht werden. In den meisten Fällen sind statische Alarme ausreichend, aber für Anwendungen, die ein organisches Wachstum, ein zyklisches oder saisonales Verhalten aufweisen (z. B. Anfragen, die tagsüber Spitzenwerte erreichen und nachts abklingen), sind mehr Überlegungen und Kenntnisse erforderlich, um den Schwellenwert für die Implementierung eines wirksamen statischen Alarms zu definieren. Die allgemeine Herausforderung besteht darin, den richtigen Schwellenwert zu finden - entweder ist er zu weit gefasst und birgt das Risiko, dass Probleme übersehen werden, oder er ist zu eng gefasst und verursacht zu viele Fehlalarme.
Dieses Rätsel lässt sich durch maschinelles Lernen lösen. Viele Überwachungstools verfügen inzwischen über diese Fähigkeit, um zu lernen, was die normale Basislinie ist, und anomales Verhalten in den Daten zu erkennen, wenn es auftritt. Das Tool kann sich an metrische Trends und saisonale Schwankungen anpassen, um die dynamische Natur des System- und Anwendungsverhaltens kontinuierlich zu überwachen, und sich automatisch an Situationen wie tageszeitliche Auslastungsspitzen anpassen. Mit maschinellem Lernen können Sie Laufzeitprobleme früher erkennen und so System- und Anwendungsausfallzeiten reduzieren.
