GPU-Autoskalierung auf Kubernetes mit KEDA: Einen externen Scaler erstellen

TL;DR

Die Implementierung eines GPU-Autoscalers für Kubernetes mithilfe von KEDA ermöglicht es, GPU-Arbeitslasten effizient zu skalieren, indem relevante Metriken wie Auslastung, Speicher und Energieverbrauch berücksichtigt werden. Ein benutzerdefinierter DaemonSet sammelt GPU-Daten und stellt diese über ein Netzwerkprotokoll zur Verfügung, um die Skalierung von Anwendungen zu optimieren.

Hauptinhalt

Die Nutzung von GPU-Workloads auf Kubernetes kann herausfordernd sein, insbesondere wenn die Standard-Autoskalierungsmechanismen sich nur auf CPU und Arbeitsspeicher konzentrieren. Diese Diskrepanz führt häufig zu ineffizientem Einsatz von GPU-Ressourcen, was sowohl die Kosten erhöht als auch den Energieverbrauch steigert. Um diesen Herausforderungen zu begegnen, wurde ein Ansatz zur Entwicklung eines externen Scalers für KEDA (Kubernetes Event-driven Autoscaling) vorgestellt, der spezifisch auf GPU-Metriken fokussiert ist.

Ein zentrales Problem bei der Integration von GPU-Metriken in KEDA ist die Notwendigkeit, die NVIDIA Management Library (NVML) zu verwenden, die nicht direkt mit KEDA kompatibel ist, da KEDA mit CGO_ENABLED=0 kompiliert wird. Zudem erfolgt die Kommunikation mit NVML lokal, was bedeutet, dass Metriken nur von der GPU auf dem gleichen Knoten abgerufen werden können. Um diese Einschränkungen zu überwinden, wurde ein benutzerdefinierter DaemonSet entwickelt, der auf jedem GPU-Knoten läuft und die erforderlichen Metriken über gRPC bereitstellt.

In dieser Architektur ruft jeder Pod die NVML auf, um lokale GPU-Metriken zu erfassen und diese über die KEDA ExternalScaler-Schnittstelle verfügbar zu machen. Der KEDA-Operator kann dann auf diese Metriken zugreifen, um Entscheidungen zur Horizontal Pod Autoscaling (HPA) zu treffen. Die gesammelten Metriken umfassen unter anderem die GPU-Auslastung, den Speicherverbrauch, die Temperatur und den aktuellen Energieverbrauch.

Für Multi-GPU-Knoten können verschiedene Aggregationsmethoden wie Maximum, Minimum, Durchschnitt oder Summe gewählt werden. Um den Einstieg zu erleichtern, wurden vordefinierte Profile für gängige GPU-Arbeitslasten erstellt, die Standardwerte für die Skalierung festlegen.

Technische Details/Implikationen

Die Architektur des GPU-Autoscalers ermöglicht eine detaillierte Überwachung und Anpassung der Ressourcennutzung in Echtzeit. Die Verwendung von gRPC für die Kommunikation zwischen den DaemonSets und dem KEDA-Operator stellt sicher, dass die Skalierung effizient und skalierbar ist. Entwickler und IT-Entscheider können die vordefinierten Profile anpassen oder eigene Metriken und Schwellenwerte definieren, um spezifische Anforderungen ihrer Anwendungen zu erfüllen. Darüber hinaus bietet der Mock-Collector-Modus die Möglichkeit, die Funktionalität des Scalers ohne physische GPU-Hardware zu testen, was die Integration und Validierung im Entwicklungsprozess erleichtert.

Fazit/Ausblick

Die Entwicklung eines GPU-Autoscalers für Kubernetes mit KEDA stellt einen bedeutenden Schritt in Richtung effizienter Ressourcennutzung in Cloud-nativen Umgebungen dar. Die Möglichkeit, GPU-spezifische Metriken zu integrieren, wird Unternehmen helfen, ihre KI- und ML-Anwendungen effektiver zu skalieren und gleichzeitig Kosten und Umweltbelastungen zu reduzieren. Die offene Architektur ermöglicht es, weitere Anpassungen vorzunehmen und neue Technologien in bestehende Systeme zu integrieren.