Aufbau von Jaegers ClickHouse-Backend: 8,6× Kompression bei 10 Millionen Spans

TL;DR

Die Integration von ClickHouse in Jaeger v2.18.0 ermöglicht eine effiziente Speicherung und Abfrage von Tracedaten mit einer beeindruckenden Kompression von 8,6×. ClickHouse, als spaltenorientierte OLAP-Datenbank, bietet hohe Schreibgeschwindigkeiten und schnelle analytische Abfragen, was insbesondere für die Überwachung komplexer Microservices von Bedeutung ist.

Hauptinhalt

Jaeger, eine verteilte Tracing-Plattform der Cloud Native Computing Foundation (CNCF), hat mit der Version 2.18.0 die Unterstützung für ClickHouse eingeführt. Diese Entscheidung basiert auf den wiederholten Anfragen der Nutzer nach einer leistungsfähigen Speicherlösung für Tracedaten. ClickHouse ist speziell für die Anforderungen von Telemetrie und Big Data ausgelegt, indem es große, append-only Schreibströme effizient verarbeiten und komplexe analytische Aggregationen in Millisekunden durchführen kann.

Die Hauptproblematik beim Tracing besteht darin, große Mengen semi-strukturierter Ereignisdaten zu speichern und diese schnell nach verschiedenen Dimensionen zu durchsuchen. Bisherige Lösungen wie Cassandra und Elasticsearch haben ihre Dienste geleistet, bringen jedoch hohe operationale Kosten und Komplexität beim Skalieren mit sich. ClickHouse hingegen bietet eine spaltenorientierte Speicherung, die sich besonders gut für die repetitiven Muster von Tracedaten eignet. Diese Wiederholungen, wie etwa häufige Dienstnamen und Statuscodes, werden durch die spaltenorientierte Struktur optimal komprimiert.

Ein bemerkenswerter Vorteil von ClickHouse ist die signifikante Kompression der Tracedaten. In Benchmarks wurde ein Kompressionsverhältnis von 8,6× auf der Spans-Tabelle erreicht, was vor allem auf die Wiederholung von Werten in den Spalten zurückzuführen ist. Diese Effizienz ermöglicht es, Tracedaten nicht nur zu speichern, sondern auch in Echtzeit zu analysieren. Jaeger v2.18.0 bietet nun native ClickHouse-Methoden zur Leistungsüberwachung, die es Teams erlauben, zentrale Gesundheits- und Leistungsmetriken direkt aus ihren Tracedaten zu generieren, ohne auf externe Metrik-Pipelines angewiesen zu sein.

Technische Details/Implikationen

Die Entwicklung des Schemas für ClickHouse war eine komplexe Aufgabe, da es optimiert werden musste für die häufigsten Abfragemuster von Jaeger, wie die Suche nach Trace-IDs, Service- und Operationsnamen sowie Zeitbereichsabfragen. Die Wahl des Primärschlüssels ist entscheidend, da dieser nicht nur die Sortierreihenfolge auf der Festplatte definiert, sondern auch die Effizienz der Abfragen beeinflusst. Es standen zwei Strategien zur Auswahl: eine Optimierung für die Rückgabe von Traces oder eine Optimierung für Suchanfragen. Letztendlich wurde die Entscheidung getroffen, den Primärschlüssel nach (service_name, name, start_time) zu sortieren, um die Suchperformance zu verbessern, was jedoch die Rückgabe von Traces beeinträchtigen kann.

Darüber hinaus wurde das Schema so gestaltet, dass es den Anforderungen des OpenTelemetry-Datenmodells entspricht, was zusätzliche Anpassungen erforderte. Diese Entscheidungen sind in einem detaillierten Dokument festgehalten, das die Architekturentscheidungen für die Implementierung von ClickHouse in Jaeger beschreibt.

Fazit/Ausblick

Die Integration von ClickHouse in Jaeger stellt einen bedeutenden Fortschritt für die Speicherung und Analyse von Tracedaten dar. Mit dieser neuen Architektur können Teams ihre Microservices effektiver überwachen und die Effizienz ihrer Datenanalysen erheblich steigern. Die kontinuierliche Entwicklung und Optimierung dieser Technologien wird entscheidend sein, um den steigenden Anforderungen an die Überwachung komplexer Systeme gerecht zu werden.