Experiment-Tracking vs. Model-Registry: Den Überblick im KI-Dschungel behalten

In der Softwareentwicklung ist Git die „Source of Truth". Wenn etwas nicht funktioniert, schaut man in die Commit-Historie. In der Welt der Künstlichen Intelligenz reicht das nicht aus. Ein Modell besteht nicht nur aus Code, sondern aus der Kombination von Code, Daten und Hyperparametern.

Ohne ein systematisches Management passiert bei Sensoriq (und vielen anderen) folgendes: Ein Data Scientist trainiert ein Modell, das hervorragende Ergebnisse liefert. Drei Wochen später soll dieses Modell in die Produktion - aber niemand weiß mehr genau, mit welchem Datensatz es trainiert wurde oder welche exakten Einstellungen verwendet wurden. Das Modell ist eine „Blackbox" ohne Geburtsurkunde.

Die Lösung ist die Trennung und Verknüpfung von Experiment-Tracking und Model-Registry, beispielsweise mit Tools wie MLflow.

1. Experiment-Tracking: Das Labortagebuch der Data Science

Stellen Sie sich Experiment-Tracking wie ein automatisches Labortagebuch vor. Jedes Mal, wenn ein Trainingslauf startet, protokolliert das System im Hintergrund:

• Parameter: Welche Lernrate? Welche Batch-Size?
• Metriken: Wie hoch war der Loss? Wie präzise ist die Vorhersage?
• Artefakte: Das fertige Modell-File, Plots der Konfusionsmatrix und sogar die verwendete Umgebung (Conda/Docker).

Der Nutzen: Man kann hunderte Versuche vergleichen. „Lauf #42 hatte die beste Latenz, aber Lauf #56 war präziser bei Anomalien." Ohne Tracking ist diese Erkenntnis nach dem Schließen des Notebooks verloren.

2. Model-Registry: Der Türsteher zur Produktion

Während das Tracking alle Versuche (auch die gescheiterten) speichert, ist die Model-Registry der exklusive Club für die Gewinner. Hier werden Modelle offiziell versioniert und mit einem Status versehen:

• Version 1.0.0 (Archived): Das alte Modell.
• Version 1.1.0 (Production): Das Modell, das gerade die 2.000 Sensoren überwacht.
• Version 1.2.0 (Staging): Das neue Modell, das gerade Tests durchläuft.

Die Registry ist die Schnittstelle zum Ops-Team. Das Deployment-Tool (z. B. ArgoCD) fragt nicht nach einer Datei namens model_final_v2_NEU.pkl, sondern nach dem Modell mit dem Tag Production.

3. Lineage: Warum die Rückverfolgbarkeit überlebenswichtig ist

Besonders in der Industrie (Stichwort: EU AI Act) müssen Entscheidungen einer KI erklärbar sein. Wenn eine KI eine Maschine fälschlicherweise abschaltet und ein Schaden entsteht, müssen wir rückwärts gehen können:

• Welches Modell war aktiv? (Registry)
• Wie wurde es trainiert? (Tracking)
• Welche Daten wurden genutzt? (Data Versioning)

Diese Kette nennt man Lineage. Sie verwandelt „Voodoo-KI" in eine auditierbare Industriekomponente.

Fazit: Wissen ist Kapital

Bei unseren Kunden hat die Einführung von MLflow die Zusammenarbeit revolutioniert. Wissen ist nicht mehr im Kopf einzelner Personen gespeichert, sondern in einer zentralen Plattform. Der Weg vom Experiment zur Produktion ist kein Ratespiel mehr, sondern ein sauber dokumentierter Prozess.

Wer KI im industriellen Maßstab betreiben will, braucht Ordnung. Eine Model-Registry ist die Versicherung gegen den Kontrollverlust.

FAQ

Warum reicht Git für die Versionierung von Modellen nicht aus? Git ist für Textdateien (Code) optimiert. Modell-Gewichte sind jedoch oft Gigabytes groß (Binärdaten) und hängen massiv von den verwendeten Trainingsdaten ab, die nicht in Git gespeichert werden können. Eine Model-Registry verknüpft den Code-Stand mit den Daten und den Parametern.

Muss ich meinen Code stark anpassen, um Experiment-Tracking zu nutzen? Nein. Die meisten modernen Frameworks (PyTorch, TensorFlow, Scikit-Learn) lassen sich mit einer einzigen Zeile Code (mlflow.autolog()) integrieren. Das System erkennt dann automatisch, was protokolliert werden muss.

Ist MLflow die einzige Lösung für dieses Problem? Es gibt viele Tools (Weights & Biases, DVC, Comet), aber MLflow hat sich als Open-Source-Standard etabliert, der sich hervorragend in Kubernetes integrieren lässt und keine Lizenzgebühren pro Nutzer verursacht.

Wie sicher sind meine Modelle in der Registry? In einem professionellen Setup (Managed by ayedo) ist die Registry hinter einer zentralen Authentifizierung (SSO) geschützt. Nur autorisierte Personen und CI/CD-Pipelines können Modelle in den Status „Production" heben.

Hilft eine Model-Registry auch bei der Fehlersuche? Absolut. Wenn ein Modell in Produktion plötzlich schlechte Ergebnisse liefert, erlaubt die Registry einen sofortigen Vergleich mit der vorherigen Version. Man kann innerhalb von Sekunden feststellen, ob sich die Eingangsdaten geändert haben oder das Modell selbst fehlerhaft ist.