Führe Claude Code lokal mit Docker Model Runner aus

TL;DR

Die Integration von Claude Code mit Docker Model Runner ermöglicht es Entwicklern, ein lokalisiertes und datenschutzfreundliches Setup für die Nutzung von KI-gestützten Codierungswerkzeugen zu erstellen. Dies bietet eine einfache Möglichkeit, große Sprachmodelle lokal zu betreiben und deren API nahtlos zu nutzen.

Hauptinhalt

Claude Code ist ein Kommandozeilenwerkzeug von Anthropic, das Entwicklern hilft, effizienter zu programmieren, indem es Routineaufgaben automatisiert, komplexe Codeabschnitte erklärt und Git-Workflows über natürliche Sprachbefehle verwaltet. Die Kombination mit Docker Model Runner (DMR) erlaubt es, große Sprachmodelle lokal zu betreiben, was eine vollständige Kontrolle über Daten, Infrastruktur und Kosten gewährleistet.

Um Claude Code zu installieren, stehen spezifische Befehle für verschiedene Betriebssysteme zur Verfügung. Für macOS und Linux kann der Installationsbefehl über curl ausgeführt werden, während Windows-Nutzer PowerShell verwenden können.

Die Integration von Claude Code mit Docker Model Runner erfolgt durch die Nutzung der Umgebungsvariable ANTHROPIC_BASE_URL, die auf die lokale API von DMR verweist. Für Benutzer von Docker Desktop ist es wichtig, den TCP-Zugriff zu aktivieren, um auf DMR zugreifen zu können. Dies geschieht über den Befehl docker desktop enable model-runner --tcp, wodurch DMR unter http://localhost:12434 erreichbar ist.

Ein zentrales Element bei der Nutzung von Claude Code ist die Kontextgröße der Modelle. Während einige Modelle standardmäßig eine Kontextgröße von 128.000 Tokens bieten, hat das Modell gpt-oss eine Standardgröße von 4.096 Tokens. Docker Model Runner ermöglicht es, die Kontextgröße eines Modells einfach zu erhöhen, was durch spezifische Befehle zum Herunterladen und Verpacken des Modells erreicht wird.

Sobald das Modell mit einer erhöhten Kontextgröße bereitgestellt ist, kann Claude Code verwendet werden, um Anfragen an DMR zu senden, wodurch alle Daten lokal bleiben. Die Benutzer können die Anfragen, die Claude Code an DMR sendet, überwachen, um die Kommunikation zwischen den beiden zu verstehen und mögliche Kompatibilitätsprobleme zu debuggen.

Technische Details/Implikationen

Docker Model Runner ist ein leistungsfähiges Werkzeug, das auf Go basiert und es Entwicklern ermöglicht, KI-Modelle direkt von Docker Hub oder anderen OCI-kompatiblen Registries zu ziehen und auszuführen. Es besteht aus zwei Hauptkomponenten: dem model-runner, der den Lebenszyklus der Modelle verwaltet, und dem model-cli, der als Plugin zur Kommunikation mit dem Server dient. DMR unterstützt mehrere Inferenz-Backends und bietet eine REST-API für das Management und die Inferenz von Modellen, sowie einen /metrics-Endpunkt für die Überwachung.

Um die Nutzung zu erleichtern, können Entwickler die Umgebungsvariable ANTHROPIC_BASE_URL in ihrem Shell-Profil setzen, sodass sie Claude Code direkt ausführen können, ohne die URL jedes Mal manuell eingeben zu müssen.

Fazit/Ausblick

Die Kombination von Claude Code und Docker Model Runner stellt eine vielversprechende Lösung für Entwickler dar, die Wert auf Datenschutz und Kontrolle über ihre Entwicklungsumgebung legen. Die Community von Docker Model Runner bietet zudem zahlreiche Möglichkeiten zur Mitgestaltung und Weiterentwicklung dieser Technologie.