Ollama: Die Referenz-Architektur für souveräne, private Large Language Models (LLMs)

TL;DR

Künstliche Intelligenz (KI) ist der neue Standard, aber die Nutzung von Cloud-APIs wie OpenAI (ChatGPT) oder Anthropic hat einen massiven Haken: Datenschutz und “Data Gravity”. Sensible Unternehmensdaten, Quellcode oder Kundeninformationen an US-Server zu senden, ist oft ein DSGVO-Albtraum und ein strategisches Risiko. Ollama ändert die Spielregeln. Es ist eine extrem leichtgewichtige Engine, um potente Open-Source-Modelle (wie Meta’s Llama 3, Mistral oder Gemma) direkt im eigenen Cluster auszuführen. Wer Ollama nutzt, erhält die volle Power von Generativer KI – aber ohne dass auch nur ein einziges Byte das eigene Netzwerk verlässt.

1. Das Architektur-Prinzip: In-Cluster AI vs. Cloud API

Wenn Entwickler heute KI-Features in Applikationen einbauen, nutzen sie meist externe APIs. Das bedeutet: Jeder Prompt, jeder Kontext und jede hochgeladene PDF-Datei verlässt Ihre Infrastruktur, wandert durch das Internet und wird auf den Servern eines Drittanbieters verarbeitet.

Ollama bringt das Gehirn zu den Daten, nicht die Daten zum Gehirn.

• Air-Gapped fähig: Ollama läuft als Container in Ihrem Kubernetes-Cluster. Es benötigt keine Internetverbindung zur Laufzeit. Das Modell (die “Gewichte”) wird einmalig heruntergeladen und liegt auf Ihrem Storage.
• Zero Data Leakage: Da die Verarbeitung lokal auf Ihren Worker-Nodes (idealerweise mit GPUs) stattfindet, ist das Setup “by design” DSGVO-konform. Sie können interne Verträge oder unmaskierte Patientendaten in die KI füttern, ohne Compliance-Richtlinien zu verletzen.

2. Kern-Feature: Die OpenAI-kompatible API (Drop-in Replacement)

Das größte Hindernis für den Wechsel zu lokaler KI war bisher der Code. Viele Apps sind fest auf die SDKs von OpenAI (z.B. in Python oder Node.js) verdrahtet.

Ollama löst dieses Problem elegant.

• API-Kompatibilität: Ollama bietet eine API an, die exakt so aussieht und sich so verhält wie die OpenAI-API.
• Kein Code-Rewrite: Sie müssen Ihre Applikation nicht neu programmieren. Sie ändern lediglich die BASE_URL in Ihrem Code von https://api.openai.com/v1 auf die interne Adresse Ihres Ollama-Services (z.B. http://ollama.ai-namespace.svc.cluster.local:11434/v1). Die Applikation “denkt”, sie spricht mit ChatGPT, spricht aber in Wahrheit mit Ihrem privaten Llama 3 Modell.

3. Modell-Vielfalt & RAG (Retrieval-Augmented Generation)

Die Open-Source-KI-Welt entwickelt sich rasant. Heute ist Modell A das beste, morgen Modell B. Bei SaaS-Anbietern sind Sie an deren Modell-Zyklen gebunden.

• Modell-Switch in Sekunden: Mit Ollama können Sie Modelle on-the-fly wechseln. Ein Kommando (ollama run mistral) reicht, und das neue Modell steht bereit. Sie können für Coden, Übersetzungen oder Text-Zusammenfassungen jeweils spezialisierte, kleinere Modelle nutzen.
• Perfekt für RAG: Wenn Sie eine interne KI bauen wollen, die Ihr Firmen-Wiki kennt (RAG), brauchen Sie neben dem LLM auch “Embeddings” (Vektorisierung von Text). Ollama liefert spezialisierte Embedding-Modelle gleich mit. Sie können Ihre eigene Vektordatenbank aufbauen, komplett souverän.

4. Betriebsmodelle im Vergleich: OpenAI API vs. ayedo Managed Ollama

Hier entscheidet sich, ob KI für Sie eine unkalkulierbare laufende Ausgabe oder ein skalierbares Infrastruktur-Asset wird.

Szenario A: OpenAI API (Die Token-Kostenfalle)

Cloud-APIs sind bequem für Prototypen, aber tückisch bei Skalierung.

• Pay-per-Token: Sie zahlen für jedes Wort, das hineingeht, und jedes Wort, das herauskommt. Bei RAG-Systemen, wo Sie oft tausende Wörter Kontext pro Anfrage mitsenden, explodieren die Kosten exponentiell.
• Datenschutz-Risiko: Auch wenn Anbieter versprechen, API-Daten nicht für das Training zu nutzen, bleibt ein Restrisiko, und für streng regulierte Branchen (Finanzen, Medizin, Behörden) reicht das oft nicht.
• Rate Limits: Bei hoher Last stoßen Sie an API-Limits. Ihre Applikation wird von OpenAI gedrosselt.

Szenario B: Ollama mit Managed Kubernetes von ayedo

Im ayedo App-Katalog wird Ollama als robuster Microservice bereitgestellt.

• Infrastruktur-Flatrate: Sie zahlen nicht pro Token. Ob Sie 100 oder 10 Millionen Token generieren, kostet Sie exakt dasselbe (den Betrieb der Nodes). Bei intensiver Nutzung amortisieren sich eigene (GPU-)Nodes extrem schnell.
• Absolute Kontrolle: Sie entscheiden, welche Modell-Version läuft. Keine überraschenden “Deprecations” von APIs, die Ihre Applikation über Nacht zerstören.
• Skalierbarkeit: Durch Kubernetes lässt sich Ollama horizontal skalieren. Bei mehr Traffic fahren einfach weitere Ollama-Pods hoch.

Technischer Vergleich der Betriebsmodelle

FAQ: Ollama & AI Strategy

Ist ein Open-Source-Modell so gut wie GPT-4?

Für generelle, hochkomplexe Logik-Aufgaben ist GPT-4 (oder Claude 3.5) oft noch leicht im Vorteil. ABER: Für 90% der Business-Use-Cases (Texte zusammenfassen, Support-Tickets klassifizieren, Daten aus JSON extrahieren, RAG-Abfragen auf internen Dokumenten) sind Modelle wie Llama 3 (8B oder 70B) oder Mistral absolut gleichwertig – und dabei viel schneller und billiger.

Brauche ich zwingend teure GPUs (Grafikkarten)?

Nicht zwingend, aber es ist stark empfohlen. Ollama kann kleinere Modelle (wie Llama 3 8B) auch rein auf der CPU berechnen, was für einfache Hintergrund-Jobs reicht (ca. 5-10 Token pro Sekunde). Für interaktive Chat-Anwendungen, bei denen der Nutzer in Echtzeit Antworten erwartet, sind im ayedo Cluster Nodes mit NVIDIA-GPUs (z.B. T4 oder A10) der Standard, um blitzschnelle Inferenzen zu garantieren.

Wie groß sind die Modelle auf der Festplatte?

Erstaunlich klein dank Quantisierung (Kompression). Ein sehr fähiges 8-Milliarden-Parameter-Modell braucht oft nur 4 bis 5 Gigabyte Speicherplatz. Ein extrem leistungsstarkes 70B-Modell liegt bei ca. 40 Gigabyte.

Gibt es auch ein Chat-Interface für die Mitarbeiter?

Ollama selbst ist nur die “Engine” (die API). Im ayedo Stack kombinieren wir Ollama oft mit Frontends wie Open WebUI. Damit bekommen Ihre Mitarbeiter eine Oberfläche, die exakt so aussieht und sich so anfühlt wie ChatGPT – nur dass alle Daten sicher auf Ihren Servern bleiben.