Die Air-Gapped-GenAI-Architektur: Wie Self-Hosted LLMs industrielle IP und Compliance sichern

In vielen Industrie- und Fertigungsunternehmen wächst der Druck, generative KI für automatisierte Fehlerberichte, Wartungsprotokolle und Ursachenanalysen einzusetzen. Die Realität in der OT- und IT-Praxis sieht jedoch ernüchternd aus: Wer proprietäre Sensordaten, Maschinentelemetrie und Prozess-Know-how über öffentliche Hyperscaler-APIs in US-Rechenzentren schickt, riskiert den unkontrollierten Abfluss sensiblen geistigen Eigentums und eklatante Compliance Verstöße.

Die strategische Antwort auf diese Hürde ist nicht der Verzicht auf GenAI, sondern die vollständige Plattform-Entkopplung von externen Schnittstellen. Durch den deklarativen Betrieb von Self-Hosted Open-Weights-Modellen auf einer gehärteten, Kubernetes -basierten Infrastruktur ermöglicht ayedo den produktiven Einsatz moderner Sprachmodelle, vollständig isoliert innerhalb des eigenen europäischen Sicherheitsperimeters.

1. Das Problem: Die Risiken externer LLM-APIs in der Kernindustrie

Die Nutzung öffentlicher Cloud-APIs für industrielle GenAI-Anwendungsfälle erzeugt erhebliche operationelle, rechtliche und finanzielle Risiken:

• 1. Der Verlust der Datenhoheit: Sensordatenströme und Fehlerprotokolle enthalten detaillierte Rückschlüsse auf Fertigungstoleranzen, Anlageneffizienz und Produktionsmengen. Bei der Übertragung an externe SaaS-APIs greifen die Drittanbieter-Nutzungsbedingungen, wodurch vertrauliche OT-Telemetrie den geschützten Unternehmensperimeter verlässt.
• 2. Die unberechenbare Kostenexplosion: Abrechnungsmodelle auf Token-Basis lassen sich bei kontinuierlichen industriellen Datenströmen kaufmännisch kaum budgetieren. Unvorhersehbare Lastspitzen und steigende Egress-Kosten für Datentransfers führen zu massiven Budgetüberschreitungen.
• 3. Die latente Vendor-Lock-in-Falle: Proprietäre Endpunkte verändern ihre Modellversionen, Latenzen und Preisstrukturen ohne Vorankündigung. Fällt eine externe API aus oder bricht die Internetverbindung am Werksstandort ab, stehen automatisierte Berichtsprozesse in der Produktion still.

2. Die Lösung: Die sovereign GenAI-Stack-Architektur

ayedo etabliert eine native, mehrschichtige LLM-Serving-Architektur auf Basis von Kubernetes , die hochoptimierte Inferenz-Engines wie vLLM für die Produktion und Ollama für kontrollierte Experimente bereitstellt - vollständig abgeschottet durch Authentik und Netzwerk-Policies.javascript +——————————————————————————-+ | Kubernetes Cluster Perimeter (On-Premises / European Sovereign Cloud) | | | | +————————————————————————-+ | | | Authentik Identity Layer (OIDC / Role-Based Access Control) | | | +————————————+————————————+ | | | | | v | | +————————————————————————-+ | | | Network Policy & Isolation Layer (Calico / Cilium Zero-Egress) | | | +————————————+————————————+ | | | | | +—————————–+—————————–+ | | | (Production Workloads) | (Dev) | | v v | | +———————————-+ +————————+ | | | vLLM Serving Engine | | Ollama Dev Sandbox | | | | - Open-Weights (Llama 3 / Mistral| | - Rapid Prototyping | | | | - PagedAttention VRAM Mgmt | | - Isolated Ephemeral | | | | - Continuous Batching | | Workspaces | | | +——————+—————+ +————————+ | | | | | v | | +————————————————————————-+ | | | Storage Layer: S3-kompatible Modell-Registry (Ceph / MinIO) | | | | - Signierte Open-Weights & Quantisierte GGUF/AWQ-Modelle | | | +————————————————————————-+ | +——————————————————————————-+

• 1. Die getrennte Inferenz-Struktur: Hochperformante Produktivabfragen (z. B. Ursachenanalysen im Sekundentakt) laufen über vLLM mit PagedAttention, wodurch der Grafikspeicher maximal ausgenutzt wird. Entwickler- und Data-Science-Teams greifen parallel auf isolierte Ollama-Umgebungen zu, um neue Prompts zu testen, ohne Produktiv-Ressourcen zu blockieren.
• 2. Die deklarative Zero-Egress-Härtung: Mittels Kubernetes Network Policies wird der LLM-Namespace strikt isoliert. Jeglicher ausgehender Traffic in das öffentliche Internet wird auf Kernel-Ebene blockiert. Daten verbleiben ausschließlich im lokalen Cluster-Netzwerk.
• 3. Die einheitliche Governance via Authentik: Der Zugriff auf LLM-Endpunkte wird über zentrale OIDC-Tokens gesteuert. Fein abgestimmte Rollenberechtigungen (RBAC) stellen sicher, dass Entwickler, Fachbereiche und automatisierte Services nur auf die Modelle zugreifen dürfen, für die sie autorisiert sind.

3. Strategischer und wirtschaftlicher Mehrwert

Der Betrieb einer autarken, Kubernetes -basierten LLM-Infrastruktur verwandelt unkalkulierbare KI-Experimente in ein planbares, konformes Unternehmens-Asset:

• 100% DSGVO-, NIS-2- und BSI C5-Konformität: Da keine Daten den europäischen Hoheitsbereich oder das eigene Rechenzentrum verlassen, werden regulatorische Anforderungen an Kritische Infrastrukturen (KRITIS) und sensible Fertigungsdaten vollumfänglich erfüllt.
• Radikale Senkung der Total Cost of Ownership (TCO): Fixe Hardware- oder Bare-Metal-Kosten ersetzen variable Token-Rechnungen. Bei hohem Inferenzvolumen amortisiert sich die eigene Plattform typischerweise bereits nach wenigen Monaten.
• Vollständige Unabhängigkeit von Drittanbietern: Unternehmen behalten die uneingeschränkte Kontrolle über Modellgewichte, System-Prompts und Versionierungszyklen – ohne Risiko plötzlicher Schnittstellenabschaltungen.
• Schutz des geistigen Eigentums: Firmeninternes Prozesswissen fließt niemals in das Nachtraining externer Modelle ein, sondern verbleibt zu 100% im Besitz der Organisation.

Fazit

Wahre technologische Innovation in der Industrie erfordert keine Kompromisse beim Datenschutz. Durch die Kombination von modernen Open-Weights-Modellen, vLLM und einer gemanagten Kubernetes -Infrastruktur beweist ayedo, dass hochperformante generative KI souverän, kosteneffizient und vollständig auditierbar im eigenen Maschinenraum betrieben werden kann.

FAQ: Praxisnahe Fragen zu Self-Hosted LLMs

Können moderne Open-Weights-Modelle mit proprietären Hyperscaler-Modellen mithalten?

Für spezialisierte Industrie- und Wartungsanwendungsfälle wie Log-Analysen, Fehlerklassifizierung und Berichtserstellung erreichen performante Open-Weights-Modelle (wie Llama-3- oder Mistral-Varianten) durch gezieltes Fine-Tuning und Retrieval-Augmented Generation (RAG) eine vergleichbare oder überlegene Präzision – bei einem Bruchteil der Betriebskosten und deterministischer Latenz.

Welche Mindestanforderungen an die Hardware bestehen für den Betrieb von vLLM?

Für quantisierte Modelle (z. B. 8-Bit oder 4-Bit AWQ mit 8B bis 14B Parametern) reicht oft bereits eine einzelne Enterprise-GPU mit 24 GB VRAM (wie eine NVIDIA A10G oder L4). Für größere 70B-Modelle setzt ayedo auf Node-Cluster mit Tensor-Parallelismus über mehrere A100/H100-Beschleuniger, die per NVLink gekoppelt sind.

Wie wird das Nachladen von Modellen ohne Internetverbindung (Air-Gapped) gelöst?

Modell-Artefakte und Checkpoints werden vorab verifiziert, kryptografisch signiert und in einer cluster-internen, S3-kompatiblen Objekt-Storage-Instanz (z. B. MinIO oder Ceph) abgelegt. Die Serving-Pods laden die Gewichte direkt über das interne High-Speed-Netzwerk, sodass zur Laufzeit keinerlei externe Verbindung zu Plattformen wie Hugging Face erforderlich ist.