Cloud-native ist jetzt AI-native: Produktionstaugliche KI entwickeln

TL;DR

Die Diskussion über die Integration von KI in produktive Umgebungen zeigt, dass cloud-native Prinzipien entscheidend sind, um AI-native Computing zu ermöglichen. Wesentliche Komponenten sind eine reife, vendor-neutrale Infrastruktur, integrierte Sicherheit und aktive Community-Beiträge. Die Herausforderungen beim Skalieren von KI-Workloads erfordern Anpassungen in Kubernetes, um den speziellen Anforderungen dieser Technologien gerecht zu werden.

Hauptinhalt

Auf der KubeCon + CloudNativeCon Europe wurde eine Expertenrunde einberufen, um die Herausforderungen und Möglichkeiten der Integration von KI in cloud-native Umgebungen zu erörtern. Die Panelisten kamen überein, dass für die Produktionsbereitschaft von KI drei zentrale Elemente erforderlich sind: eine ausgereifte Plattform, Sicherheit von Anfang an und aktive Mitwirkung an der Community.

Die Produktionsbereitschaft für KI wird erreicht, wenn Organisationen einen mehrdimensionalen Reifegrad der Plattform erfüllen. Ein entscheidendes Signal dafür ist die Übereinstimmung mit dem Kubernetes AI Conformance Programm, das essentielle Grundlagen für das Training und die Bereitstellung von KI-Anwendungen in großem Maßstab definiert.

Die Plattformreife umfasst die Bereitstellung robuster Unterstützung für Forschungsteams und Python-Nutzer, die spezialisierte Umgebungen benötigen. Sicherheitsaspekte müssen von Beginn an priorisiert werden, insbesondere für autonome Agenten, um sicherzustellen, dass diese in einem kontrollierten Rahmen operieren. Zudem sollten Unternehmen über die bloße Nutzung von Werkzeugen hinaus aktiv zur Weiterentwicklung innerhalb der CNCF Special Interest Groups (SIGs) beitragen.

Die Skalierung von KI-Workloads stellt eine größere Herausforderung dar als die von herkömmlichen Mikrodiensten, da KI-Workloads oft wie große Monolithen agieren. Diese Herausforderung ergibt sich aus der Notwendigkeit, mehrdimensionale Matrizen im Speicher über zahlreiche Client-Knoten hinweg zu initialisieren. Standard-Kubernetes ist nicht für die enge Kopplung ausgelegt, die für solche hochleistungsfähigen Berechnungen erforderlich ist.

Technische Details/Implikationen

Die cloud-native Community arbeitet aktiv daran, Kubernetes für hochleistungsfähige Berechnungen zu optimieren, ohne unflexible Architekturen zu schaffen. Zu den wichtigen Initiativen gehören:

• Pod Groups (Workload API): Diese Initiative behandelt Gruppen von Pods als einzelne Fehlerdomänen, was die Nähe und Zuverlässigkeit für die großflächige Initialisierung von KI-Matrizen gewährleistet.

• Dynamic Resource Allocation (DRA): DRA integriert spezialisierte Chips und GPUs in den Kubernetes-Scheduler, um Hardwareanforderungen effizient zu verwalten und das Training sowie die Bereitstellung von KI zu optimieren.

• Inference Gateways: Diese nutzen Gateway API-Standards, um effiziente KI-Gateways zu erstellen, die bei der Verwaltung von Anfragen und der Bereitstellung von Antworten für komplexe generative Modelle helfen.

Die Rolle der Ingenieure verändert sich durch den Einfluss von KI. Prototyping ersetzt zunehmend die traditionelle Produktanforderungsdokumentation, wobei Produktmanager mit KI-generierten Prototypen beginnen. Dies führt jedoch zu einem Engpass bei der Überprüfung, da die Menge an generiertem Code eine menschliche Überprüfung erfordert. Zukünftig wird eine agentische SRE (Site Reliability Engineering) angestrebt, bei der KI-Agenten bei der Ursachenanalyse und Problemlösung unterstützen, während Menschen weiterhin in entscheidenden Entscheidungen involviert bleiben.

Die Sicherheit der KI-Lieferkette erfordert eine erweiterte Betrachtung, die über herkömmliche Container -Scans hinausgeht und die Integrität der Modell-Lieferkette sowie die Risiken nicht-deterministischer Ausgaben in den Fokus rückt. Die Community konzentriert sich auf zwei Hauptsicherheitsinitiativen: die Implementierung konsistenter Bewertungsrahmen (Evals) vor der Bereitstellung von Modellen und die Entwicklung offener Standards zur Zitierung, um gegen Risiken wie Remote-Code-Ausführung zu schützen.

Fazit/Ausblick

Die Integration von KI in cloud-native Umgebungen erfordert ein Umdenken in der Infrastruktur und den Sicherheitsprotokollen. Zukünftige Entwicklungen sollten auf offenen, interoperablen und vendor-neutralen Standards basieren, um die Skalierung und Sicherheit von KI-Anwendungen zu gewährleisten.