https://ayedo.de/tags/pytorch/ Recent content in Pytorch on ayedo Hugo de-DE Thu, 26 Feb 2026 14:42:57 +0000 https://ayedo.de/news/docker-model-runner-brings-vllm-to-macos-with-apple-silicon/ Thu, 26 Feb 2026 14:42:57 +0000 https://ayedo.de/news/docker-model-runner-brings-vllm-to-macos-with-apple-silicon/ <h2 id="tldr">TL;DR</h2> <p>Docker Model Runner unterstützt nun vllm-metal, ein neues Backend, das die Ausführung von vLLM-Inferenz auf macOS mit Apple Silicon ermöglicht. Diese Erweiterung nutzt die Metal-GPU-Technologie von Apple, um MLX-Modelle effizient zu bedienen und bietet eine einheitliche API für <a href="https://openai.com">OpenAI-kompatible Anwendungen</a>.</p> <h2 id="hauptinhalt">Hauptinhalt</h2> <p>Docker hat vllm-metal entwickelt, um die Nutzung des vLLM-Inferenz-Engines auf macOS mit M-Serie-Chips zu ermöglichen. Dieses neue Backend integriert sich nahtlos in die bestehende <a href="https://ayedo.de/kubernetes/">Docker-Umgebung</a> und bietet Entwicklern die Möglichkeit, MLX-Modelle mit der gleichen API zu verwenden, die auch für OpenAI- und Anthropic-Anwendungen genutzt wird.</p>