Gpu-Acceleration

Docker Model Runner bringt vLLM nach macOS mit Apple Silicon

TL;DR Docker Model Runner unterstützt nun vllm-metal, ein neues Backend, das die Ausführung von vLLM-Inferenz auf macOS mit Apple Silicon ermöglicht. …