VLLm

Download

Normal (ROCm)

docker pull rocm/vllm-dev:nightly

gfx906

docker pull nalanzeyu/vllm-gfx906

Ausführen

docker run -it --rm --shm-size=8g --device=/dev/kfd --device=/dev/dri \
    --group-add video -p 8086:8000 \
    -v /mnt/share/models:/models \
    nalanzeyu/vllm-gfx906 \
    vllm serve /models/Qwen3-Coder-30B-A3B-Instruct-AWQ-4bit --max-model-len 30000 --enable-auto-tool-choice --tool-call-parser hermes --served-model-name Homelab

Nützliche Links

• Offizielles llama.cpp Repository
• llama-server Dokumentation
• llama.cpp Discussions
• GGUF Modelle auf Hugging Face
• ROCm Dokumentation
• Vulkan SDK Dokumentation