Proxmox-GPU-Passthough

Beschreibung

Die AMD MI50 ist eine professionelle Instinct-GPU mit 32GB HBM2-Speicher und Vega20-Architektur, die speziell für High-Performance Computing und AI/ML-Workloads entwickelt wurde. Bei GPU Passthrough in Proxmox wird die komplette Hardware der VM zugewiesen, was maximale Performance für LLM-Inferenz und Training ermöglicht. Die MI50 bietet mit 32GB VRAM ausreichend Kapazität für große Sprachmodelle und unterstützt ROCm für AMD-spezifische Optimierungen.

Download

• Proxmox VE: Images
• vendor-reset: [1]
• ROCm: [2]

Installation

Systemvoraussetzungen

• Proxmox VE 8.4.8 oder höher (getestet mit Kernel 6.8.12-13-pve) HINWEIS: Proxmox > 9 ist nicht mit Vendor-Reset Stand 20.10.25 kompatibel!
• AMD MI50 oder Radeon Pro VII (Vega20)
• IOMMU-fähiges Mainboard
• Für ZFS-User: Spezielle Boot-Parameter beachten

Getestete Konfiguration

• Server Hardware:

1. 56-core Intel Xeon E5-2680 v4 @ 2.40GHz (2 sockets), 110GB RAM
2. AMD Epyc 7002 mit 64GB LRDIMM

• Motherboard: ASROCK RACK ROMED8-2T
• Software: Proxmox VE 8.4.8 mit Kernel 6.8.12-13-pve (EFI Boot)
• GPU: AMD Radeon MI50 32GB
• Guest VM:

1. Ubuntu 22.04.5 Live Server (Headless), Kernel 5.15
2. Ubuntu 24.04.3

Konfiguration

Teil 1: Standard PCIe Passthrough Setup

IOMMU aktivieren

Für Legacy Boot Systeme:

nano /etc/default/grub

Diese Zeile hinzufügen:

GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on"  # Oder für AMD: amd_iommu=on

Speichern und ausführen:

update-grub

Für EFI Boot Systeme:

nano /etc/kernel/cmdline

Hinzufügen:

intel_iommu=on  # Oder für AMD: amd_iommu=on

Für ZFS Benutzer:

Bei Boot-Problemen mit ZFS, kombiniere beide Parameter:

intel_iommu=on root=ZFS=rpool/ROOT/pve-1 boot=zfs  # Oder amd_iommu=on

Für Consumer Motherboards:

Bei schlechter PCIe-Trennung:

intel_iommu=on pcie_acs_override=downstream,multifunction  # Oder amd_iommu=on

Danach:

proxmox-boot-tool refresh

VFIO Module laden

nano /etc/modules

Diese Zeilen hinzufügen:

vfio
vfio_iommu_type1
vfio_pci
vfio_virqfd

GPU finden und aktuellen Treiber identifizieren

# AMD GPU finden
lspci | grep -i amd | grep -i vga

# Detaillierte Info (08:00 mit Ihrer PCI-Adresse ersetzen)
lspci -n -s 08:00 -v

Beispiel-Ausgabe:

08:00.0 0300: 1002:66a3 (prog-if 00 [VGA controller])
Kernel modules: amdgpu

VFIO konfigurieren und AMD-Treiber blacklisten

echo "options vfio_iommu_type1 allow_unsafe_interrupts=1" > /etc/modprobe.d/iommu_unsafe_interrupts.conf
echo "options kvm ignore_msrs=1" > /etc/modprobe.d/kvm.conf
echo "blacklist amdgpu" >> /etc/modprobe.d/blacklist.conf

GPU an VFIO binden

# vendor:device ID von lspci-Ausgabe verwenden (z.B. 1002:66a3)
echo "options vfio-pci ids=1002:66a3 disable_vga=1" > /etc/modprobe.d/vfio.conf

Änderungen anwenden und reboot

update-initramfs -u -k all
reboot

VFIO-Bindung überprüfen

lspci -n -s 08:00 -v

Sollte zeigen: Kernel driver in use: vfio-pci

Teil 2: Die vendor-reset Lösung

System-Bereitschaft prüfen

# Kernel-Version prüfen
uname -r

# Erforderliche Features überprüfen (alle sollten 'y' zeigen)
grep -E "CONFIG_FTRACE=|CONFIG_KPROBES=|CONFIG_PCI_QUIRKS=|CONFIG_KALLSYMS=|CONFIG_KALLSYMS_ALL=|CONFIG_FUNCTION_TRACER=" /boot/config-$(uname -r)

# GPU Info erneut finden
lspci -nn | grep -i amd

Build-Abhängigkeiten installieren

apt update
apt install -y git dkms build-essential

# Proxmox Kernel Headers installieren
apt install -y pve-headers-$(uname -r)

# Überprüfen ob Headers vorhanden sind
ls -la /lib/modules/$(uname -r)/build

vendor-reset bauen und installieren

# Source herunterladen
cd /tmp
git clone https://github.com/gnif/vendor-reset.git
cd vendor-reset

# Alte Versuche aufräumen
sudo dkms remove vendor-reset/0.1.1 --all 2>/dev/null || true
sudo rm -rf /usr/src/vendor-reset-0.1.1
sudo rm -rf /var/lib/dkms/vendor-reset

# Modul bauen und installieren
sudo dkms install .

vendor-reset für Boot konfigurieren

# vendor-reset beim Boot laden
echo "vendor-reset" | sudo tee -a /etc/modules

# udev Regeln kopieren
sudo cp udev/99-vendor-reset.rules /etc/udev/rules.d/

# initramfs aktualisieren
sudo update-initramfs -u -k all

# Modul-Datei prüfen
ls -la /lib/modules/$(uname -r)/updates/dkms/vendor-reset.ko

Reboot und Überprüfung

reboot

Nach dem reboot:

# Prüfen ob vendor-reset geladen ist
lsmod | grep vendor_reset

# Reset-Methode für GPU prüfen (PCI-Adresse anpassen)
cat /sys/bus/pci/devices/0000:08:00.0/reset_method

# GPU-Erkennung bestätigen
lspci -nn | grep -i amd

Erwartete Ausgabe:

vendor_reset             16384  0
device_specific
08:00.0 VGA compatible controller [0300]: Advanced Micro Devices, Inc. [AMD/ATI] Vega 20 [Radeon Pro Vega II/Radeon Pro Vega II Duo] [1002:66a3]

Teil 3: VM Konfiguration

GPU zur VM hinzufügen

Über Proxmox Web Interface:

1. VM → Hardware → Add → PCI Device
2. GPU auswählen (z.B. 0000:08:00)
3. "All Functions" aktivieren
4. Änderungen übernehmen

Großes VRAM handhaben

Für GPUs mit viel VRAM (32GB) PCI BAR Größe erhöhen:

# VM-Konfigurationsdatei bearbeiten (/etc/pve/qemu-server/VMID.conf)
args: -cpu host,host-phys-bits=on -fw_cfg opt/ovmf/X-PciMmio64Mb,string=65536

Vollständige funktionierende VM-Konfiguration:

args: -cpu host,host-phys-bits=on -fw_cfg opt/ovmf/X-PciMmio64Mb,string=65536
bios: seabios
boot: order=scsi0;hostpci0;net0
cores: 8
cpu: host
hostpci0: 0000:08:00
machine: q35
memory: 32768
name: AI-Node
net0: virtio=XX:XX:XX:XX:XX:XX,bridge=vmbr0,tag=40
numa: 1
ostype: l26
scsi0: local-lvm:vm-106-disk-0,cache=writeback,iothread=1,size=300G,ssd=1
scsihw: virtio-scsi-single
sockets: 2

VM testen

In der Ubuntu VM die Logs prüfen:

sudo dmesg | grep -i "amdgpu" | grep -i -E "bios|initialized|firmware"

Erwartete Ausgabe bei korrekter Funktion:

[   28.319860] [drm] initializing kernel modesetting (VEGA20 0x1002:0x66A1 0x1002:0x0834 0x02).
[   28.354277] amdgpu 0000:05:00.0: amdgpu: Fetched VBIOS from ROM BAR
[   28.354283] amdgpu: ATOM BIOS: 113-D1631700-111
[   28.361352] amdgpu 0000:05:00.0: amdgpu: MEM ECC is active.
[   28.361354] amdgpu 0000:05:00.0: amdgpu: SRAM ECC is active.
[   29.376346] [drm] Initialized amdgpu 3.57.0 20150101 for 0000:05:00.0 on minor 0

Teil 4: ROCm Installation

ROCm installieren

# amdgpu-install Package herunterladen
wget https://repo.radeon.com/amdgpu-install/6.4.3/ubuntu/jammy/amdgpu-install_6.4.60403-1_all.deb
sudo apt install ./amdgpu-install_6.4.60403-1_all.deb
sudo apt update

# Erforderliche Python Packages
sudo apt install python3-setuptools python3-wheel

# Benutzer zu richtigen Gruppen hinzufügen
sudo usermod -a -G render,video $LOGNAME

# ROCm installieren
sudo apt install rocm

AMDGPU Kernel Modul installieren

# Kernel Headers und AMDGPU Treiber
sudo apt install "linux-headers-$(uname -r)" "linux-modules-extra-$(uname -r)"
sudo apt install amdgpu-dkms

Post-Installation Setup

# Library Pfade einrichten
sudo tee --append /etc/ld.so.conf.d/rocm.conf <<EOF
/opt/rocm/lib
/opt/rocm/lib64
EOF
sudo ldconfig

# ROCm Installation prüfen
sudo update-alternatives --display rocm

# Environment Variable setzen
export LD_LIBRARY_PATH=/opt/rocm-6.4.3/lib

ROCm Installation überprüfen

rocm-smi

Erwartete Ausgabe:

============================================ ROCm System Management Interface ============================================
====================================================== Concise Info ======================================================
Device  Node  IDs              Temp        Power     Partitions          SCLK     MCLK     Fan    Perf  PwrCap  VRAM%  GPU%
              (DID,     GUID)  (Edge)      (Socket)  (Mem, Compute, ID)                                                  
==========================================================================================================================
0       2     0x66a3,   18520  51.0°C      26.0W     N/A, N/A, 0         1000Mhz  1000Mhz  16.08% auto  300.0W  0%     0%
==========================================================================================================================
================================================= End of ROCm SMI Log ===================================================

Fehlerbehebung

vendor-reset komplett entfernen

# DKMS Modul entfernen
sudo dkms remove vendor-reset/0.1.1 --all
sudo rm -rf /usr/src/vendor-reset-0.1.1
sudo rm -rf /var/lib/dkms/vendor-reset

# Konfigurationsdateien entfernen
sudo sed -i '/vendor-reset/d' /etc/modules
sudo rm -f /etc/udev/rules.d/99-vendor-reset.rules

# initramfs aktualisieren und reboot
sudo update-initramfs -u -k all
reboot

ZFS Boot-Konflikte

Bei Problemen mit ZFS und amd_iommu=on, kombiniere beides:

amd_iommu=on root=ZFS=rpool/ROOT/pve-1 boot=zfs

Schlechte PCIe-Trennung auf Consumer Mainboards

Fehlende IOMMU-Trennung:

amd_iommu=on pcie_acs_override=downstream,multifunction

Reset-Methode zeigt 'bus' statt 'device_specific'

Udev-Regeln überprüfen:

sudo cp udev/99-vendor-reset.rules /etc/udev/rules.d/
sudo systemctl restart systemd-udevd

Nützliche Links

• Original vendor-reset Repository
• PCI BAR Größe Konfiguration
• AMD GPU Passthrough Diskussion
• ROCm Quick Start Installation Guide
• ROCm Post-Install Guide
• Proxmox PCIe Passthrough Video Guide

Credits

• Original solution by gnif: [3]
• Contributions by Danternas for ZFS and consumer motherboard fixes
• Community feedback from r/LocalLLaMA and r/Proxmox