>>511
AMDなのでBIOSの「SVM」を有効にしてから検証。
結果、8.0、8.1とも、インストーラーが初っ端の「loading drivers」（ここでNVIDIAのドライバーも読み込まれる）で停止しました。

回避策として、3080を挿したままもうひとつのPCIe x16スロットにRadion R5 230 1GB（1スロットのグラフィックカード）を挿して、そちらのHDMIから画像を出力することでインストールに成功しました。添付した画像でProxmoxの起動時にNVIDIAとRadionの両方を認識している事が確認できます。
なお、USBから画面出力するアダプターでは回避できませんでした。

https://i.imgur.com/V729h3H.png