"ubuntu gpu パススルー"でググるとヒントがあるかも
たとえば
http://freepub.jp/zapppaaan/zapppaaan9-taiken.pdf
「起動時にGPUドライバーがGPUデバイスにバインドされないよう、ブラックリストに指定して無効化しておきます。GTX 1050 Tiの場合はnouveauドライバーモジュールを指定します」
「プロプライエタリなNVIDIAドライバーがインストールされている場合はそちらも無効化しておきます。アンインストールしておくのが手早いと思います」