【PVE】Proxmox VE【KVM, OpenVZ】

Debianベースのアプライアンス、Proxmox VEを語りましょう！

公式サイト
http://www.proxmox.com/

proxmox wiki(日本語)
http://ja.wikipedia.org/wiki/Proxmox_VE_(%E4%BB%AE%E6%83%B3%E5%8C%96%E3%83%97%E3%83%A9%E3%83%83%E3%83%88%E3%83%95%E3%82%A9%E3%83%BC%E3%83%A0)

proxmox wiki
http://pve.proxmox.com/wiki/Main_Page

公式から無料でisoを落としてきて、CDに焼いて CD bootしたら
インストーラが起動してグラフィカルに簡単インストール。
インストール完了後すぐに他のマシンからhttpでWebアクセスして
使える。Web管理画面は日本語対応。
内部ではKVMやOpenVZが仮想化基盤として使われている。

VMware ESXiのような感じに使えると思うので、乗り換えの方もぜひ。

笑わすなよw

過疎ってるなぁ
人気がないのかド安定でネタがないのか。

俺としては管理WEBインターフェースをもうちょっと直感的にしてくれたらなぁと。

エディタ要らず、スマホのweb画面でお手軽にパススルーやらせてください

PCでFHD解像度なら快適なんだよ！

プラグインでWebインタフェースを拡張できればなー
IPMIやSMARTの値をグラフで表示したい

IPv6環境で使っている方いらっしゃいますか。
IPv6でWebGUIにアクセスしたくインストールしたのですがip aしてもIPv6アドレスが割り当てられません。
Teaming+BridgeなのでICMPv6が通らずRAできていないのかもとも思っているのですが。

Proxmox VE 7.1 released!
https://forum.proxmox.com/threads/proxmox-ve-7-1-released.99847/

ついに来たな

カーネルのバージョン上がったんか

初めて入れてみた。
たのすい
お遊びサーバ作っては壊しての繰り返しで
非効率だったけど
一回立てたサーバーずっと置いていきたいと
常々思ってた
awsだと高いし、うまくいきそうなら
安ノート並べてサーバー何年も育てたいな

windows とかのデスクトップをVDIみたいに使いたいんだけど、快適に使う設定ない？
CPUとか遊んでるのにかくかく

GPU pass through で調べると幸せになれるかも

GPU pass throughしてもedidエミュレータなど使わないとリモート環境では使えないでしょね

接続したNASにVMのバックアップを保存して、クラスタにも参加してない全く別のProxmox機で同じNASと接続してVMをリストアさせることって可能ですか？

PVE1→PVE2ってことならNFSやSMB/CIFS共有でできる
VMのCPUがHostになってたりpass throughしてたら知らない

今ならProxmox Backup Serverとかあるけど

proxmox7.1を入れていたssdが壊れてOS再インストールしたのですが以前使っていた別ストレージにあるvmを読み込ませたいのですがどうやればよいですかね？
guiからだとマウント出来なかったのでコマンドラインからマウントはできました。
rawとqcow2は見えてます

>>258
うろ覚えだけど、適当に仮想PC作って、ストレージ入れ替えれば出来なかったっけ？

復旧用の仕組みがまるで無いのか
やっぱり個人用くらいしか使い道なしか。

>>258
>>259のとおり、この辺が参考になると思う
https://forum.proxmox.com/threads/how-to-add-vm-from-raw-file-stored-on-disk.80391/
https://pve.proxmox.com/wiki/Migration_of_servers_to_Proxmox_VE#Qemu.2FKVM

Proxmox VE 7.2 released!
https://forum.proxmox.com/threads/proxmox-ve-7-2-released.108970/

ついに来たな

vm作ってインポートしようとしたら前のデータ消えました・・・

>>264
kwsk

VMIDが100のVMをGUIから作成する時に既存の/mnt/pve/extssd/imates/100にあるHDDを上書きして消えました。

7.2のアップグレード問題なく実施できた人いる？何か依存関係でおかしくなったわ
apt --fix-broken installしたら起動したけどなんなんだぁ

PVE以外のdebも入ってるけど、うちでは7.2-なんぼかから7.3-2に問題なくアップグレードできたよ。
直後に7.3-3来てたから-3で依存関係まわりが修正されたのか、逆におかしくなったとか？

自分の環境（No-Subscription Repository）だと pve-manager/7.2-3/c743d6c1 (running kernel: 5.15.35-1-pve) まで
問題なく出来てる

https://forum.proxmox.com/threads/upgrade-to-7-2-unmet-dependencies.109189/
更新の適用順で発生有無が起こるみたい
aptの仕組みはわからんが順序気にする必要があるとは初耳だったわ

ESXi が Broadcom に買収されたと聞いて来ました

それはやばいかもな

無償版esxi無くなったら流入してくるかも

サブスクに移行するらしいんで、そうなると難民が別のプロダクトに一気に流入する可能性ありますな

初pveとdebian初心者です。
pve公式からpve 7.2-3 ISOをDLしてクリアインストールた環境で、apt update したら
E: Failed to fetch https://enterprise.proxmox.com/debian/pve/dists/bullseye/InRelease 401 Unauthorized [IP: xx.xxx.xx.xx]
E: The repository 'https://enterprise.proxmox.com/debian/pve bullseye InRelease' is no longer signed.というエラー。
同じエラーを公式フォーラムを見たけど解決せず、試行錯誤して pve-no-subscription.list の https を http にしたらエラーが解消。。
pve初ですが、サブスク無しの品質はどんなもんなんでしょうか。使うのはリスキーですかね。。？

用途によるとしか。業務用ならサブスク契約しとけば？と思わんでもない。
結局のところ品質面はLinux/KVM/QEMUの出来に行き着くわけだし
個人で無償版使ってる限りは品質が悪いと感じたことはないな。
逆に何か問題が出てもLinux/KVM/QEMUのワークアラウンドを適用できる可能性が高く
そこがPVEの魅力でもあると思ってる。

>>276
ありがとうございます。用途はホームサーバで、汎用OSからの乗り換えです。
確かに基盤部分は汎用のdebian、KVM、ZFSで、この上にpveの品質管理が加わっている感じに理解しました。
国内の情報が少ないので、実際に使っている方の意見、とても参考になります。

pve7.2-3ですが、OSインストールCD(Windowsやdebian)実行中にShutdownを押してもshutdownしません。
多分、acpidが動いていないからと思うのですが、libvirtだとインストーラでもshutdownしてくれます。
何か設定間違いでもしているのか、対策などご存じの方います？

>>278
それ地味の不便だよね。
PVEフォーラムによるとShutdownボタンの挙動は、VMオプションのゲストエージェント有効無効で変わるっぽい。
GA有効:ゲストOSにゲストエージェント経由でシャットダウンを送信
GA無効:VMに電源ボタン押下を送信
というわけで、PVE的にはインストール中はGA無効設定にしておくのが正しいのかも。
自分は面倒なんでStopしちゃうけど。

>>279
ありがとうございます。そんなことが。。
ACPI support: YES
QEMU Guest Agent: Default(Disabled)
↑の設定で試したところ、
・Windows10 CD(21H1 x64) -> Shutdownボタンで終了
・debian11 LiveCDのGRUBメニュー -> Shutdownボタンで終了せず
・EndeavourOS のGRUBメニュー -> Shutdownボタンで終了せず
でした。
※GRUBはlibvirtのShutdownも終了せず。

linux guestはあまり使わないので気づきませんでしたが、pveとlibvirtの差以外にWindowsとGRUBの差もある印象。
Shutdownで止まらない場合、いつまで待ってもlockが外れない(？)のも困ってますが、気をつけるようにします。

これってローリングリリース？
Arch + KVMから乗り換え検討中…

vmに例えば100GiBのストレージをzvolから割り当てた場合、zvolの使用量はどうなるんでしょうか？
guestが10GIBしか使って無くても、zvolは100GIB使われますかね。。
guestはtrimサポートありの想定です。

>>282
ご推察の通り。
zvolは作成時にサイズ分が予約され、うわべはthick provisionedとして振る舞う。
ZFS内部的には書き込まれた分だけ使われるthin provisionedな実装になってる。
zvolを-s付きで手動で切り出すかrefreservationを0にすれば、うわべもthinになるハズ。
ZFSの思想的に自動シュリンクは対応してないんじゃないかなぁ…

>>283
ご回答ありがとうございます！
上辺はthinに見えるということは、内部は必要分だけ確保していくのですね。
縮小が無さそうなのは残念ですが、zvolに軽く圧縮をかければ縮小に近い効果を得られるかなと考えてます。
どうしても気になるときはbackup/restoreすれば良いかなと。

>>284
これまたお察しの通り、圧縮かけた状態でVM側からゼロフィルなりすれば、擬似シュリンクはできるっすね。
zfs set volsizeでzvolの縮小もできるが当然ながらブロックの使用状況関係なく小さくなるので要注意。
ZFS的には予約サイズの変更と等価なので、実際、どういう形で縮小されるかは明言されてないのよね。

>>285
ありがとうございます。
そうです。ゼロフィルが必要ですね。ゲストからのtrimをゼロフィルとして扱ってくれるとさらに楽かなと思ってます。

pveをroot on ZFS native encryptionで使いたいと考えているのですが、可能でしょうか？

phoronixを見るとOpenZFSのベンチ結果は他のfsに明らかに見劣りするように見えます。
pveやTrueNASで標準採用されているのは、fsとしてではなくvolume managerとして優秀だから、なんですかね。。

zfsに性能求めるだと？

その発想は無かった

impressに記事出てた。
国内の商業サイトの記事って他にあるのかな。

Proxmox VE 7.3 released!
https://forum.proxmox.com/threads/proxmox-ve-7-3-released.118390/

ついに来たな

proxmox、terraform provider まであるのか。

これってバージョンがあるけど都度対応する必要あるの？
ローリングリリースではないの？

アップグレードは都度対応
https://pve.proxmox.com/wiki/Upgrade_from_6.x_to_7.0

https://pc.watch.impress.co.jp/docs/column/kaimono/1464643.html

>>297
やっぱKVMよりも、仮想に特化したProxmoxの方が良さそうだな。
普通にqcow2を移行できる？

移行もなにもPVEの下回りはQEMU/KVMでございます
普通にローカルディスク上に仮想マシンを作ったらqcow2で仮想ディスクが作られるし、
それを手持ちのqcow2ファイルに差し替えて、hardware設定等適当に合わせてやればProxmox上で実行/管理できるよ

仮想に特化したProxmoxって何やろ。
これまでの何かと比べて何が良さそうなのか全く思いつかんかった。
WebUIが無料で付いてたら特化してるとか？

>>299
そうなんだね。ありがとう！

>>300
実は今Cockpit使っててそれほど不満はないんだけど
上の記事見たら気になってきてさ。
Cockpitはすごく気に入ってるんだけどね。

VMware にいた粘着がここにも来たか

>>286
どうやらzvolはちゃんとtrim対応してるようで未使用領域として開放してくれるっぽい。
またPVEは-s付きでzvolを切り出すので、上記と合わせてシンプロビジョニングを実現してる模様。
zpool iostatで監視しながらゲストのWin10でファイルを消したら、allocがガンガン減って良く出来てるなーと思いました。

システムパーティションはzfsが主流？
raidz使わない場合は恩恵ないよな

>>304
286です。
自分もwin10 VMのzvolをzfs list で見たところ、USEDが即座に増減していることを確認しました。
zvol素晴らしい。。

Proxmoxは簡単なようで難しい。
インタフェースが分かりにくい。
まあ、慣れだけれど。

ここの人たちはファイルシステムはext4使ってる？
ext4かxfsかbtrfsで迷ってる

zfsじゃろ。特に起動ディスクはzfsのraid1。

proxmox本体OSとvm/lxc用でストレージを分けて使ってる。
OSはzfs mirror
OS以外もzfs mirror
RAIDZやbtrfsを使いたい場合は適宜追加して、storage.cfgをいじれば使えるはず。
OS部分はzfs mirrorが良いと思う。btrfs raid1は障害時、bootにdegraded指定が必要だから。

個人用途ならxfsやext4を使う理由はもう無いのでは？

>>309-311
ありがとうございます。下記のようにRAID無しのext4で考えてましたが本体OS用SSDに無駄が多そうで悩んでます。

SATA SSD 1.2TB→本体OS用(ext4)
PCIe SSD 1.9TB→VM格納用(ext4)
SATA HDD 3TBx2→VMバックアップ&倉庫(xfs)

伺った限りSSD2台にZFSでOS格納用のパーティション作ってRAID1組ませたほうがよさそうですね。

その構成ならSSDで1.2TBのZFSミラーでPVE兼VM格納用にするのがシンプルかつ無駄なくていいかと。
速度はSATAに引きずられることになるけどね。
倉庫もZFSにすればPCIe SSDの空きをslog、L2ARCに割り当てて性能アップも見込める。

>>312
一度proxmoxを今のOSのVMにzfsでインストールして見たほうが良いかと。
インストールすれば分かるけど、pve自体は3GBも使わない。試しにインストールしたpve 7.3-3 on btrfsだと2.6G。
最新の pve インストーラISO はrootパーティションサイズを指定できるはず。
その構成だと自分なら、SATAとPCIe SSDの10-20G のパーティションに zfs mirror でpve本体をインストールすると思う。残りのSSDパーティションは好きなファイルシステムやRAIDで。
HDDはその用途なら全部丸ごと zfs mirror で良さそう。

自分は SSDx2 にvfat(UEFI/ESP) 0.5G、zfs rpool(mirror 20G)、swap(20G)、残りを zfs ssdpool(mirror/暗号化)。
HDD8TBx2 は各1partitionで zfs hddpool(mirror/暗号化)で運用中。

esxiだとusb起動するのがよく行われてたし
壊れても入れ直せば復元できたからraidの必要性感じなかったけどkvmは違うのかな

>>316
壊れるのにraidの必要性を感じないなら、お好きにどうぞ。って感じ。

どこまでクリティカルかで物理の準備が違うので、
わかっててやってるならそれが正解

>>315
zfsは80%に抑えるルールがあるけどしばらく運用しても問題ないですか？

>>319
ファイル削除しなければ

>>320
削除と何か相関性あるんでしたっけ

>>319
80%ルール(？)というのは分からないけど、disk fullにならなければ問題ないかと思ってる。
(disk full時の)ファイル削除で気をつける(？)というのは、CoWのことかなぁ。。
CoW以外には、snapshot が存在していると、ファイル削除では容量が増えないので気をつけるひつようがあるらしいね。
https://docs.oracle.com/cd/E19253-01/819-6260/gayra/index.html

ZFSは断片化が進んで連続領域がなくなってくると、CoWとアトミック操作のために、
その都度フラグメントをかき集めることになって性能が著しく低下するんよ。
プール容量の10〜20%が空いた状態で使うべしと言われるのは、これを避ける意味合いが強いと思われる。
昨今の大容量プールだと10%でもだいぶデカいし、経験上200〜300GB程あれば十分という感触。

308ですがSATAのSSD(256GB)を見つけたのでSSD(1.6GB)とシステムパーティションをraid1で組ませることにしました。
最初zfsでやろうとしましたがHDDが同サイズでないとインストールできなかったので諦めてbtrfsにしました。
ありがとうございました。

1.2TBだった

virtio SCSIですが、無印とSingleの2つあるようですが、proxmox的にはどちらが良いのでしょうか？
pve 7.3-6、VMはWindows10です。

>>326
singleの方がディスクI/O性能が上とされてる。特に理由がないならsingleでいいかと。
無印は1コントローラでディスク最大16台、singleは1台毎に1コントローラというトポロジーになる。
I/Oスレッドはコントローラ毎に1つなので、複数ディスクに多量のアクセスがある状況ではsingleがより有利と思われる。

>>327
なるほど、ありがとうございます。
高負荷状況で違いが出てくるのですね。
VM作って試してみたところ、SCSI-Singleのdiskはvirtio0になり、SSD emulationはチェック不可でした。
Win10 VMのタスクマネージャはHDD表示でした。
うーん、ストレージが高負荷になるような使い方はしないので、SCSI無印で様子を見てみようと思います。。

>>328
うちではsingleでもSSD emulationにチェック付けられるが、
そもそもvirtio0で見えてるってことはvirtio-blkでくっついてない？

>>329
VM の Hardware 設定を見てみたところ、Hard Disk (virtio0) となっていました。
新規VMをSCSI single、Disks Bus/Device を SCSI で作ったところ、Hard Disk (scsi0) となってました。
もしかすると Bus/Device の変更で IDE -> VirtIO Block にして作ってしまったのかもしれません。
VirtIO Block は Controller 無しで使えるんですね。。
ありがとうございました。

Proxmox VE 7.4 released!
https://forum.proxmox.com/threads/proxmox-ve-7-4-released.124615/

btrfsバグ直ってないかなあ

ついに来たな

ZFSでインストールした人に聞きたいんだけどRAID1の場合HDDサイズ全く同じでないとインストールできない？
大きく異なる場合はNGだったけど例えば256GBと240GBとかならいけるんだろか

純粋なRAID1ならサイズが小さい方のHDDの容量で構成できるはずだけど、Promoxは試してみないと判らない。

そうなんだよね
ZFS RAID1なら普通は小さい方に合わせるから試しに1TBと256GBでインストール試みたら弾かれた
SSDはセルを一部キャッシュに使ったりしてるから製品によって容量バラバラなんだけど、差分がどこまで許容されるか分からないと怖くて買えないわ
故障したとき新SSDをZFSに組み込めずに終わる予感するし容量拡張もできない気がする
PVE直インストールでなくDebian挟んだほうがいいのかもしれんな

インストール時にプールサイズを指定してもダメ？
とりあえず小さい方に単発で入れて、後からでかいのをattachしてミラー化するとか

それでできたはず

あとからmirrorにしたり起動ディスクが故障した場合、ブート領域の復元は proxmox-boot-tool を使えば良いですか？

winows VMのコア数ですが、7 core などの奇数でも問題ないんですかね？
昔は1 coreも割とありましたが、今は珍しいかなと。

amdに３コアあったよ。

>>341
ありがとう。Win10 VMを3coreにしたら無事動作しました。