【PVE】Proxmox VE【KVM, OpenVZ】

Debianベースのアプライアンス、Proxmox VEを語りましょう！

公式サイト
http://www.proxmox.com/

proxmox wiki(日本語)
http://ja.wikipedia.org/wiki/Proxmox_VE_(%E4%BB%AE%E6%83%B3%E5%8C%96%E3%83%97%E3%83%A9%E3%83%83%E3%83%88%E3%83%95%E3%82%A9%E3%83%BC%E3%83%A0)

proxmox wiki
http://pve.proxmox.com/wiki/Main_Page

公式から無料でisoを落としてきて、CDに焼いて CD bootしたら
インストーラが起動してグラフィカルに簡単インストール。
インストール完了後すぐに他のマシンからhttpでWebアクセスして
使える。Web管理画面は日本語対応。
内部ではKVMやOpenVZが仮想化基盤として使われている。

VMware ESXiのような感じに使えると思うので、乗り換えの方もぜひ。

ついに来たな

proxmox、terraform provider まであるのか。

これってバージョンがあるけど都度対応する必要あるの？
ローリングリリースではないの？

アップグレードは都度対応
https://pve.proxmox.com/wiki/Upgrade_from_6.x_to_7.0

https://pc.watch.impress.co.jp/docs/column/kaimono/1464643.html

>>297
やっぱKVMよりも、仮想に特化したProxmoxの方が良さそうだな。
普通にqcow2を移行できる？

移行もなにもPVEの下回りはQEMU/KVMでございます
普通にローカルディスク上に仮想マシンを作ったらqcow2で仮想ディスクが作られるし、
それを手持ちのqcow2ファイルに差し替えて、hardware設定等適当に合わせてやればProxmox上で実行/管理できるよ

仮想に特化したProxmoxって何やろ。
これまでの何かと比べて何が良さそうなのか全く思いつかんかった。
WebUIが無料で付いてたら特化してるとか？

>>299
そうなんだね。ありがとう！

>>300
実は今Cockpit使っててそれほど不満はないんだけど
上の記事見たら気になってきてさ。
Cockpitはすごく気に入ってるんだけどね。

VMware にいた粘着がここにも来たか

>>286
どうやらzvolはちゃんとtrim対応してるようで未使用領域として開放してくれるっぽい。
またPVEは-s付きでzvolを切り出すので、上記と合わせてシンプロビジョニングを実現してる模様。
zpool iostatで監視しながらゲストのWin10でファイルを消したら、allocがガンガン減って良く出来てるなーと思いました。

システムパーティションはzfsが主流？
raidz使わない場合は恩恵ないよな

>>304
286です。
自分もwin10 VMのzvolをzfs list で見たところ、USEDが即座に増減していることを確認しました。
zvol素晴らしい。。

Proxmoxは簡単なようで難しい。
インタフェースが分かりにくい。
まあ、慣れだけれど。

ここの人たちはファイルシステムはext4使ってる？
ext4かxfsかbtrfsで迷ってる

zfsじゃろ。特に起動ディスクはzfsのraid1。

proxmox本体OSとvm/lxc用でストレージを分けて使ってる。
OSはzfs mirror
OS以外もzfs mirror
RAIDZやbtrfsを使いたい場合は適宜追加して、storage.cfgをいじれば使えるはず。
OS部分はzfs mirrorが良いと思う。btrfs raid1は障害時、bootにdegraded指定が必要だから。

個人用途ならxfsやext4を使う理由はもう無いのでは？

>>309-311
ありがとうございます。下記のようにRAID無しのext4で考えてましたが本体OS用SSDに無駄が多そうで悩んでます。

SATA SSD 1.2TB→本体OS用(ext4)
PCIe SSD 1.9TB→VM格納用(ext4)
SATA HDD 3TBx2→VMバックアップ&倉庫(xfs)

伺った限りSSD2台にZFSでOS格納用のパーティション作ってRAID1組ませたほうがよさそうですね。

その構成ならSSDで1.2TBのZFSミラーでPVE兼VM格納用にするのがシンプルかつ無駄なくていいかと。
速度はSATAに引きずられることになるけどね。
倉庫もZFSにすればPCIe SSDの空きをslog、L2ARCに割り当てて性能アップも見込める。

>>312
一度proxmoxを今のOSのVMにzfsでインストールして見たほうが良いかと。
インストールすれば分かるけど、pve自体は3GBも使わない。試しにインストールしたpve 7.3-3 on btrfsだと2.6G。
最新の pve インストーラISO はrootパーティションサイズを指定できるはず。
その構成だと自分なら、SATAとPCIe SSDの10-20G のパーティションに zfs mirror でpve本体をインストールすると思う。残りのSSDパーティションは好きなファイルシステムやRAIDで。
HDDはその用途なら全部丸ごと zfs mirror で良さそう。

自分は SSDx2 にvfat(UEFI/ESP) 0.5G、zfs rpool(mirror 20G)、swap(20G)、残りを zfs ssdpool(mirror/暗号化)。
HDD8TBx2 は各1partitionで zfs hddpool(mirror/暗号化)で運用中。

esxiだとusb起動するのがよく行われてたし
壊れても入れ直せば復元できたからraidの必要性感じなかったけどkvmは違うのかな

>>316
壊れるのにraidの必要性を感じないなら、お好きにどうぞ。って感じ。

どこまでクリティカルかで物理の準備が違うので、
わかっててやってるならそれが正解

>>315
zfsは80%に抑えるルールがあるけどしばらく運用しても問題ないですか？

>>319
ファイル削除しなければ

>>320
削除と何か相関性あるんでしたっけ

>>319
80%ルール(？)というのは分からないけど、disk fullにならなければ問題ないかと思ってる。
(disk full時の)ファイル削除で気をつける(？)というのは、CoWのことかなぁ。。
CoW以外には、snapshot が存在していると、ファイル削除では容量が増えないので気をつけるひつようがあるらしいね。
https://docs.oracle.com/cd/E19253-01/819-6260/gayra/index.html

ZFSは断片化が進んで連続領域がなくなってくると、CoWとアトミック操作のために、
その都度フラグメントをかき集めることになって性能が著しく低下するんよ。
プール容量の10〜20%が空いた状態で使うべしと言われるのは、これを避ける意味合いが強いと思われる。
昨今の大容量プールだと10%でもだいぶデカいし、経験上200〜300GB程あれば十分という感触。

308ですがSATAのSSD(256GB)を見つけたのでSSD(1.6GB)とシステムパーティションをraid1で組ませることにしました。
最初zfsでやろうとしましたがHDDが同サイズでないとインストールできなかったので諦めてbtrfsにしました。
ありがとうございました。

1.2TBだった

virtio SCSIですが、無印とSingleの2つあるようですが、proxmox的にはどちらが良いのでしょうか？
pve 7.3-6、VMはWindows10です。

>>326
singleの方がディスクI/O性能が上とされてる。特に理由がないならsingleでいいかと。
無印は1コントローラでディスク最大16台、singleは1台毎に1コントローラというトポロジーになる。
I/Oスレッドはコントローラ毎に1つなので、複数ディスクに多量のアクセスがある状況ではsingleがより有利と思われる。

>>327
なるほど、ありがとうございます。
高負荷状況で違いが出てくるのですね。
VM作って試してみたところ、SCSI-Singleのdiskはvirtio0になり、SSD emulationはチェック不可でした。
Win10 VMのタスクマネージャはHDD表示でした。
うーん、ストレージが高負荷になるような使い方はしないので、SCSI無印で様子を見てみようと思います。。

>>328
うちではsingleでもSSD emulationにチェック付けられるが、
そもそもvirtio0で見えてるってことはvirtio-blkでくっついてない？

>>329
VM の Hardware 設定を見てみたところ、Hard Disk (virtio0) となっていました。
新規VMをSCSI single、Disks Bus/Device を SCSI で作ったところ、Hard Disk (scsi0) となってました。
もしかすると Bus/Device の変更で IDE -> VirtIO Block にして作ってしまったのかもしれません。
VirtIO Block は Controller 無しで使えるんですね。。
ありがとうございました。

Proxmox VE 7.4 released!
https://forum.proxmox.com/threads/proxmox-ve-7-4-released.124615/

btrfsバグ直ってないかなあ

ついに来たな

ZFSでインストールした人に聞きたいんだけどRAID1の場合HDDサイズ全く同じでないとインストールできない？
大きく異なる場合はNGだったけど例えば256GBと240GBとかならいけるんだろか

純粋なRAID1ならサイズが小さい方のHDDの容量で構成できるはずだけど、Promoxは試してみないと判らない。

そうなんだよね
ZFS RAID1なら普通は小さい方に合わせるから試しに1TBと256GBでインストール試みたら弾かれた
SSDはセルを一部キャッシュに使ったりしてるから製品によって容量バラバラなんだけど、差分がどこまで許容されるか分からないと怖くて買えないわ
故障したとき新SSDをZFSに組み込めずに終わる予感するし容量拡張もできない気がする
PVE直インストールでなくDebian挟んだほうがいいのかもしれんな

インストール時にプールサイズを指定してもダメ？
とりあえず小さい方に単発で入れて、後からでかいのをattachしてミラー化するとか

それでできたはず

あとからmirrorにしたり起動ディスクが故障した場合、ブート領域の復元は proxmox-boot-tool を使えば良いですか？

winows VMのコア数ですが、7 core などの奇数でも問題ないんですかね？
昔は1 coreも割とありましたが、今は珍しいかなと。

amdに３コアあったよ。

>>341
ありがとう。Win10 VMを3coreにしたら無事動作しました。

>>337
亀だけどサイズが異なると
mirrored disks must have same size
と言われてインストールできないね
GUIだと無理かも

256GBと240GBでZFS RAID1組もうとしたらディスクサイズ違うと怒られて先に進めなかった
全く容量が同じでないとNGのようだ

N100マシンにproxmox乗せて自宅サーバーを考えています。
proxmoxにした理由はバックアップが簡単だろうと思ったからです。
proxmox使った事ないのですが多分バックアップは1個あるいは数個のファイルになるんですよね？

N100 proxmoxマシン
windows 11マシン

の2台構成でwindowsマシンにproxmoxのバックアップを保存することはできるのでしょうか？
もし出来るのならN100マシンが壊れた時、新たにproxmoxマシンを構築してwindowsに保存していたファイルから復旧する。
と目論んでいるのですが私の妄想についてアドバイスを頂けないでしょうか？

SMB/CIFSストレージとしてマウントすりゃいい

>>345
ホストならddが確実だよ。
dd sshでググってみて。

>>345
自分はproxmox backup server(pbs)使って別ホストにbackupしている。
案1. win11 にhyper-vやvirtualboxなりでpbsのVMを立ててそこにbackup
案2. proxmox上のVMにzvol ではなくqcow2を使う。それをwin11に定期的にコピー(要VM停止)
案3. proxmoxローカルfs(dir)にbackupし、vzdumpファイルをwin11に定期的にコピー
かな。案3はlxcで試したらうまく動いた感じだけど、必ず自分で検証するように。

>>346

アドバイスありがとうございます。
了解です。無課金でも問題ないんですよね？

>>347

出来るだけ止めたくないんですがproxmoxだとsnapshotなどが取れるんじゃないかと考えました。
dd sshでも問題ないのかよく分かっていません。

>>348

具体例をありがとうございます。まだ何もやっていないのですが直感では案1がproxmoxのバックアップに特化しているであろう分、色々な機能、信頼性などの面で良さそうに思えました。

自宅サーバーを運用するに当たり、バックアップ運用がし易そうが理由でproxmoxを採用するってよくある事と言うかもっともな理由になるんでしょうか？
別に個人の自由だけど変わった奴だなと思われたりするのかな？

それproxmoxの話より仮想サーバの話じゃなかろうか

proxmoxってバックアップに特化してると勘違いしている意味だったら
変わった奴だなと思う

proxmoxは仮想マシンをバックアップから元に戻すのすげーめんどくさいよ

なぜか知らないけどマシン構成をインポートできないから再インストールしたproxmoxに戻すにはポチポチマシン構成を1から新規作成してその上にバックアップしたhddイメージうわがいていく作業が待っている

>>355
自分の環境だとAクラスタのVMのバックアップをNFSに保存して、そのファイルを
使って普通にマシン構成そのままBクラスタにVMをリストアできるけどなあ。
ストレージの保存先はリストア時に選択できる。

>>345の質問には>>346に１票。

>>355は悪い夢でも見てるんだろう
でなきゃただのおま環

isoマウントしっぱなしとかそんなのじゃないの

これってローリングリリース？

https://forum.proxmox.com/threads/proxmox-ve-support-lifecycle.35755/
ごめん。ローリングだったね。

昨日インストールしてOSD作ってCephFS作ろうとするとエラーになる。
ディスクをCephFSに組み込めない。
Pool消してやり直してもダメ。
これはどうしたもんか…
経験ありますか？教えてエロい人。

どういうエラー（メッセージ）が出たかをなぜ書かないんだろうか

>>362
ごめんな。
結論から言うと諦めた。
こちらは2台ホスト構成だったが
Cephは3台構成でないと動作しないってw
最初から言ってくれよ。。

7.4-3使ってます
Connectx-3がlspciでは認識してるのに、GUIのSystem→Networkに出てこないのは何でですかね？

どこぞでifupdown2が悪さしてる説を見かけた
うちでもConnectX-3だと何故か通信通らなくなってConnectX-4に変えた

まじか。Connectx-4まだ高いからなー
不具合あるとしてもGUIで認識しないことあるのかな

>>366
当初試した限りでは、コマンド叩いてCX3を設定しようにもエラーが返ってきてたので、
PVE経由でも同様にエラーになって有効なNIC扱いにしないのかもね

無理やりMellanox 23.04のドライバ入れたらWebGUIが使えなくなってしまった
SSHは繋がるけど8006が閉じてるぽい
Mellanoxとは別のNIC使ってるのにな

>>368
「閉じてるぽい」が開いてたのか閉じてたのか気になる・・・

Proxmox VE 8.0 (beta) released!
https://forum.proxmox.com/threads/proxmox-ve-8-0-beta-released.128677/

ついに来たな

ついにConnectx3使えるか？

Proxmox VE 8.0 released!
https://forum.proxmox.com/threads/proxmox-ve-8-0-released.129320/

ついに来たな

ついに来たな

コマンドでアップデートされます？

https://pve.proxmox.com/wiki/Upgrade_from_7_to_8

aptでいけるみたいやな

やったぜ！

>>242
今回はどうだろう？

>>242
ええ…

バックアップでVM退避させてからアップグレード
とりあえず問題はなさそう

In-place upgrade
Co-installed Proxmox Backup Server should wait until a public beta or final version will be released.

aptでpbs追加している場合、pve8 に上げるのは待てってことかな。。？
もしくは単にpbsのupdateは今後、と言ってるだけかなぁ。

>>382
普通はaptだけでバージョン上げられるの？
ローリング的な？

apt でアップグレードするって読めた
https://pve.proxmox.com/wiki/Upgrade_from_7_to_8#In-place_upgrade

>>384
ありがと。リンク見ました。
ゴニョゴニョしてdist-upgradeですね。

pbs3も出たな

ついに来たな

pmg8も出た

サーバーで動いている環境をディスクごと引っこ抜いてVE8を導入後に
ディスクを戻してNIC,HBA,GPUを全部パススルーで仮想化した元環境に渡したらほとんど弄らずに元環境が動いてしまった…。

元環境で動かしてたファンコンもsmfcで代替できたし最高。
導入先がめっちゃ古いインテルSSDだから早くないどころかむしろ遅いけどHPA設定して使ってたヤツだからシングル運用でも多分大丈夫。

自宅サーバー、web,mail,パスワード管理（bitwareden)。ついでにNASにもしたい。
予算５万円。低消費電力でおすすめPC教えて下さい。
中華ミニpcは耐久性が不安だけどどんなもんでしょうか？

p-core e-coreってWindows VMにはどう見えるんですかね？
みな同じp(?)-coreに見えて区別出来ないとか？？
pve7.4-15

VT-x はあるけどVT-d が無い（具体的には i5-2410M）でproxmox は動くのでしょうか？
分からないのでご教示ください。

2410M のノートパソコンに proxmox インストール出来たんですが、VM 作ったら起動しません。現在悪あがき中です。