【PVE】Proxmox VE【KVM, OpenVZ】

Debianベースのアプライアンス、Proxmox VEを語りましょう！

公式サイト
http://www.proxmox.com/

proxmox wiki(日本語)
http://ja.wikipedia.org/wiki/Proxmox_VE_(%E4%BB%AE%E6%83%B3%E5%8C%96%E3%83%97%E3%83%A9%E3%83%83%E3%83%88%E3%83%95%E3%82%A9%E3%83%BC%E3%83%A0)

proxmox wiki
http://pve.proxmox.com/wiki/Main_Page

公式から無料でisoを落としてきて、CDに焼いて CD bootしたら
インストーラが起動してグラフィカルに簡単インストール。
インストール完了後すぐに他のマシンからhttpでWebアクセスして
使える。Web管理画面は日本語対応。
内部ではKVMやOpenVZが仮想化基盤として使われている。

VMware ESXiのような感じに使えると思うので、乗り換えの方もぜひ。

その構成ならSSDで1.2TBのZFSミラーでPVE兼VM格納用にするのがシンプルかつ無駄なくていいかと。
速度はSATAに引きずられることになるけどね。
倉庫もZFSにすればPCIe SSDの空きをslog、L2ARCに割り当てて性能アップも見込める。

>>312
一度proxmoxを今のOSのVMにzfsでインストールして見たほうが良いかと。
インストールすれば分かるけど、pve自体は3GBも使わない。試しにインストールしたpve 7.3-3 on btrfsだと2.6G。
最新の pve インストーラISO はrootパーティションサイズを指定できるはず。
その構成だと自分なら、SATAとPCIe SSDの10-20G のパーティションに zfs mirror でpve本体をインストールすると思う。残りのSSDパーティションは好きなファイルシステムやRAIDで。
HDDはその用途なら全部丸ごと zfs mirror で良さそう。

自分は SSDx2 にvfat(UEFI/ESP) 0.5G、zfs rpool(mirror 20G)、swap(20G)、残りを zfs ssdpool(mirror/暗号化)。
HDD8TBx2 は各1partitionで zfs hddpool(mirror/暗号化)で運用中。

esxiだとusb起動するのがよく行われてたし
壊れても入れ直せば復元できたからraidの必要性感じなかったけどkvmは違うのかな

>>316
壊れるのにraidの必要性を感じないなら、お好きにどうぞ。って感じ。

どこまでクリティカルかで物理の準備が違うので、
わかっててやってるならそれが正解

>>315
zfsは80%に抑えるルールがあるけどしばらく運用しても問題ないですか？

>>319
ファイル削除しなければ

>>320
削除と何か相関性あるんでしたっけ

>>319
80%ルール(？)というのは分からないけど、disk fullにならなければ問題ないかと思ってる。
(disk full時の)ファイル削除で気をつける(？)というのは、CoWのことかなぁ。。
CoW以外には、snapshot が存在していると、ファイル削除では容量が増えないので気をつけるひつようがあるらしいね。
https://docs.oracle.com/cd/E19253-01/819-6260/gayra/index.html

ZFSは断片化が進んで連続領域がなくなってくると、CoWとアトミック操作のために、
その都度フラグメントをかき集めることになって性能が著しく低下するんよ。
プール容量の10〜20%が空いた状態で使うべしと言われるのは、これを避ける意味合いが強いと思われる。
昨今の大容量プールだと10%でもだいぶデカいし、経験上200〜300GB程あれば十分という感触。

308ですがSATAのSSD(256GB)を見つけたのでSSD(1.6GB)とシステムパーティションをraid1で組ませることにしました。
最初zfsでやろうとしましたがHDDが同サイズでないとインストールできなかったので諦めてbtrfsにしました。
ありがとうございました。

1.2TBだった

virtio SCSIですが、無印とSingleの2つあるようですが、proxmox的にはどちらが良いのでしょうか？
pve 7.3-6、VMはWindows10です。

>>326
singleの方がディスクI/O性能が上とされてる。特に理由がないならsingleでいいかと。
無印は1コントローラでディスク最大16台、singleは1台毎に1コントローラというトポロジーになる。
I/Oスレッドはコントローラ毎に1つなので、複数ディスクに多量のアクセスがある状況ではsingleがより有利と思われる。

>>327
なるほど、ありがとうございます。
高負荷状況で違いが出てくるのですね。
VM作って試してみたところ、SCSI-Singleのdiskはvirtio0になり、SSD emulationはチェック不可でした。
Win10 VMのタスクマネージャはHDD表示でした。
うーん、ストレージが高負荷になるような使い方はしないので、SCSI無印で様子を見てみようと思います。。

>>328
うちではsingleでもSSD emulationにチェック付けられるが、
そもそもvirtio0で見えてるってことはvirtio-blkでくっついてない？

>>329
VM の Hardware 設定を見てみたところ、Hard Disk (virtio0) となっていました。
新規VMをSCSI single、Disks Bus/Device を SCSI で作ったところ、Hard Disk (scsi0) となってました。
もしかすると Bus/Device の変更で IDE -> VirtIO Block にして作ってしまったのかもしれません。
VirtIO Block は Controller 無しで使えるんですね。。
ありがとうございました。

Proxmox VE 7.4 released!
https://forum.proxmox.com/threads/proxmox-ve-7-4-released.124615/

btrfsバグ直ってないかなあ

ついに来たな

ZFSでインストールした人に聞きたいんだけどRAID1の場合HDDサイズ全く同じでないとインストールできない？
大きく異なる場合はNGだったけど例えば256GBと240GBとかならいけるんだろか

純粋なRAID1ならサイズが小さい方のHDDの容量で構成できるはずだけど、Promoxは試してみないと判らない。

そうなんだよね
ZFS RAID1なら普通は小さい方に合わせるから試しに1TBと256GBでインストール試みたら弾かれた
SSDはセルを一部キャッシュに使ったりしてるから製品によって容量バラバラなんだけど、差分がどこまで許容されるか分からないと怖くて買えないわ
故障したとき新SSDをZFSに組み込めずに終わる予感するし容量拡張もできない気がする
PVE直インストールでなくDebian挟んだほうがいいのかもしれんな

インストール時にプールサイズを指定してもダメ？
とりあえず小さい方に単発で入れて、後からでかいのをattachしてミラー化するとか

それでできたはず

あとからmirrorにしたり起動ディスクが故障した場合、ブート領域の復元は proxmox-boot-tool を使えば良いですか？

winows VMのコア数ですが、7 core などの奇数でも問題ないんですかね？
昔は1 coreも割とありましたが、今は珍しいかなと。

amdに３コアあったよ。

>>341
ありがとう。Win10 VMを3coreにしたら無事動作しました。

>>337
亀だけどサイズが異なると
mirrored disks must have same size
と言われてインストールできないね
GUIだと無理かも

256GBと240GBでZFS RAID1組もうとしたらディスクサイズ違うと怒られて先に進めなかった
全く容量が同じでないとNGのようだ

N100マシンにproxmox乗せて自宅サーバーを考えています。
proxmoxにした理由はバックアップが簡単だろうと思ったからです。
proxmox使った事ないのですが多分バックアップは1個あるいは数個のファイルになるんですよね？

N100 proxmoxマシン
windows 11マシン

の2台構成でwindowsマシンにproxmoxのバックアップを保存することはできるのでしょうか？
もし出来るのならN100マシンが壊れた時、新たにproxmoxマシンを構築してwindowsに保存していたファイルから復旧する。
と目論んでいるのですが私の妄想についてアドバイスを頂けないでしょうか？

SMB/CIFSストレージとしてマウントすりゃいい

>>345
ホストならddが確実だよ。
dd sshでググってみて。

>>345
自分はproxmox backup server(pbs)使って別ホストにbackupしている。
案1. win11 にhyper-vやvirtualboxなりでpbsのVMを立ててそこにbackup
案2. proxmox上のVMにzvol ではなくqcow2を使う。それをwin11に定期的にコピー(要VM停止)
案3. proxmoxローカルfs(dir)にbackupし、vzdumpファイルをwin11に定期的にコピー
かな。案3はlxcで試したらうまく動いた感じだけど、必ず自分で検証するように。

>>346

アドバイスありがとうございます。
了解です。無課金でも問題ないんですよね？

>>347

出来るだけ止めたくないんですがproxmoxだとsnapshotなどが取れるんじゃないかと考えました。
dd sshでも問題ないのかよく分かっていません。

>>348

具体例をありがとうございます。まだ何もやっていないのですが直感では案1がproxmoxのバックアップに特化しているであろう分、色々な機能、信頼性などの面で良さそうに思えました。

自宅サーバーを運用するに当たり、バックアップ運用がし易そうが理由でproxmoxを採用するってよくある事と言うかもっともな理由になるんでしょうか？
別に個人の自由だけど変わった奴だなと思われたりするのかな？

それproxmoxの話より仮想サーバの話じゃなかろうか

proxmoxってバックアップに特化してると勘違いしている意味だったら
変わった奴だなと思う

proxmoxは仮想マシンをバックアップから元に戻すのすげーめんどくさいよ

なぜか知らないけどマシン構成をインポートできないから再インストールしたproxmoxに戻すにはポチポチマシン構成を1から新規作成してその上にバックアップしたhddイメージうわがいていく作業が待っている

>>355
自分の環境だとAクラスタのVMのバックアップをNFSに保存して、そのファイルを
使って普通にマシン構成そのままBクラスタにVMをリストアできるけどなあ。
ストレージの保存先はリストア時に選択できる。

>>345の質問には>>346に１票。

>>355は悪い夢でも見てるんだろう
でなきゃただのおま環

isoマウントしっぱなしとかそんなのじゃないの

これってローリングリリース？

https://forum.proxmox.com/threads/proxmox-ve-support-lifecycle.35755/
ごめん。ローリングだったね。

昨日インストールしてOSD作ってCephFS作ろうとするとエラーになる。
ディスクをCephFSに組み込めない。
Pool消してやり直してもダメ。
これはどうしたもんか…
経験ありますか？教えてエロい人。

どういうエラー（メッセージ）が出たかをなぜ書かないんだろうか

>>362
ごめんな。
結論から言うと諦めた。
こちらは2台ホスト構成だったが
Cephは3台構成でないと動作しないってw
最初から言ってくれよ。。

7.4-3使ってます
Connectx-3がlspciでは認識してるのに、GUIのSystem→Networkに出てこないのは何でですかね？

どこぞでifupdown2が悪さしてる説を見かけた
うちでもConnectX-3だと何故か通信通らなくなってConnectX-4に変えた

まじか。Connectx-4まだ高いからなー
不具合あるとしてもGUIで認識しないことあるのかな

>>366
当初試した限りでは、コマンド叩いてCX3を設定しようにもエラーが返ってきてたので、
PVE経由でも同様にエラーになって有効なNIC扱いにしないのかもね

無理やりMellanox 23.04のドライバ入れたらWebGUIが使えなくなってしまった
SSHは繋がるけど8006が閉じてるぽい
Mellanoxとは別のNIC使ってるのにな

>>368
「閉じてるぽい」が開いてたのか閉じてたのか気になる・・・

Proxmox VE 8.0 (beta) released!
https://forum.proxmox.com/threads/proxmox-ve-8-0-beta-released.128677/

ついに来たな

ついにConnectx3使えるか？

Proxmox VE 8.0 released!
https://forum.proxmox.com/threads/proxmox-ve-8-0-released.129320/

ついに来たな

ついに来たな

コマンドでアップデートされます？

https://pve.proxmox.com/wiki/Upgrade_from_7_to_8

aptでいけるみたいやな

やったぜ！

>>242
今回はどうだろう？

>>242
ええ…

バックアップでVM退避させてからアップグレード
とりあえず問題はなさそう

In-place upgrade
Co-installed Proxmox Backup Server should wait until a public beta or final version will be released.

aptでpbs追加している場合、pve8 に上げるのは待てってことかな。。？
もしくは単にpbsのupdateは今後、と言ってるだけかなぁ。

>>382
普通はaptだけでバージョン上げられるの？
ローリング的な？

apt でアップグレードするって読めた
https://pve.proxmox.com/wiki/Upgrade_from_7_to_8#In-place_upgrade

>>384
ありがと。リンク見ました。
ゴニョゴニョしてdist-upgradeですね。

pbs3も出たな

ついに来たな

pmg8も出た

サーバーで動いている環境をディスクごと引っこ抜いてVE8を導入後に
ディスクを戻してNIC,HBA,GPUを全部パススルーで仮想化した元環境に渡したらほとんど弄らずに元環境が動いてしまった…。

元環境で動かしてたファンコンもsmfcで代替できたし最高。
導入先がめっちゃ古いインテルSSDだから早くないどころかむしろ遅いけどHPA設定して使ってたヤツだからシングル運用でも多分大丈夫。

自宅サーバー、web,mail,パスワード管理（bitwareden)。ついでにNASにもしたい。
予算５万円。低消費電力でおすすめPC教えて下さい。
中華ミニpcは耐久性が不安だけどどんなもんでしょうか？

p-core e-coreってWindows VMにはどう見えるんですかね？
みな同じp(?)-coreに見えて区別出来ないとか？？
pve7.4-15

VT-x はあるけどVT-d が無い（具体的には i5-2410M）でproxmox は動くのでしょうか？
分からないのでご教示ください。

2410M のノートパソコンに proxmox インストール出来たんですが、VM 作ったら起動しません。現在悪あがき中です。

BIOSでvt-xがイネーブルになってないとか

Virtualization Technology enabled
になっています。これだと思うんですけど。。。。他にそれらしいのが見つかりません。

vm を作ると start failed qemu exited with code 1 と言うエラーがでるのでググっているのですがよく分かりません。。。。

>>390
中華ミニPCはNASにするならストレージが積みにくいかな
消費電力は悪くないと思うけど
うちはDESKMINIだけどSATA SSDとNVME2台ずつをそれぞれミラーリングしてアイドル15Wくらい
DELLとかHPとかLenovoの小さいデスクトップの中古も安くていいらしいけど使ったことはない

自作でNAS組んだほうが何かあったときとかメンテとか対応できそうな気はする

>>397
それも中華…

使いやすいN100機が増えるといいんだが

Beelink s12pro Amazonタイムセールで25800円で買って、RAM32GBにして、Win11のVM2台、Ubuntuのコンテナ1台運用中だけど、サクサク快適！

B0BWMWFCSG
B0BZVFM3R4
Beelink Mini S12 Pro 16GB 500GB SSD
23000円切り
ご参考まで

>>402
NVMeの最大速度がたった「800MB/s」というのが可愛らしい（笑）が、仮想マシンを立ち上げるだけなら問題はないか。
それより、メモリースロットがひとつしかないから、メモリーを32GBにすると、行き場のない16GBがまた一つ家に生えてしまう……。

>>403
8GBで頑張っている私にくださいｗ

そのお下がりを（ｒｙ

1週間程待ってね。
余っているDDR4 2666 16GBで良ければ、3200での動作検証後、希望者にお譲りします。（笑）

>>406
え！マジですか？ｗ
もしマジでお譲り頂けるのでしたらもちろん私のお下がり8GBは >>405 さんへお譲りさせて頂きます（そういう意味ですよね？）
正座してお待ちしております。ｗ

ちなみに N100 N95 ミニPCですが、アマゾンにおいて現在、今年６月頃の最安値、あるいは同等以下の価格になっています。
N100 16GB 500GB マシンが２３０００円以下、ポイントや paidy 払いで実質２１０００円位。
N95 8GB 256GB マシンが１５８００円位、ポイント paidy 払いで実質１４０００円強。
突発的にそれよりも瞬間的に安くなることも結構あります。keepa で見張っていると良いです。
アイドル状態では 5W 、ベンチでも20W位ですので２４時間サーバーとしてお財布に優しい電気代金ですので、
一般のご家庭には十分な性能かとｗ

ついでに、N100 N95 マシン、proxmox 7 では少々小細工しないとインストール出来なかったのですが、proxmox 8 になって問題なくインストール出来るようになりました。

DDR5 48GB認識したぜぇ～

>>407 さん、
お待たせしました。他の機器とメモリーを取っ替え引っ替えした結果、結局S12 Proの16GBが余ってしまったのでお譲りします。
[email protected] まで宛先をお知らせ下さい。普通郵便でお送りします。よろしくお願いいたします。

cephがうまく構築できない…助けてぇ