【PVE】Proxmox VE【KVM, LXC】NODE-2

Proxmox VEについて語りましょう！

Proxmox VEは、Debianをベースとしたオープンソースのサーバー仮想化プラットフォームです
仮想マシンとコンテナの管理を、統合されたWebインターフェイスを通じて直感的に行うことができます

【公式サイト】
http://www.proxmox.com/
【公式ドキュメント】
https://pve.proxmox.com/pve-docs/

【特徴】
・オープンソース: コスト効率が良く、広範なコミュニティサポートが利用可能
・仮想マシンとコンテナの統合: KVMとLXCのサポートにより、柔軟な仮想化ソリューションを提供
・クラスタリングによる高可用性: 複数サーバの統合管理で、負荷分散や冗長性を実現
・Web GUIによる簡単管理: 直感的なインターフェースで専門知識がなくても管理可能
・多様なストレージサポート: NFS、iSCSI、Cephなど複数のオプション対応
・統合バックアップとレプリケーション: 簡単設定でデータ保護と災害復旧をサポート
・ライブマイグレーション: 稼働中のVMをダウンタイムなしで移動可能

【前スレ】
【PVE】Proxmox VE【KVM, OpenVZ】
https://mao.5ch.net/test/read.cgi/linux/1381916363/

逆にProxmoxサーバーのシステムディスクがHDDの場合、cephのパフォーマンスにどのぐらい影響するか知りたい。

>>25
[最初の計画]
32GB(SLC)をZFS・ミラーで冗長化して起動用(6台分)2個は予備
180GBｘ3をZFS・RAIDZで冗長化（4台分）
Proxmox ｘ3＋予備マシンｘ1、NASｘ1、実験用ｘ1

[途中の計画]
32GB(SLC)をZFS・ミラーで冗長化して起動用(6台分)2個は予備
180ｘ3をCephに使う(マシン3台＋1台）2個は予備
Proxmox ｘ3＋予備マシン＊1、NASｘ1、実験用ｘ1

[現在(中断する計画)]
32GB(SLC)をZFS・ミラーで冗長化して起動用(6台分)2個は予備 （Cpehの書き込み量に対して不安）
NASに使ってるSSDとかHDDをCephに集結して、Proxmox ｘ５＋１(予備)でCephを構築してNASも兼ねる

>>26
HDD、1万回転のSASのなら使ってないのが・・・

＞Proxmox起動用
Ceph無し、容量それほど必要じゃないならSSD（ただし、信頼性の高いメーカー・モデルが良い）
HDDは電源切断直後に衝撃を与えると簡単に壊た

>>28
Optaneは昔数点確保してたけど、入手性が悪くて必要量確保するのが・・・

>>29
Cephの公式ドキュメントだとモニターノード用に100GB確保する事が推奨されてた
OSD少な目でも数十GBの容量は確保する必要が有りそうなので、tmpfsでの運用は難しいと思う
tmpfsを定期的に保存してたとして、障害発生時にモニターとOSDでの配置マップの整合性が合わないと最悪データ壊れたり、未知の不具合が起こるかも
モニターが保存してるデータベースは重要みたいで、モニターノードは頻繁にfsync発行してるらしい（ちょっと曖昧）

Cephのベンチマーク
Proxmoxの３台のノードでCephを構築
３ノードで同時に書き込み（シーケンシャル）をして書き込みレートを合計
NIC1Gbps(cluster・public同)　60~70MByte/sec
NIC1Gbps(cluster・public別)　85~95MBye/sec
NIC1Gbpsｘ2 ( balance-rr cluster・public同 ) 115~130MByte/sec
NIC1Gbpsｘ2 ( balance-rr cluster・public同 ecpool ( k=2,m=1 ) ) 230~290MByte/sec

Proxmox VE 8.2 released!
https://forum.proxmox.com/threads/proxmox-ve-8-2-released.145722/

ついに来たな

なんか変わったん？

へぇ。8.1.8以降だと、ESXiからのライブマイグレーションもGUIからできるようになっているのか。
ttps://qiita.com/oishi-d/items/0cc452a022fa1ea07a7b

戻し(PVE→ESXi)もできるようになると面白いと思う。

>>37
なんと

前に調べた時は、ESXi -> proxmox の移行が割と面倒なのと、そもそもハードウエアの準備が間に合わなかったので、当面ESXi を使い続ける決断をしたのだが、いよいよ現実的になってきたな

ZFS RAID1のバグは直ったかな
完全同容量でないと入れられないやつ

>>39
バグか仕様かは知らないが
直ってない

>>40
これ変わらないと将来片方壊れたとき復元できないんだよな

DebianやUbuntuのZFS RAID1なら問題ないの？

>>42
ProxmoxのインストールでZFSのMirrorだと同容量じゃないとインストール出来ないけど
コマンド前提で、インストール後のデータディスクなどにで、異なる容量でミラーを新規作成は-fオプションで可能
壊れたディスクを新しい容量の違う（より容量の多きい）に交換も可能

>>43
詳しく
pve片肺で入れたあとにもう1個繋いでzfsコマンドの-fでraid1作るってこと？-fなんかあったっけ
あとbootパーティションどうにかしないと起動しないよな。grub2再構築だけだといけなかった記憶

>>44
ちょっと気になったから実際に試してみた

◆Proxmoxの起動ディスクを異なる容量のZFS・Mirrorを構築する手順？
（BIOSのUEFI、CSM、SecureBoot等々の組み合わせで、ダメかもしれないが・・・）

インストール画面でZFSのRAID0を選択して容量の少ない方の単独のディスクにインストール
（ disk 0にインストール先　disk 1~ に --do not use-- を選択 ）

インストール後に、以下の手順でbootやら、ZFSミラーやらを構築

gdisk /dev/sdxでパーテーションを作成 （Mirror先が /dev/sdb の場合）
・1 MB BIOS Boot Partition ( gdisk type EF02 )
・512 MB EFI System Partition ( ESP, gdisk type EF00 )
・ZFSミラー用のパーテーション( Type BF01 )

以下のコマンドで起動部分を構築
・proxmox-boot-tool format /dev/sdb2
・proxmox-boot-tool init /dev/sdb2

zpool statusで既存のプールのディスク名を確認「 例）scsi-0QEMU_QEMU_HARDDISK_drive-scsi0-part3 」
以下のコマンドで単独のディスクからMirrorに変更
zpool attach rpool scsi-0QEMU_QEMU_HARDDISK_drive-scsi0-part3 /dev/sdb3
（容量に関する警告が出来る場合は -f で無視できる）

データのミラーリングが完了したら構築完了

参考用検索ワード　「proxmox Host_Bootloader」

kernel更新したらpt3_drv.koの組み込みでコケるようになった
素人判断で合っているのかどうか分からんけど、これで直った

diff pt3_pci.c-dist pt3_pci.c
929c929
< rc = dma_set_coherent_mask((struct device *)pdev, DMA_BIT_MASK(64));
---
> rc = dma_set_coherent_mask(&pdev->dev, DMA_BIT_MASK(64));

EPYCがAM5で出るらしい
普通のパソコンで16C32Tで組める時代になった

>>45
神ですな
proxmox-boot-toolが重要なのかもしれないね
これ使わないとうまく構築できんかった

X950は16C32Tだよね

おいおいdRAIDが選べるのか
RAIDZとどっちがいいんだ？

藤井聡太の師匠、杉本昌隆に使ってもらう事を想定したEPYCだろうか

>>47
16C32Tで何するん？

マルチスレッド番長なCPUが増えてるけど、
シングルスレッド性能がほしい

Webサーバ、DBサーバを分けて、Active/Standby用も分けて建てられるやん。
1環境に2コア割くとして16台のサーバ群が...
楽しいー

>>52
シングルならRyzenだな
IntelはPコア/Eコアの制御が微妙だし、PコアオンリーのXeonは普通のPCで動かない

>>47
AM4でも組めた（3950/5950）けど、使い勝手が悪かったのか？

EPYCならECCメモリ使えるから大容量でも安心じゃん？
と思ったんだけど、RyzenってそもそもECCメモリ普通に使えんのね
知らなかったわ
でも、そうなるとRyzen9との差別化的にEPYC4004シリーズって微妙に思えてきた

RyzenのECCは使えるけど公式サポートされてない
EPYCはされてる

Ryzen7 PRO 4x50Gは無駄にECC正式サポートだったりする。

Proはみんなそうじゃね？

>>53
CPUオーバーコミットすれば更にドン！
メモリーはしらんけど

USB延長コードとキーボードをつないでいたら起動できなかったが、外したら普通に起動ができてまた震えさされた今日

前回お世話になったものでようやくバックアップしようとSSDを増設しlvm-thin でフォーマットしたのですが
たのですが、今使ってるexfatの仮想マシーンを移動することができてもコピーすることが出来ません。
全部LVMTHINに移動してからEXFATのをLVMにフォーマットすればいいのかもしれませんがいろいろと間違わないか不安です。

CHATGPTに聞くとディレクトリ間でコピーしてからコピーしたのを移動すればいいといわれたので、先ずバックアップしようとしたのですが、
LVMTINが選べないのは当然としてLOCALという覚えのない100gのところが指定されるのですが、使っていいか不安です

XEON 2g 18コア からRYZEN7950に移行したら20ぐらいの仮想マシンの環境でブラウジングやエクスプローラーの速度が数倍になりました。
実機よりちょい重いぐらいかなのレベルで動くんですごいですね。
XEONマシンはいろいろとガタが来て超重かっただけかもですが、世代が違うと性能以上の差が出るんですかね

性能以上の差ってどういうことだ？
仮想マシンの場合、passmark の総合スコアだけでなく single thread rating の数字も見ておかないといかんですの

7950Xは16コアとはいえ基本クロック4.5GHzでDDR5だから、Xeon 2GHz 18コアの倍の性能は出るじゃろ。

XEONだと鈍重でまともに動かなかったのは別の理由だったんですかね
ロード100にはなってなかったのでエクスプローラーの重さは異常でした

>>66
xeon 2G 18coreってE5-2686 v3か？
同一クロック同一コア数で半分くらいの性能しか無さそうだな
その上でクロックが倍になるわけで性能はかなり違うのは頷けるね
それくらいの世代だとssdもsataだったりするんじゃないか？

>>61 が実現したいのは次の理解で正しい？

1. VMのバックアップを保存したい
　保存先はストレージRED２BACKUP

2. VMをコピーしたい
　コピーしたVMのHDD保存先はストレージRED

※ストレージlocalとlocal lvmはよくわからないから不安

ニコニコ動画がサーバーの仮想化基盤かリモート管理機能を乗っ取られた

自分も緊急時に備えてサーバーの物理電源を抜く練習（素振り）しとくぞ！

冗談はさておき、みんなは
リモート管理機能（IPMI等）、仮想化基盤（Proxomox)、仮想マシンのネットワークは完全分離してる？
自分は物理的な分離は出来てない（VLANとIPフィルターによる分離・・・）

してない電気代の無駄vlanで十分だ
ただ、使ってる器材が古いから現代の機材を使えば同じ電力で分離できるかもね

逆に論理で分離されているものを物理に戻す意味あるのか
SDNの意味とか

物理のマネージメントはしてるよ

お外から自宅へアクセスがあるのはルーターとNAS（Synology）で走っているOpenVPNとTailscaleだけだから、全部192.168.1.0/24。
仮想環境内で仮想スイッチを使う時があれば、改めてセグメントを考える。

物理的に別のスイッチに繋ってるとたとえファームにどんなバグがあったとしても絶対にフレームが混ざらないという安心感はあるが、
内部ネットワークの分離はVLANでいいわ
ケーブルぐちゃぐちゃになるし

データセンターで稼働する大規模サービスと自宅環境を比べて語ってもしゃーない

さっきpveアップデートしたら立ち上がらなくなった
原因は不明
今夜は徹夜かな
はぁ

>>76
もしかしてアップデートを実行したときにW: (pve-apt-hook) !! WARNING !!以下のproxmox-veを
削除しようとするメッセージが出てなかった？
自分はさっき出たけどapt updateを再度実行してからapt upgradeしたら正常にアップデートできた

>>77
ありがとう
帰宅したらやってみる

>>77
ああ、debian系のお約束か。> updateしてからupgrade

あぼーん

>>80
動物の動画ばっかり見てるわ

(´･ω･`)えろるまんちー

Proxmox の導入を考えているのですが、CPU は
PコアEコアに分かれている Intel より AMD の方が良い（無難？）ような気がするのですが間違ってますか？
ご意見を頂けると幸いです。

Proxmox VE 8はDebian12（カーネルイメージ6.1シリーズ）で動いているので、仮想マシンに負荷がかかると空いているPコアを優先して使うはずです。
全ての仮想マシンに一斉に100パーセントの負荷がかかった場合は、Eコアに割り当てられた仮想マシンの性能が低くなる事は考えられます。

i5 7500tとRyzen5 2400geで動かしてる個人的な感覚なんだけど
AMDよりIntelの方が仮想化が上手いと思う
Winでベンチ動かしたりするとAMDの方が数値はいいんだけど
なんかIntelの方が動きがスムーズな気がする
気のせいかもしれんけどね

まあ古いCPUの比較だから参考にならんか

コメントありがとうございます。
あと、もうひとつ。
仮想マシンを１台しか立てなくても proxmox にしたほうが良いことはあるか？です。
１．バックアップが簡単で復旧も楽？
がまっさきに思いついたのですが他にどんなことが考えられますか？
ご教示頂けると幸いです。

そもそも常時稼働が前提のシステムでECCメモリが使えないシステム構成は選択範囲外

>>86
ESXiでの感想だけど
普段常用するPCが仮想だと何かあったときの復旧が楽なのでメリットはあるね
物理パーツ変更の影響が無いのでゲストがWindowsの場合は特に

バックアップが楽なのと同じようなことだけど
ホストが復旧不可のトラブルになってもProxmoxが起動できるPCと元のストレージがあれば何事も無かったように復旧できるのは便利だった

>>86
バックアップが楽の延長線上の話ですが‥

セキュリティパッチを当てる場合や、重要なサービスを更新するときに、スナップショットを撮っておけばすぐにロールバック可能なので、心理的なハードルが下がります。

>>85
瞬発力というか、シングルコアあたりの処理能力なのか、よくわからんけど、同じような印象はある
ただ、低消費電力CPUの場合というか、モバイルCPUの場合はRyzen の方がバランス良い気がするんだよな
モバイルCPUを積んだ汎用マザーボードが出てくれないものかね
サーバの場合は24時間つけっぱなしだから尚更ですわ
N100 も悪くは無いのだけれども

M11SDVとかじゃ不満なの？

>>90
5800Uを載せてNICが1Gと2.5Gの2つ有って最大メモリー128GBなM-ATXがあれば家での仮想用に最適なんだけれど、そんな誰が買うのか見当も付かない超ニッチな製品なんて製品化されない自信はある。
なので次善の策はECCも使える4750Gか。DDR4のECCって秋葉原のArkかオリオスペックで頼めば手に入るかな。

N100 で64GB か 128GB 積めるのないかね
64GBまでは、非公式にサポートされてるぽいし

N100 で ecc サポートされればいいのに
サーバ用途でスマッシュヒットになると思うんだけどなあ
そもそもN100がこんなに注目させるなんて、intel も思ってなかったんとちゃうか

N100 N95　シリーズの後継の話ってないんですかね？

>>93
どこでそんなガセネタを掴まされたか知らないが、公式には最大16GB。
https://www.intel.co.jp/content/www/jp/ja/products/sku/231803/intel-processor-n100-6m-cache-up-to-3-40-ghz/specifications.html

うちは1枚で32GB積んでいるけど、それ以上は無理。

もしかしてノートPCなら載るのかと調べましたが、1スロット最大64GBが元のAlder Lakeの仕様です。N100DC-ITXならデスクトップ用のメモリーが挿さるので「もしかしたら」64GBまで認識するかもしれません。
DDR5ならCrucialの48GBが認識したというコメントもありますけれど、認識したPCの具体的なメーカーと品名は書かれていません。

https://www.reddit.com/r/MiniPCs/comments/179c9m1/n100_with_32_gb_or_64_gb_of_ram/

>>96
48GBまでは認識したというのはどこかでみた

>>97
かぶった
メモリが2スロットあれば試すんだがなあ
64GB 1枚というメモリはECC付きしか知らんし‥

proxmox 用ミニPCの購入を考えているのですが
Debian が動くか？など何かチェックしておいたほうが良いことってありますか？
あるいはあるとベターな機能など。

ネットワーク位で良いんじゃない？

>>100
ファンの耐久性（場合により、専用の形状？の関係で市販品で交換等の修理が出来ない）
あとは常時稼働を前提にするならECCメモリへの対応状況とか？

逆にECC使えるミニPCなんてあるのか？

>>100
良質な電源とECCメモリだと思います。
また、クラスタするならネットワーク。
ファイルサーバーならホットスワップ。

>>100
用途によるけどraidz、ecc、廃熱性は必須かと
できれば拡張性も

1UはミニPC🥺

HP MicroServerとかECC対応だと思うけど

Raidz未対応とかあるの？

>>86

皆様の数々のアドバイス、ありがとうございました。
その後 proxmox のテスト運用を始めました。
そして一つしか仮想を立てなくても proxmox を立てて良いことはあるか？について
仮想の CPU コア数、メモリ量、ストレージ量を仮想を作成後も細かく変更できることに便利さを感じています。
実機でも不可能では無いですが場合によっては大変手間暇がかかります。

個人的に変な目標があります。
「swap したら負け運用」
です。ｗ
その目標のためにメモリを自由に変更できるのは大変有用でした。

まだ、proxmox の機能の一部しか使っていないと思います。これからが楽しみです。
ではでは

今のWindowsてどれだけ大量のメモリ積んでもスワップする仕様じゃなかったっけ？
Windowsとは限らんからアレだけど

ページファイル削除すればスワップしないんじゃないの？

あ、ちなみに linux, FreeBSD での swap です。

>>110
設定で変えられる

error SWAP memorry というかんじで全体が落ちてパニックでしたが
１２８gのメモリで８ℊ×２０の仮想マシン動かしてたからでしょうか
（使用率は９割でたいてい止まってたので超えてないと思い込み）
ESXIの時は１２８を超えて設定辞退できなかった気がするので油断でした
もともと１９２積めるやつなので買います
６×２０ぐらいにして今こんな感じ

RAM usage 76.38% (95.41 GiB of 124.91 GiB)
KSM sharing 43.38 GiB
/ HD space 13.71% (12.88 GiB of 93.93 GiB)
SWAP usage 14.17% (1.13 GiB of 8.00 GiB)

ホスト側のメモリがゲストの合計以下ってこと？
メモリのオーバーコミットメントはやめるべきというのが昔は常識だったが、今もそうじゃないかね

多分常識だと思いますが、仮想マシンのメモリの合計ってのがPROXMOX見えないもので、、

予算５万円で proxmox マシン調達を考えています。
ヤフオクなどの中古で考えています。
自宅の２４時間稼働なので低消費電力が望ましいです。
メモリは 32GB欲しいです。SSD は 500GB あれば良いです。
皆様ならどんな構成を狙いますか？
ご意見を伺えると幸いです。

どんな使い方をするのかによるわな

win11対応が8世代目からなので
7世代目のi7のリースアップの安いのを探せば
1万ちょいありゃ買える

・・・と半年前なら言ってたが
既に買われて市場からは消えつつあるので
中古だと今はあんま良いものは出回ってないね

新品だとRyzenの5600GとA520と安いケースと電源で
メモリとSSDは高いから中古にすりゃ
なんとか5万で収まるんじゃないか？

あと穴場を狙うなら
6,7世代のXeonの4C8Tのだったら
2万位ならありそう
中古のDDR4のECCだとうまく探せば安く買えるので
これなら5万で収まるかも

それと
このスレでは熱狂的なファンがいるみたいだけど
N100とかはオススメしない
消費電力は低いんだけど作ってるメーカーが中華ばかりなので
連続運用だとCPU以外のパーツの信頼性低くて怖い

中古でベストはちゃんとしたメーカーのビジネス向けのリースアップ品
そこそこ信頼性あるよ

それと
今すぐって訳じゃないので話半分ぐらいで聞いて欲しいんだけど
今年後半は半導体の生産が増産になる上に
為替が円高方向に動いてるので
もしかしたらメモリとSSDは年末ぐらいになったら今よりは安くなりそう

大容量を狙うなら年末まで待った方が良いかも

ヤフオクに出てるz440でいいんじゃないの？
ワークステーションはサーバーより騒音でマシなことが多い

消費電力は多分アイドル80-90Wくらい

消費電力と言えば、昨日ちょうどFUJITSUのTX1310M3のアイドリング電力測った
CPU E3-1245V6でSSD1台のみの構成だと
PROXMOXの初期状態で約12.2~123W
POWERTOP --auto-tune適応で約11.2~11.4W
（本体が給電(100V)を受けてる電力を測定）
最大クロックとEPBとかも弄ればもう少し削減できたかも

リースアップの中古はどんな使い方をされていたのか分からない。
自分が横川から買ったDellのリース落ちのデスクトップは、1年待たずにメモリーが死んだ。

>>120
まさに6世代のt110h-s使ってるぜ
パーツ壊れても安く交換できるのが旧式の良いところやな

熱狂的なファンというか、他に選択肢が無いんだよ
N100MやN100DC-ITXじゃダメなのか
うちはproxmox ではないけどN100DC-ITX で24時間稼働していて、1年経ったけどいまのところ問題ない

N95/N100で組んだ3台のクラスタは常時稼働で来月にちょうど1年になる

そこが用途によると言われてるとこじゃね？
N100はECC非対応、メモリ上限16GBか32GB、拡張スロット少な目、ストレージもそんなに増やせない
このへん許容できるなら消費電力少ないし悪くないかもね