【PVE】Proxmox VE【KVM, LXC】NODE-2

Proxmox VEについて語りましょう！

Proxmox VEは、Debianをベースとしたオープンソースのサーバー仮想化プラットフォームです
仮想マシンとコンテナの管理を、統合されたWebインターフェイスを通じて直感的に行うことができます

【公式サイト】
http://www.proxmox.com/
【公式ドキュメント】
https://pve.proxmox.com/pve-docs/

【特徴】
・オープンソース: コスト効率が良く、広範なコミュニティサポートが利用可能
・仮想マシンとコンテナの統合: KVMとLXCのサポートにより、柔軟な仮想化ソリューションを提供
・クラスタリングによる高可用性: 複数サーバの統合管理で、負荷分散や冗長性を実現
・Web GUIによる簡単管理: 直感的なインターフェースで専門知識がなくても管理可能
・多様なストレージサポート: NFS、iSCSI、Cephなど複数のオプション対応
・統合バックアップとレプリケーション: 簡単設定でデータ保護と災害復旧をサポート
・ライブマイグレーション: 稼働中のVMをダウンタイムなしで移動可能

【前スレ】
【PVE】Proxmox VE【KVM, OpenVZ】
https://mao.5ch.net/test/read.cgi/linux/1381916363/

RyzenAI世代位になったら128GBサポートとかなるんかな？

Cephのネットワーク構成なんだけど、仮想環境で試したら
5台規模のノードだとLANx4をECMP(L4)で束ねるより、フルメッシュで構築したほうが良好なパフォーマンスが得られる
冗長化構成でLACP対応のHUBとか消費電力考えたら、このぐらいの規模だとフルメッシュの方がコスパいい気がする

スイッチ挟まずにNIC間を直結すればええやん、とかそういう話？

性能検証を仮想環境でやってどれだけ意味あんだろ

>>418
意味あるでしょ

>>417
そうゆう話

>>418
ボトルネックをネットワークに限定して、十分な配慮をして検証すれば
実機環境との差10%以下は期待できる

一回世論操作バレたウジサンケイグループまだ懲りてないだろうし、
評価しない限り自動更新の自動引き落としの場合は早速グッズも手掛けてるから？

>>410
興味がある人少なそうだけど、アリエクのセールでミニPC、 GMKtec 5825u ベアボーンが約２４５００円、Trigkey 5700u 32GB 500GBSSD が約２７０００円でセールしてる。
更にmoppy 経由で購入すると６％のポイントが付く模様。まぁ、アリエクなのでトラブルの際は苦労しそうだけどこの値段なら勝負？してもよいかもｗ
1005007046616921
1005006629018520
私は勝負してみました。ｗ
どうなることやらｗ

Proxmox用にミニPCを探している人は、こちらのスレも覗いて見ると良い。

小型、超小型PC総合スレPart26
https://mevius.5ch.net/test/read.cgi/hard/1721189218/

GMKのM5もインストールできたけど色々癖があったな
BIOSのNXモード変えたり一回別のLinux入れてefi書き換えたり

最初は余ったパソコン1台にproxmox入れて
そこにvm5台構成でk8s動かしてこりゃ便利、と思ったんだけど
調子に乗ってパソコンを1台、また1台と増やして
今じゃパソコン5台にproxmox入れてそこにvm15台構成でk8s入れてる

だが、結局k8s動かすなら一般家庭用途じゃ5台あれば必要充分
逆に物理5台の上でvm15台動かすとか管理が面倒になるだけ
なので5台のpcを1台OMV入れてファイルサーバーにして
1台にproxmoxいれてvm5台構成のテスト環境
残り3台にubuntu+k3s入れた本番環境にした

闇雲に増やせば良いってもんじゃないね

そもそも家庭で動かすならmicrok8sとかminikubeでいい気が

あぼーん

>>425
その気持ち、凄くわかる
自分も同じ様な状況
だが、PROXMOXホスト5台が7台になろうとしてる
(そもそも、3台で十分な状況なのに)

>>427
やるしか無いだろこれ

生還
9950xに入れ替えたからかBIOS更新からかマザーと2枚目のLANカードが新しいものとして認識されたようで再設定しないといけなかった模様。
よく見たらノードのネットワークが5本増えてるのですがそれに気づかず結構な遠回り。
余計なことして戻るのに一苦労。
LANが光ってないのはホラーでした。

ssdの非アクティブ化はコンソールではうまくいかないので起動失敗のエマージェンシーモードからnano /etc/fstab　をいじって何とか。
そもそもパスワード要求されても何の文字も打てないところでずっとはまってたんですが、見えないだけで打ててたんですね。
地獄のフルコースでした

ネットワークのゴーストって消しておいたほうがいいですよね、どうやったものか

ゴーストになってるLAN消しておいたほうがいいのですよね。
そもそも今のままで再起動してちゃんと動くかも未知数で

おかしなことにRAMの使用が186の140ほどの使用でSWAPが絶えず８ｇマックスになってしまいました。ネットワークのゴーストのせいか、それとも一斉に更新作業でもしてるのか

>>431~433
質問なのか愚痴なのか・・・？
愚痴ならチラシの裏にでも書いてほしい
質問なら質問内容（や状況説明）をもう少し丁寧に書いてほしい

CPU入れ替えの際のBIOSS更新で、マザーとLANカード１が新しい）機器として認識されてしまい、（LANカード2は無事）何とか移行は終了したがゴーストになってる過去のLANポートの認識はどう処理したものかということと。

メモリを128から192にしてスワップは8gの10パーセント程度だったはずが、6割を常駐しています。これはSSDの寿命などを考えて対策しなければいけない状態でしょうか？
スワップが怖いのでなるべく仮想マシンにメモリを割り振りましたが、10g割り振ってサマリーに使用率が92のマシンのタスクマネージャを見るとメモリの使用率が33で頭が痛くなります。
スワップが大きいことの危険性と対策に置いてアドバイスいただけると幸いです。

BIOS、CPU交換で別のマシンになったと思ってシステムディスクの再インストールが良いでしょうか
結構すさまじいことになってる感じで

GPTさん
今回の vmstat コマンドの出力を基に、ディスクへの書き込み量を再度確認します。bo 列がディスクに書き込まれたブロック数を示しています。
1日の書き込み量の推定
もしこの書き込みペースが1日中続いたと仮定すると、1秒あたり約10.95MBのデータが書き込まれていることになります。これを1日（86400秒）に換算する
10.95MB/秒×86400秒/日=946,080MB≈924GB/日
結論
1日あたり約924GBの書き込みが発生するペースで、これはSSDに非常に高い負荷をかける量です。仮にこのペースが毎日続く場合、1年間で約337TBのデータが書き込まれることになり、一般的なSSDの寿命（100TBW〜300TBW程度）を超える可能性があります。

ネットワークのゴーストを消してディスク書き込みは1日38gと許容できる範囲になりました
SWAｐは4ｇのままですが
RAM 使用状況 77.95% (186.31 GiBの 145.22 GiB)
KSM sharing 56.90 GiB
/ HDスペース 13.78% (93.93 GiBの 12.94 GiB)

>>435
SWAPファイル（ホスト、ゲスト）について
ある程度設定で使用状況をコントロールできるけど「swappiness」で検索
基本的にはアクセスの少ない範囲がSWAPに移動する仕組みだから、極端な状況でなければ気にしないほうが良いと思う
SSDの寿命も、SMART情報を基準にして書き込みでの劣化が一定の状況を超えたら交換すればいいと思う

当初9本中4本だけ問題だったのが回復した後にnano /etc/network/interfaces
でゴーストを消したらすべてのネットワークがつながらなくなって無駄に格闘しましたが、再起動一発で治りました、こういう時変に持って回ったところに誘導するGPTさんには振り回される

そしてメモリの消費量が140gから170gに増え、SWAPが10パーセントに低下
元に戻りました
GPTさんも偉大ですが、困ったら再起動が結構有効なんですね
ただ、慣れないうちは再起動なんてしたら戻ってこれる気がしないからしたくないんだよね
多分今度こそ解決　後ほど9950のレポいたします。ぱっと見7950より負荷率だいぶ少ないな

9950x導入
【NH-U12A）で70度制限で使ってます
22の仮想マシン　全部2コア
7950のとき70%だった使用率は50になり、IO遅延も大体0.05
思った以上にゆとりが出ました

温度が71から52になったのはすごいな

一見すべてが正常になったのですが、vmstat 1 10
ででるboの数字がディスク書き込みらしく、それの総書き込み量をGPTに計算してもらってますが、
SWAPは25%2Gなのにディスク書き込みが287Gといわれ困ってます。
外部PCの共有フォルダRAMDISKへの書き込みは多いのですがそれは除外したのがBOの値を説明を受けています。
単位違ったりするのでしょうか

r b swpd free buff cache si so bi bo in cs us sy id wa st
10 0 2070972 59994512 53476 309316 2 11 2555 238 2675 3613 1 2 70 0 0
6 0 2070972 59994512 53476 309316 0 0 70989 2045 77735 106082 0 1 74 0 0
18 0 2070972 59994512 53476 309316 0 0 136755 1284 81998 108340 1 2 66 0 0
11 0 2070972 59994512 53476 309316 0 0 21997 1851 87067 113449 1 1 54 0 0
18 0 2070972 59994512 53476 309316 0 0 1772 4508 84878 127186 1 2 64 0 0
18 0 2070972 59994512 53476 309316 0 0 134 4861 106256 122234 1 3 51 0 0
18 0 2070972 59994512 53476 309316 0 0 3597 6868 101892 117661 2 3 42 0 0
14 0 2070972 59994512 53476 309316 8 0 3495 2420 116713 134881 1 3 58 0 0
14 0 2070972 59994512 53476 309316 4 0 57 2442 117551 135777 1 3 63 0 0
7 0 2070972 59994512 53476 309316 0 0 9 3790 96718 121060 1 3 68 0 0　
平均boの計算

(238 + 2045 + 1284 + 1851 + 4508 + 4861 + 6868 + 2420 + 2442 + 3790) / 10 ≈ 3330.7
1日の総書き込み量の推定
仮に1秒ごとにこの量が書き込まれると仮定すると、

3330.7ブロック/秒 × 60秒 × 60分 × 24時間 ≈ 287,853,120ブロック/日
このブロック数を具体的なデータ量に変換するためには、システムでのブロックサイズ（通常は512バイトか1KB）を考慮する必要があります。たとえば、ブロックサイズが1KBであれば、

コードをコピーする
287,853,120ブロック × 1KB ≈ 287,853,120KB ≈ 287.9GB/日
結論
このシステムでは、1日あたりの書き込み量は約287.9GBとなります。

proxmox にはデフォルトで memtext86+ が付いています。
幸運なのかもしれませんが、今までエラーメモリにあったことがありませんでしたが、先日始めてエラーに遭遇しました。
何か不幸？があったのかもともう一度走らせると pass しました。
あれ？って更にもう一度走らせると fail が、、、、
当然なのかもしれませんが１度パスした位ではよろしくないのかも？と思い始めております。
確実など無いと思いますが、皆様 memtest86+ を使う場合、何周くらい回されていますか？
また、memtest86+ 以外にこれいいよ！ってテストがありましたらご教示頂けると幸いです。
なお、ECC メモリは使えない環境です。

>>444
素直に3回回します。
相性が原因だと1回では不具合が出ない事が有る。

仮想環境にはECCはあった方がいいよねと思ってる
Memtest86+って、フルバージョンは有料になってなかったっけ？

Memtest86+はフリーウェアで、PassMarkのMemtest86が無料版だと機能が限定されますね。

仮想マシンがフリーズしたのでHARDリセットすると、ロックアウトされましたと出て30分どころか半日は再ログインできないのですが、こうならないかなっても何とかする方法はないでしょうか。
GPTの言うこと聞いてもほぼ役に立ちませんでした。

>>448
PROXMOXの質問ではなく、ゲスト（仮想マシン）のOS由来で発生するトラブルは
このスレではなく、該当スレや板で質問するほうがいいと思うよ

VMwareの問題があってから良くも悪くも賑わっているねえ...

>>424

GMKtec M5 plus が到着し、早速 proxmox FreeBSD のインストールをしてみましたが、ネットワークがうまく繋がりません。
一応、 up しているみたいなのですが。。
よくわからないまま BIOS の NX を disable にしたりしましたが解決しません
アドバイスを頂けないでしょうか？
よろしくお願いします。

何がホストで何がゲストか。使った仮想化ソフトはとか
何も書いてないからエスパー以外答えることができない

ZFSのRAIDZ2でファイルシステム組んでるんだけど、カーネルパニックになって中身が読み取れなくなった。どうしたら復旧ができますでしょうか？

>>451
すみません。ネットワークケーブル（あるいはポート）の不良だったようです。
お騒がせしてすみません。
違うポートで違うケーブルを使ったら期待通りの動作をしました。

>>453
カーネルパニックになった原因にもよると思うけど
そのZFSはPROXMOXホストで構築して使用してたって認識でOK?

中身が読み取れないってことはプールは認識してる？
パニック前にZFSの空き容量は十分にあった？

状況に応じた復旧方法は提示できるが、どのぐらい慎重に行うかで回答が・・・

まずはコマンド入力の「zpool status」で表示される内容を書いて

カーネルで思い出した、ちょっとKFC行ってくる

proxmoxのkernel/FreeBSD版なんてあるの？初めてきいたけど

>>454
LANポートが複数あるminiPCは配置移動する時とかポート気を付けないと繋がらなくなるのはあるあるだな

>>457
あ、すみません。proxmox のインストールがうまくいかなかったので、試しに FreeBSD OS を入れてみたということです。
説明不足で住みません。

皆様、アドバイスありがとうございました。
以下ご報告しておきます。ご笑覧ください。

https://www.aliexpress.com:443/item/1005006629018520.html

GMKtec M5 Plus 5825U ベアボーン

良い点
１．5825U 搭載で先日のアリエクセールで２４５００円＋モッピー経由で１５００円ほどのポイントが付く
１１月の独身の日あたりに円高に触れていれば更に安くなるかも（現在は３３０００円ほど）。
２．2.5GLAN がふたつある
３．M.2 スロットが２つある
４．GMKtec M5 や M5 pro が proxmox のインストールに苦労したというブログを見つけたが
この M5 Plus は proxmox 最新版が特に問題なくインストール出来てその後も今のところ問題なく動作している（ように見える）。
５．ベアボーンなので proxmox する人が希望する構成に出来る。Windows 代金払わずに済む（大した事ないと思うけど）。

悪い点
１．アリエクなので万一のトラブル時が心配。頑張れば売り主と交渉できるけど覚悟が必要。
ただ、トラブルになる確率はそう高くはないと思う。

>>460 追記 8/26 注文 9/1 着でした。

16コア以上、メモリ64GB、欲を言えば128GB以上はほしいな……

>>462
少し安くなった3950XをMicro-ATXで組めば良い。

>>463
あーなるほどね
4スロットでmATXにしてらラックマウントケースにいれれば良さそう

Proxmoxはクラスタで組みたいから6-8コアのPC3台の方が16コアのPC1台より楽しい。3950Xだとグラボも刺さないといけないから、ちょっと無駄感がある

最近のCPU は内蔵グラフィック性能向上に力を入れているように見える。
その分をCPU性能向上に割り振ったCPUを望むのは世の流れに反しているんだろうなぁ。

ryzenとかiGPU入ってないんちゃうの？
グラボなんか別に挿すから、無駄なiGPU消えてほしい

リーナスがrust好きじゃからな

グラボか・・・
CPUに内蔵グラフィック無い・・・
そんな私は Matrox MGA G200e Pilot ServerEngines ！

みんなはPROXMOXホストでグラボなに使ってる？

NVIDIAのグラボ使うとインストールでハングするの相変わらずなのかな？
あれ初心者殺しだろ

>>470
最近（二カ月以内）PROXMOXのインストールにGT710使ったらハングアップした
ストレージ類をすべてテストして、BIOS設定初期化して、BIOS最新に書き換えて、メモリ検査して、ほぼ最後にグラボにたどり着いた
結局内蔵グラボでインストールした（内蔵グラボの存在を忘れてた・・・）
あれ、罠すぎるよな( ；∀；)

>>468
リーナス氏は慎重派じゃなかったかい？

>>471
くそ長いけど、前スレの
https://mao.5ch.net/test/read.cgi/linux/1381916363/528
を参照してね。

ESXi から移行中だけど、安定性はESXi のほうがずっと上かねえ
ホストマシン一台で使ってると安定してるけど、migration や restore で凄いI/O 負荷がかかってゲスト全体がおかしくなって大変だったわ
Migration を途中で止めたらゴミが残ってゲストが起動しなくなるし‥
ホストのNVMeは必須かも

ESXiと全く同じスペック？

>>473
情報サンクス！
次は「Serial Console Redirection」とかで操作できるように頑張る！
https://i.imgur.com/skLwgPi.png ←IPMI無いって言ったらこの反応 ( ；∀；)
しかし、一度はモニターに接続しないと厳しいかも
画面見ないでキーの操作回数で該当の箇所を変更するって方法も有か・・・

>>474
GUIからでもDatecenter -> Options -> Bandwidth Limitsの項目で
各種帯域制限かけられるから変更してみたら？
あと、ネットワークは内・外向用、cluster用、Migration用を分けられると理想的
（なんだかんだで、LAN６〜１０ポートは欲しい・・・）

>>475
おんなじですね
ESXi が三台あったので、一台ずつ入れ替えてました

Storage migration でストレージ構成が変更できず、Live migration だと出来るってのも、？？？です

>>477
LANポートの数の理想はそうですね
帯域は、そもそも1Gbなので、絞る必要はないかなと思ってました

ゲストのwebコンソールを複数開くと急に負荷が上がったりとか、よくわからんなあと思ってます

インストール時にlocalとlocal-lvmのサイズって決められないんか
local100G近くもいらないんだが

LVM組まれちゃうのが嫌だ。
複雑すぎてよーわからん。
なのでKVM+Cockpit

ここの方が詳しそうなので質問させてください。
あるメモリを
Aマシンは Memtest86+ をクリア
Bマシンにいれると Fail
ってよくあることですか？それとも稀？
あった場合これは相性問題？それともメモリ不良？どちらの可能性が高いでしょうか？

あと、最近２回連続で Memtest86+ １回目通過、２回目 Fail のメモリに遭遇し
メモリ異常は稀ではなく結構な頻度であるのかも？と認識を改めつつあります。

>>482
まずMemtest86は、メモリーからCPU(メモリコントローラ)までだから、疑うべきところは、メモリだけじゃないよ。

頻度は稀だと思うけど、メモリエラーが発生する事はあるよ。いやならECCメモリかDDR5にするといいですよ。

>>482
2台の違いが解らないが、手持ちのOCメモリーで第8世代なら問題ないのに第12世代だと動かないのは実際に経験している。

>>482
メモリのデータエラーはメモリチップの故障以外でも起こりうる可能性がある
CPUのピンからメモリチップまでの伝送経路（電気的な）の影響も大きい
設計上の品質の悪いMBやメモリの基盤だとチップに問題がなくても正しく伝送できない可能性もある
チップの品質が悪くても信号の認識の許容範囲が狭い可能性がある

つまり、品質の悪いもの同士が組み合わさることで今回のようなことが起こる可能性が考えられる

結局、ある程度の値段出して、品質の良い本体とメモリを組み合わせるのがコスパいい
日本で働いて真っ当な収入あるなら、ECC対応の本体（まともなメーカー製サーバー）にMicron 、Samsung、sk hynixのチップを使った信頼の高いメーカーのメモリを使うのがいいと思う

Live マイグレーションだと問題ないけど、offline マイグレーションだとI/O の凄まじい遅延が出てる人いる？
フォーラムだと報告出てるみたいだけど、解決方法がなくて困ってる

>>482
BMCがこいつ壊れてます報告して再現性もあるメモリが別のマシンでmemtest86が通るって例を経験したことがある
DIMMは信号品質が限界に近いのでユーザー環境では正確な試験はできないと考えた方がいいのかも

>>482
みなさま、数々のアドバイスありがとうございました。
参考にさせていただきます。

>>486
ストレージIOに負荷が掛かるから表示上IO Delay増えて（表示上50%超えることも）
結果、仮想マシンのIOに対して僅かにlatency増えるけど、具体的な不具合は無いなぁ・・・
HDDなら深刻な遅延が出るかもしれないが、SSDとかなら問題ない範囲に収まるはず

>>489
SSDだけど、オフラインマイグレーションすると、動いてるマシンに影響しまくってしまい、ブルースクリーンになったりしますよ

なので、わざわざ立ち上げてからオンラインマイグレーションしてます

なんでやねん、と思ってます

帯域制限しても改善しないの？

>>491
帯域制限しかないですかねえ
ESXi のときはそんな必要無かったので、大袈裟かもしれないけどショックです

>>492
そこは既存技術と独自開発の差だから諦メロン。

>>492
ちなみにどんな構成？
ネットワーク1本でローカルストレージ格納のVM？

>>490
手元にスマホしかなくて、育成が忙しいから手短に書くけど
ブルスクって事はWindowsゲストマシンだとして
メモリ割り当てが動的(可変)なら固定に変えてみて
(Ballooningを無効にする)

もしこの方法で不具合が解決できたら
予想される原因と他の対策を書く

これは助かります
確認したら、デフォで ballooning がチェックになってました
いまサービス落とせないので、夜中にでも切り替えてみます
あとはLANの帯域制限ですかねえ
なおご察しの通り、ローカルストレージのLAN一口構成です

>>496
すまん、メモリ管理あたり疑ってballooningかな？って発言したけど、テスト環境で試した限り違かった

あとは、ESXI由来の拡張機能を(入れてれば)削除してみては？

それと、仮想ディクスの管理方法を変えても同じ症状でるか試してみるのも原因追及の手段として有効だと思う

>>496
SSDの接続方法も疑った方がいいかも
INTEL系でINTELチップセット直のSATAとかだと不具合出にくいけど、それ以外なら接続方法変えてみるといいと思う

他には、コマンドでSSDのライトバックキャッシュOFFにしてみる

素直に仮想マシンじゃなく、PCでやったら解決すんじゃねえの？

>>497
ありゃ、いま頑張って数十台のゲストのバルーンニングをオフにしてしまいました

SSD はSATAのsandisk なんですけど、なんとなく特定のハードウェアやドライバで出るんじゃないかと勝手に考えてましたです

Thin-LVM で出るという話もあるようで、ちょっとよくわからんです

まずはゲストのOSとかブルスクのコードとか詳細出して見たら？

>>502
原因はoffline migration なのが明らかでキャプチャしてなかったし、もう一回出そうとは思わんです　すんません
他に影響していたマシンで I/O関係のエラーが出てましたね ubuntu だったかなあ

X370 taich + 3700x + MSI GT710 の環境でProxmox backup serverの導入が大変だったのでメモ。
・PBSiso→ドライバ読み込みでフリーズ（VEも同様）
・Debian12をインストールし、PBSをaptインストールを試みる。
・Debian12BDisoはフリーズ、DVDisoはOK
・aptリポジトリの設定で結構躓く。
・やっとapt updateが通り、PBSインストール成功
・ログイン画面だと20分でDebianがスリープ、設定ファイル変更
昨晩はデータストアの設定まで完了。まだまだ先は長い。(；・∀・)
https://i.imgur.com/lCAK2VH.jpeg

https://xtech.nikkei.com/atcl/nxt/column/18/00001/09783/
VMware から Proxmox に移ってきた組ですけど、どんどんやれ

久しぶりにcephのステータスチェックしたらslow_opsとかで3台のpcから一つずつosdが外されてたわ
めっちゃ危なかった

みんなやったね
石破が総裁になったから円高が始まるよ
メモリとSSDを買い溜めるチャンス到来
年末セールで買い占めなきゃ

うちのpveは3台あるんだけど
メモリとSSD高くて買い揃えられなかったから
だましだましやってきたけど
これで貧乏運用から脱却出来そう

円高になれば、海外のものは安く買えるけど、日本が貧乏になるから結局買うのが大変になりますな
日本終了の始まりですわ
岸田許さん

円安になろうがどんな状況でも給与の上昇率は他の国以下だっただろうが
それなら円高の方が遥かにマシだが
自動車産業なんてあんだけ保護してもらってるくせに死にそうだし無能な経営者に甘すぎなんだよ

>>509
円安メリットと円高メリットを比較すると円安メリットの方が大きいし、実際いま円安のおかげで税収も増えてるんだから、その税収でガソリンや消費税の減税すりゃいいんだよ

近隣窮乏化、でググってみなされ

>>510
減税なんて選挙のためのご機嫌取りでしかしないだろ
税収だけに言及して賃金には言及しないとかよくもそんな卑怯なことできるもんだわ

ヨソ＝デ＝ヤレ

六四天安門 支那人 大虐殺事変¹⁹⁸⁹年

>>510
君の知識はググって知ったものなのかい？

高橋洋一チャンネル見ろ
大体わかる