【PVE】Proxmox VE【KVM, LXC】NODE-2

Proxmox VEについて語りましょう！

Proxmox VEは、Debianをベースとしたオープンソースのサーバー仮想化プラットフォームです
仮想マシンとコンテナの管理を、統合されたWebインターフェイスを通じて直感的に行うことができます

【公式サイト】
http://www.proxmox.com/
【公式ドキュメント】
https://pve.proxmox.com/pve-docs/

【特徴】
・オープンソース: コスト効率が良く、広範なコミュニティサポートが利用可能
・仮想マシンとコンテナの統合: KVMとLXCのサポートにより、柔軟な仮想化ソリューションを提供
・クラスタリングによる高可用性: 複数サーバの統合管理で、負荷分散や冗長性を実現
・Web GUIによる簡単管理: 直感的なインターフェースで専門知識がなくても管理可能
・多様なストレージサポート: NFS、iSCSI、Cephなど複数のオプション対応
・統合バックアップとレプリケーション: 簡単設定でデータ保護と災害復旧をサポート
・ライブマイグレーション: 稼働中のVMをダウンタイムなしで移動可能

【前スレ】
【PVE】Proxmox VE【KVM, OpenVZ】
https://mao.5ch.net/test/read.cgi/linux/1381916363/

は
思うけど

>>212
ねえわ、アタマ1950年かよ

おっさんにJK趣味やらせる方が多かった
これから毎日食うのやめとこうという
パターンしかないが
当たり所が悪かったんだろうな

体重が下げ止まっている

ガチで酷評されてるわけか

940 名前：名無し草 2022/08/06
なんだよ、亡くなったのに勝手に変換したいからなんじゃない

>>392
存在しないディスクのマウントを行うために時間が掛かってる
それで、エラーが出てるけど、ひたすら待てば起動する
ディスクの故障で正規の手順で削除できない場合は、手動で削除すれば消せる

正規の手順としては
１．利用中のデータの移動（待避）
２．Disks -> Directory -> 該当するパスの項目をDestroy
３．Disksの項目で該当ディスクの Usage が No なのを確認

素早いご返答助かります。
待てばなんとかなるんですね。
このエラー表示が出てるときgive root password for maitenaice とでますが、ENTERボタン以外反応しないんですけどなんでしょうかあれは。

今は７９５０ですが今度９７５４で組んで重要性が薄いがリソース必要な仕事を全部ぶち込もうかとも思っています。シルバーストーンの水冷が出たのでいいタイミングかなと
ヤフオクでESXIの有料版コード買う誘惑もありますが、それはそれで長い目で見て安定するかというとどっちもどっちなので多分にPROXで覚悟決めます。

結局仮想マシンが使うコア数がCPUのコア数より少ないなら快適だとGPTさんは言うのでベンチに強い９６コアの９６５４ではなく１２８コアの９７５４にしようと思いますがいいのかなあ。
ちょうど44コア 16コア 10コア 8コア 6コア １コア×２０台と１００コア
ぐらいでやってる仕事があるんですよね

それでそれで？

自分はしょせん１６コアでやってるので多コア多マシンの実際の操作感ってどうかなってのと
シルバーストーンからSP５の冷却方法が出たよってだけです

複数の回線を使ってるマシンのメイン回線が時間経過で必ずステータスは正常なままネットアクセスできなくなってたのですが、PROXMOXへの接続がその理由だったと思われます。

コアよりメモリが欲しい
128GBじゃ足りなくなってきた

>>398
何台回してるの？

>>398
物理マシンを追加してクラスターを組みなされ。

Proxmox って、m.2 PCIe SSD は大概認識しますかね

VMwareESXと違ってベースがDebianLinuxだからLinuxカーネルで認識できるものなら大体いける

昔はN100のミニPCに入れようとしたら一手間掛かったけどすぐに対応されたし、本当にオープンソース様々。

>>401
あと、Proxmoxは外付けSSDにインストールできるので、注意すればPCの既存環境を残したまま仮想環境を構築できる。余っているPCで一時的に試したい時はお薦め。

一手間と言えばなんかｅｆｉがどうのっていう謎のエラーでインストーラーが起動直後に止まって進めなくて
一回Ubuntuをインストールした後に上書き起動したらインストールがスムーズに進んだっていう謎の現象あったな

Alderlakeのグラフィックドライバの件じゃなくて？

「proxmox efi boot mode detected」とかでググればヒットする現象

そういえば、lvm 作成3% のところで止まる現象、うちでも発生した
ググったらありがちな現象らしく、もう一回やってみたら進んだ
よくわからん

HDDに中途半端にパーティション情報が残ってるとうまくいかないことはあったな
ddで先頭あたりを掃除してやるといけたり

>>378

返事が遅れてすみません。現在揃えたのは元々持っていたものも含めて

1. Beelink EQ12 N100 32GB DDR5 500GB SSD
2. BEelink s12pro N100 32GB DDR4 500GB SSD
3. Trigkey G4 N95 32GB DDR4 500GB SSD
4. Aoostar MN58 5800u 16GB(変更予定）DDR4 500GB
で、あと１～２台、5xxx シリーズの導入を考えています。
一応、
１～４のどれも proxmox インストール出来て動いているようです。
なお、１のマシンで
>>188
の症状がおきました。
インストール後は特に問題ないように見えます。
ご参考になると幸いです。

5800u を積んでるやつ良さげですね
確かRAMスロットのサポートがそもそも2スロットまでだったはずなのが惜しいなあ
128GB載るならまじ欲しい

GMKTecM5Proでもええんちゃう？

>>410
ちなみに、N100 と 5800u は windows の cinebench などでみると、シングルで１．５倍、マルチで３倍くらい 5800u が性能が上です。
proxmox 上の VM ですが、当然ですが 5800u の方が明らかに快適で、明確に N100 との差が感じられます。
N100 だけ使っているときはそんなに気にならないんですが、やはり予算が許すなら N100 より 5xxx のほうが幸せになれそうです。

ちょっとした懸念として、最近の ryzen CPU の脆弱性対応の BIOS が中華ミニPCに提供されるかという不安です。
ryzen CPU の脆弱性はかなり条件が揃わなければならないのであまり気にする必要はないと言う意見もあるようですが。。。
どうなんだろう。

そりゃまあ、5800u のほうが速いわな
色々調べてましたが、5800u に128GB載せた例はなさそうですね
メモリチャネルが2で、ddr4の最大メモリモジュールが32GBなので、当たり前なんですが

RyzenAI世代位になったら128GBサポートとかなるんかな？

Cephのネットワーク構成なんだけど、仮想環境で試したら
5台規模のノードだとLANx4をECMP(L4)で束ねるより、フルメッシュで構築したほうが良好なパフォーマンスが得られる
冗長化構成でLACP対応のHUBとか消費電力考えたら、このぐらいの規模だとフルメッシュの方がコスパいい気がする

スイッチ挟まずにNIC間を直結すればええやん、とかそういう話？

性能検証を仮想環境でやってどれだけ意味あんだろ

>>418
意味あるでしょ

>>417
そうゆう話

>>418
ボトルネックをネットワークに限定して、十分な配慮をして検証すれば
実機環境との差10%以下は期待できる

一回世論操作バレたウジサンケイグループまだ懲りてないだろうし、
評価しない限り自動更新の自動引き落としの場合は早速グッズも手掛けてるから？

>>410
興味がある人少なそうだけど、アリエクのセールでミニPC、 GMKtec 5825u ベアボーンが約２４５００円、Trigkey 5700u 32GB 500GBSSD が約２７０００円でセールしてる。
更にmoppy 経由で購入すると６％のポイントが付く模様。まぁ、アリエクなのでトラブルの際は苦労しそうだけどこの値段なら勝負？してもよいかもｗ
1005007046616921
1005006629018520
私は勝負してみました。ｗ
どうなることやらｗ

Proxmox用にミニPCを探している人は、こちらのスレも覗いて見ると良い。

小型、超小型PC総合スレPart26
https://mevius.5ch.net/test/read.cgi/hard/1721189218/

GMKのM5もインストールできたけど色々癖があったな
BIOSのNXモード変えたり一回別のLinux入れてefi書き換えたり

最初は余ったパソコン1台にproxmox入れて
そこにvm5台構成でk8s動かしてこりゃ便利、と思ったんだけど
調子に乗ってパソコンを1台、また1台と増やして
今じゃパソコン5台にproxmox入れてそこにvm15台構成でk8s入れてる

だが、結局k8s動かすなら一般家庭用途じゃ5台あれば必要充分
逆に物理5台の上でvm15台動かすとか管理が面倒になるだけ
なので5台のpcを1台OMV入れてファイルサーバーにして
1台にproxmoxいれてvm5台構成のテスト環境
残り3台にubuntu+k3s入れた本番環境にした

闇雲に増やせば良いってもんじゃないね

そもそも家庭で動かすならmicrok8sとかminikubeでいい気が

あぼーん

>>425
その気持ち、凄くわかる
自分も同じ様な状況
だが、PROXMOXホスト5台が7台になろうとしてる
(そもそも、3台で十分な状況なのに)

>>427
やるしか無いだろこれ

生還
9950xに入れ替えたからかBIOS更新からかマザーと2枚目のLANカードが新しいものとして認識されたようで再設定しないといけなかった模様。
よく見たらノードのネットワークが5本増えてるのですがそれに気づかず結構な遠回り。
余計なことして戻るのに一苦労。
LANが光ってないのはホラーでした。

ssdの非アクティブ化はコンソールではうまくいかないので起動失敗のエマージェンシーモードからnano /etc/fstab　をいじって何とか。
そもそもパスワード要求されても何の文字も打てないところでずっとはまってたんですが、見えないだけで打ててたんですね。
地獄のフルコースでした

ネットワークのゴーストって消しておいたほうがいいですよね、どうやったものか

ゴーストになってるLAN消しておいたほうがいいのですよね。
そもそも今のままで再起動してちゃんと動くかも未知数で

おかしなことにRAMの使用が186の140ほどの使用でSWAPが絶えず８ｇマックスになってしまいました。ネットワークのゴーストのせいか、それとも一斉に更新作業でもしてるのか

>>431~433
質問なのか愚痴なのか・・・？
愚痴ならチラシの裏にでも書いてほしい
質問なら質問内容（や状況説明）をもう少し丁寧に書いてほしい

CPU入れ替えの際のBIOSS更新で、マザーとLANカード１が新しい）機器として認識されてしまい、（LANカード2は無事）何とか移行は終了したがゴーストになってる過去のLANポートの認識はどう処理したものかということと。

メモリを128から192にしてスワップは8gの10パーセント程度だったはずが、6割を常駐しています。これはSSDの寿命などを考えて対策しなければいけない状態でしょうか？
スワップが怖いのでなるべく仮想マシンにメモリを割り振りましたが、10g割り振ってサマリーに使用率が92のマシンのタスクマネージャを見るとメモリの使用率が33で頭が痛くなります。
スワップが大きいことの危険性と対策に置いてアドバイスいただけると幸いです。

BIOS、CPU交換で別のマシンになったと思ってシステムディスクの再インストールが良いでしょうか
結構すさまじいことになってる感じで

GPTさん
今回の vmstat コマンドの出力を基に、ディスクへの書き込み量を再度確認します。bo 列がディスクに書き込まれたブロック数を示しています。
1日の書き込み量の推定
もしこの書き込みペースが1日中続いたと仮定すると、1秒あたり約10.95MBのデータが書き込まれていることになります。これを1日（86400秒）に換算する
10.95MB/秒×86400秒/日=946,080MB≈924GB/日
結論
1日あたり約924GBの書き込みが発生するペースで、これはSSDに非常に高い負荷をかける量です。仮にこのペースが毎日続く場合、1年間で約337TBのデータが書き込まれることになり、一般的なSSDの寿命（100TBW〜300TBW程度）を超える可能性があります。

ネットワークのゴーストを消してディスク書き込みは1日38gと許容できる範囲になりました
SWAｐは4ｇのままですが
RAM 使用状況 77.95% (186.31 GiBの 145.22 GiB)
KSM sharing 56.90 GiB
/ HDスペース 13.78% (93.93 GiBの 12.94 GiB)

>>435
SWAPファイル（ホスト、ゲスト）について
ある程度設定で使用状況をコントロールできるけど「swappiness」で検索
基本的にはアクセスの少ない範囲がSWAPに移動する仕組みだから、極端な状況でなければ気にしないほうが良いと思う
SSDの寿命も、SMART情報を基準にして書き込みでの劣化が一定の状況を超えたら交換すればいいと思う

当初9本中4本だけ問題だったのが回復した後にnano /etc/network/interfaces
でゴーストを消したらすべてのネットワークがつながらなくなって無駄に格闘しましたが、再起動一発で治りました、こういう時変に持って回ったところに誘導するGPTさんには振り回される

そしてメモリの消費量が140gから170gに増え、SWAPが10パーセントに低下
元に戻りました
GPTさんも偉大ですが、困ったら再起動が結構有効なんですね
ただ、慣れないうちは再起動なんてしたら戻ってこれる気がしないからしたくないんだよね
多分今度こそ解決　後ほど9950のレポいたします。ぱっと見7950より負荷率だいぶ少ないな

9950x導入
【NH-U12A）で70度制限で使ってます
22の仮想マシン　全部2コア
7950のとき70%だった使用率は50になり、IO遅延も大体0.05
思った以上にゆとりが出ました

温度が71から52になったのはすごいな

一見すべてが正常になったのですが、vmstat 1 10
ででるboの数字がディスク書き込みらしく、それの総書き込み量をGPTに計算してもらってますが、
SWAPは25%2Gなのにディスク書き込みが287Gといわれ困ってます。
外部PCの共有フォルダRAMDISKへの書き込みは多いのですがそれは除外したのがBOの値を説明を受けています。
単位違ったりするのでしょうか

r b swpd free buff cache si so bi bo in cs us sy id wa st
10 0 2070972 59994512 53476 309316 2 11 2555 238 2675 3613 1 2 70 0 0
6 0 2070972 59994512 53476 309316 0 0 70989 2045 77735 106082 0 1 74 0 0
18 0 2070972 59994512 53476 309316 0 0 136755 1284 81998 108340 1 2 66 0 0
11 0 2070972 59994512 53476 309316 0 0 21997 1851 87067 113449 1 1 54 0 0
18 0 2070972 59994512 53476 309316 0 0 1772 4508 84878 127186 1 2 64 0 0
18 0 2070972 59994512 53476 309316 0 0 134 4861 106256 122234 1 3 51 0 0
18 0 2070972 59994512 53476 309316 0 0 3597 6868 101892 117661 2 3 42 0 0
14 0 2070972 59994512 53476 309316 8 0 3495 2420 116713 134881 1 3 58 0 0
14 0 2070972 59994512 53476 309316 4 0 57 2442 117551 135777 1 3 63 0 0
7 0 2070972 59994512 53476 309316 0 0 9 3790 96718 121060 1 3 68 0 0　
平均boの計算

(238 + 2045 + 1284 + 1851 + 4508 + 4861 + 6868 + 2420 + 2442 + 3790) / 10 ≈ 3330.7
1日の総書き込み量の推定
仮に1秒ごとにこの量が書き込まれると仮定すると、

3330.7ブロック/秒 × 60秒 × 60分 × 24時間 ≈ 287,853,120ブロック/日
このブロック数を具体的なデータ量に変換するためには、システムでのブロックサイズ（通常は512バイトか1KB）を考慮する必要があります。たとえば、ブロックサイズが1KBであれば、

コードをコピーする
287,853,120ブロック × 1KB ≈ 287,853,120KB ≈ 287.9GB/日
結論
このシステムでは、1日あたりの書き込み量は約287.9GBとなります。

proxmox にはデフォルトで memtext86+ が付いています。
幸運なのかもしれませんが、今までエラーメモリにあったことがありませんでしたが、先日始めてエラーに遭遇しました。
何か不幸？があったのかもともう一度走らせると pass しました。
あれ？って更にもう一度走らせると fail が、、、、
当然なのかもしれませんが１度パスした位ではよろしくないのかも？と思い始めております。
確実など無いと思いますが、皆様 memtest86+ を使う場合、何周くらい回されていますか？
また、memtest86+ 以外にこれいいよ！ってテストがありましたらご教示頂けると幸いです。
なお、ECC メモリは使えない環境です。

>>444
素直に3回回します。
相性が原因だと1回では不具合が出ない事が有る。

仮想環境にはECCはあった方がいいよねと思ってる
Memtest86+って、フルバージョンは有料になってなかったっけ？

Memtest86+はフリーウェアで、PassMarkのMemtest86が無料版だと機能が限定されますね。

仮想マシンがフリーズしたのでHARDリセットすると、ロックアウトされましたと出て30分どころか半日は再ログインできないのですが、こうならないかなっても何とかする方法はないでしょうか。
GPTの言うこと聞いてもほぼ役に立ちませんでした。

>>448
PROXMOXの質問ではなく、ゲスト（仮想マシン）のOS由来で発生するトラブルは
このスレではなく、該当スレや板で質問するほうがいいと思うよ

VMwareの問題があってから良くも悪くも賑わっているねえ...

>>424

GMKtec M5 plus が到着し、早速 proxmox FreeBSD のインストールをしてみましたが、ネットワークがうまく繋がりません。
一応、 up しているみたいなのですが。。
よくわからないまま BIOS の NX を disable にしたりしましたが解決しません
アドバイスを頂けないでしょうか？
よろしくお願いします。

何がホストで何がゲストか。使った仮想化ソフトはとか
何も書いてないからエスパー以外答えることができない

ZFSのRAIDZ2でファイルシステム組んでるんだけど、カーネルパニックになって中身が読み取れなくなった。どうしたら復旧ができますでしょうか？

>>451
すみません。ネットワークケーブル（あるいはポート）の不良だったようです。
お騒がせしてすみません。
違うポートで違うケーブルを使ったら期待通りの動作をしました。

>>453
カーネルパニックになった原因にもよると思うけど
そのZFSはPROXMOXホストで構築して使用してたって認識でOK?

中身が読み取れないってことはプールは認識してる？
パニック前にZFSの空き容量は十分にあった？

状況に応じた復旧方法は提示できるが、どのぐらい慎重に行うかで回答が・・・

まずはコマンド入力の「zpool status」で表示される内容を書いて

カーネルで思い出した、ちょっとKFC行ってくる

proxmoxのkernel/FreeBSD版なんてあるの？初めてきいたけど

>>454
LANポートが複数あるminiPCは配置移動する時とかポート気を付けないと繋がらなくなるのはあるあるだな

>>457
あ、すみません。proxmox のインストールがうまくいかなかったので、試しに FreeBSD OS を入れてみたということです。
説明不足で住みません。

皆様、アドバイスありがとうございました。
以下ご報告しておきます。ご笑覧ください。

https://www.aliexpress.com:443/item/1005006629018520.html

GMKtec M5 Plus 5825U ベアボーン

良い点
１．5825U 搭載で先日のアリエクセールで２４５００円＋モッピー経由で１５００円ほどのポイントが付く
１１月の独身の日あたりに円高に触れていれば更に安くなるかも（現在は３３０００円ほど）。
２．2.5GLAN がふたつある
３．M.2 スロットが２つある
４．GMKtec M5 や M5 pro が proxmox のインストールに苦労したというブログを見つけたが
この M5 Plus は proxmox 最新版が特に問題なくインストール出来てその後も今のところ問題なく動作している（ように見える）。
５．ベアボーンなので proxmox する人が希望する構成に出来る。Windows 代金払わずに済む（大した事ないと思うけど）。

悪い点
１．アリエクなので万一のトラブル時が心配。頑張れば売り主と交渉できるけど覚悟が必要。
ただ、トラブルになる確率はそう高くはないと思う。

>>460 追記 8/26 注文 9/1 着でした。

16コア以上、メモリ64GB、欲を言えば128GB以上はほしいな……

>>462
少し安くなった3950XをMicro-ATXで組めば良い。

>>463
あーなるほどね
4スロットでmATXにしてらラックマウントケースにいれれば良さそう

Proxmoxはクラスタで組みたいから6-8コアのPC3台の方が16コアのPC1台より楽しい。3950Xだとグラボも刺さないといけないから、ちょっと無駄感がある

最近のCPU は内蔵グラフィック性能向上に力を入れているように見える。
その分をCPU性能向上に割り振ったCPUを望むのは世の流れに反しているんだろうなぁ。

ryzenとかiGPU入ってないんちゃうの？
グラボなんか別に挿すから、無駄なiGPU消えてほしい

リーナスがrust好きじゃからな

グラボか・・・
CPUに内蔵グラフィック無い・・・
そんな私は Matrox MGA G200e Pilot ServerEngines ！

みんなはPROXMOXホストでグラボなに使ってる？

NVIDIAのグラボ使うとインストールでハングするの相変わらずなのかな？
あれ初心者殺しだろ

>>470
最近（二カ月以内）PROXMOXのインストールにGT710使ったらハングアップした
ストレージ類をすべてテストして、BIOS設定初期化して、BIOS最新に書き換えて、メモリ検査して、ほぼ最後にグラボにたどり着いた
結局内蔵グラボでインストールした（内蔵グラボの存在を忘れてた・・・）
あれ、罠すぎるよな( ；∀；)

>>468
リーナス氏は慎重派じゃなかったかい？

>>471
くそ長いけど、前スレの
https://mao.5ch.net/test/read.cgi/linux/1381916363/528
を参照してね。

ESXi から移行中だけど、安定性はESXi のほうがずっと上かねえ
ホストマシン一台で使ってると安定してるけど、migration や restore で凄いI/O 負荷がかかってゲスト全体がおかしくなって大変だったわ
Migration を途中で止めたらゴミが残ってゲストが起動しなくなるし‥
ホストのNVMeは必須かも

ESXiと全く同じスペック？

>>473
情報サンクス！
次は「Serial Console Redirection」とかで操作できるように頑張る！
https://i.imgur.com/skLwgPi.png ←IPMI無いって言ったらこの反応 ( ；∀；)
しかし、一度はモニターに接続しないと厳しいかも
画面見ないでキーの操作回数で該当の箇所を変更するって方法も有か・・・

>>474
GUIからでもDatecenter -> Options -> Bandwidth Limitsの項目で
各種帯域制限かけられるから変更してみたら？
あと、ネットワークは内・外向用、cluster用、Migration用を分けられると理想的
（なんだかんだで、LAN６〜１０ポートは欲しい・・・）

>>475
おんなじですね
ESXi が三台あったので、一台ずつ入れ替えてました

Storage migration でストレージ構成が変更できず、Live migration だと出来るってのも、？？？です

>>477
LANポートの数の理想はそうですね
帯域は、そもそも1Gbなので、絞る必要はないかなと思ってました

ゲストのwebコンソールを複数開くと急に負荷が上がったりとか、よくわからんなあと思ってます

インストール時にlocalとlocal-lvmのサイズって決められないんか
local100G近くもいらないんだが

LVM組まれちゃうのが嫌だ。
複雑すぎてよーわからん。
なのでKVM+Cockpit

ここの方が詳しそうなので質問させてください。
あるメモリを
Aマシンは Memtest86+ をクリア
Bマシンにいれると Fail
ってよくあることですか？それとも稀？
あった場合これは相性問題？それともメモリ不良？どちらの可能性が高いでしょうか？

あと、最近２回連続で Memtest86+ １回目通過、２回目 Fail のメモリに遭遇し
メモリ異常は稀ではなく結構な頻度であるのかも？と認識を改めつつあります。

>>482
まずMemtest86は、メモリーからCPU(メモリコントローラ)までだから、疑うべきところは、メモリだけじゃないよ。

頻度は稀だと思うけど、メモリエラーが発生する事はあるよ。いやならECCメモリかDDR5にするといいですよ。

>>482
2台の違いが解らないが、手持ちのOCメモリーで第8世代なら問題ないのに第12世代だと動かないのは実際に経験している。

>>482
メモリのデータエラーはメモリチップの故障以外でも起こりうる可能性がある
CPUのピンからメモリチップまでの伝送経路（電気的な）の影響も大きい
設計上の品質の悪いMBやメモリの基盤だとチップに問題がなくても正しく伝送できない可能性もある
チップの品質が悪くても信号の認識の許容範囲が狭い可能性がある

つまり、品質の悪いもの同士が組み合わさることで今回のようなことが起こる可能性が考えられる

結局、ある程度の値段出して、品質の良い本体とメモリを組み合わせるのがコスパいい
日本で働いて真っ当な収入あるなら、ECC対応の本体（まともなメーカー製サーバー）にMicron 、Samsung、sk hynixのチップを使った信頼の高いメーカーのメモリを使うのがいいと思う

Live マイグレーションだと問題ないけど、offline マイグレーションだとI/O の凄まじい遅延が出てる人いる？
フォーラムだと報告出てるみたいだけど、解決方法がなくて困ってる