【PVE】Proxmox VE【KVM, LXC】NODE-2

Proxmox VEについて語りましょう！

Proxmox VEは、Debianをベースとしたオープンソースのサーバー仮想化プラットフォームです
仮想マシンとコンテナの管理を、統合されたWebインターフェイスを通じて直感的に行うことができます

【公式サイト】
http://www.proxmox.com/
【公式ドキュメント】
https://pve.proxmox.com/pve-docs/

【特徴】
・オープンソース: コスト効率が良く、広範なコミュニティサポートが利用可能
・仮想マシンとコンテナの統合: KVMとLXCのサポートにより、柔軟な仮想化ソリューションを提供
・クラスタリングによる高可用性: 複数サーバの統合管理で、負荷分散や冗長性を実現
・Web GUIによる簡単管理: 直感的なインターフェースで専門知識がなくても管理可能
・多様なストレージサポート: NFS、iSCSI、Cephなど複数のオプション対応
・統合バックアップとレプリケーション: 簡単設定でデータ保護と災害復旧をサポート
・ライブマイグレーション: 稼働中のVMをダウンタイムなしで移動可能

【前スレ】
【PVE】Proxmox VE【KVM, OpenVZ】
https://mao.5ch.net/test/read.cgi/linux/1381916363/

多分常識だと思いますが、仮想マシンのメモリの合計ってのがPROXMOX見えないもので、、

予算５万円で proxmox マシン調達を考えています。
ヤフオクなどの中古で考えています。
自宅の２４時間稼働なので低消費電力が望ましいです。
メモリは 32GB欲しいです。SSD は 500GB あれば良いです。
皆様ならどんな構成を狙いますか？
ご意見を伺えると幸いです。

どんな使い方をするのかによるわな

win11対応が8世代目からなので
7世代目のi7のリースアップの安いのを探せば
1万ちょいありゃ買える

・・・と半年前なら言ってたが
既に買われて市場からは消えつつあるので
中古だと今はあんま良いものは出回ってないね

新品だとRyzenの5600GとA520と安いケースと電源で
メモリとSSDは高いから中古にすりゃ
なんとか5万で収まるんじゃないか？

あと穴場を狙うなら
6,7世代のXeonの4C8Tのだったら
2万位ならありそう
中古のDDR4のECCだとうまく探せば安く買えるので
これなら5万で収まるかも

それと
このスレでは熱狂的なファンがいるみたいだけど
N100とかはオススメしない
消費電力は低いんだけど作ってるメーカーが中華ばかりなので
連続運用だとCPU以外のパーツの信頼性低くて怖い

中古でベストはちゃんとしたメーカーのビジネス向けのリースアップ品
そこそこ信頼性あるよ

それと
今すぐって訳じゃないので話半分ぐらいで聞いて欲しいんだけど
今年後半は半導体の生産が増産になる上に
為替が円高方向に動いてるので
もしかしたらメモリとSSDは年末ぐらいになったら今よりは安くなりそう

大容量を狙うなら年末まで待った方が良いかも

ヤフオクに出てるz440でいいんじゃないの？
ワークステーションはサーバーより騒音でマシなことが多い

消費電力は多分アイドル80-90Wくらい

消費電力と言えば、昨日ちょうどFUJITSUのTX1310M3のアイドリング電力測った
CPU E3-1245V6でSSD1台のみの構成だと
PROXMOXの初期状態で約12.2~123W
POWERTOP --auto-tune適応で約11.2~11.4W
（本体が給電(100V)を受けてる電力を測定）
最大クロックとEPBとかも弄ればもう少し削減できたかも

リースアップの中古はどんな使い方をされていたのか分からない。
自分が横川から買ったDellのリース落ちのデスクトップは、1年待たずにメモリーが死んだ。

>>120
まさに6世代のt110h-s使ってるぜ
パーツ壊れても安く交換できるのが旧式の良いところやな

熱狂的なファンというか、他に選択肢が無いんだよ
N100MやN100DC-ITXじゃダメなのか
うちはproxmox ではないけどN100DC-ITX で24時間稼働していて、1年経ったけどいまのところ問題ない

N95/N100で組んだ3台のクラスタは常時稼働で来月にちょうど1年になる

そこが用途によると言われてるとこじゃね？
N100はECC非対応、メモリ上限16GBか32GB、拡張スロット少な目、ストレージもそんなに増やせない
このへん許容できるなら消費電力少ないし悪くないかもね

少し前まで中華製品は安かろう悪かろう、違法コピー、低信頼性と散々でしたが Xiaomi のスマホなんかを見ていると
逆に Xiaomi レベルのスマホを作れる日本の企業がどれくらいあるんだろうとも感じます。
信頼性を得るには長い年月が必要かもしれませんが、一部の N100 ミニPCは十分に高性能・高信頼性の製品に到達していて
もしかすると無いのは実績だけなのかもしれません。
ま、私の妄想ですけどｗ

似たような考えを持った俺は5万円のRyzen中華PCを2台ポチって半年運用している

Un-bufferedのECCメモリーの中古って、どこで手に入る？
ヤフオクのECCメモリーだと業務用サーバーから抜いたレジスターメモリーがほとんど。

>>131
名の通ったメーカーと無名メーカーの差が大きいのが中華
xiaomiやhuaweiが作ったPCなら言い分は分かるけど尼やアリエクの激安中華PCは信頼性無し
例えば廃熱性なんか十分テストして設計してるとは思えんね

まあSoCやCPUが優秀なら設計適当でもある程度誤魔化せるか
バッテリー制御や熱暴走での出火も頭脳が優秀ならあまり起こらん
パーツ組み合わせれば使えるものができる

N100 32GB で運用できているので proxmox でクラスタ組むのも悪く無いと思う
ECC ならより良いとかあるけどね

商用サービスやるとかでなければECCメモリ無くても良いだろ

「24時間戦えますか」マシンには、ECCメモリーが絶対必要、使わないなんて信じられないと聞いたので。

たまにメモリーのコンデンサーがこっそり死んでいるので、その気持ちは分かる。

そういう大げさなことを言う人はいるけどね

もうちょい予算ありゃ
minisforumの新しいryzen向けのベアボーンお勧めすんだがな

https://store.minisforum.jp/products/minisforum-ms-a1

これから買うので長く使うつもりなら
2.5G以上のLANポートあったほうが良いと思う

8700Gで¥127,980なら、5700Uをお薦めする。
トップスピードでは8700Gの圧勝とはいえ、自宅でそんなに使わないじゃろ。

宇宙線によるエラー訂正を考えるならシャットダウンできないサーバーでない限り気にしないでいいと思ってたけど
メモリ故障の観点でもECCが大事なんだな。大事なファイル壊れたら困るわ
https://gigazine.net/news/20221228-non-ecc-memory-corrupted-data/

>>142
そもそもそのケースはただのメモリの故障でmemtest通してたら発覚する程度の話だしなあ

>>140
2.5Gbのイーサネットアダプターは
AliとかでUSB3モデルなら1300円ぐらいであるし
昨今のUSBポートが複数ある機体なら
後付けでもいいかって気もするなぁ

運用中に壊れたら気付けなくねーか
頻繁にシャットダウンしてmemtest使う運用なら別だけどそんなことしてる人いるんかね

IPMIが使えるサーバーとかだと、ECCメモリのエラーを確認出来るから、健全性に深刻な事態が起こる前に検知できる
ECC無しメモリでは、高付加での発熱による熱応力が原因でメモリに接触不良が起きるケースの場合、頻繁にメモリテストしても検知できない可能性もある
この様なケースでは、不具合の特定に膨大な時間を使う事になる（つまり、メモリが原因なのに、メモリテストに合格してしまう）

業務で使うなら長期運用とかエラー訂正とかいるけど、個人でやってるの見ると撮り鉄と同じ思想だなって思う

絶対にデータ変質許せないならECC使えばいいけど、PCにしろテレビにしろスマホにしろメモリのエラーが原因の不具合にあたってるかというとそうでもないじゃん。
家庭向けNASのメモリだってECC未対応のモデルが多いよ

こだわるならこだわればいいけど、ECC必須の文言に囚われる必要はないって言いたいだけだよ

>>141
このベアボーンまだ出たばっかだけど
AMDって新しい世代出ると比較的値下げしてくれるから
CPU無しで買って8700Gが値下がりするまで待つってのが良いかなー
なんて個人的には思ってたりする

oculink対応してるから外付けGPUもいけそうだし
usb4もあるから拡張性もそこそこあるし
今後proxmox運用するのに万全なんでは？と思ってる

>>144
ceph運用考えるとnicが2つないと辛いし
オンボードでいけるならそれに越したことはないかと

usbのnicって意外とリソース喰うイメージあるんだけど
最近のはどうなんだろ？
リソースあんま喰わないならusbで増設も悪くないかも

>>117
ある程度ファンの動作音を許容できるなら
Skylakeマイクロアーキテクチャ以降の世代のXeonを搭載した中古サーバーがおすすめ
（この世代でサーバー向けの電源ならアイドリング電力12~18W程度のはず）
本体は探せば5000〜15000位で調達できる
メモリは合計32GBならDDR4のECC(Unbuffered)で8GBの4枚組とかが5000円位
SSDは別途調達（中古ならSLCの32GB(intel 310)とかを起動用にして、データは512GBx2(ZFS Mirror)とかの運用で良いのでは？）

ガチ勢とライト勢で2極化してるなw
質問するなら用途は最低限書くべきやね

>>150
そうなんだよね
そこら辺のXeon搭載PCって結構安い
需要があまりないから中古ECCメモリも比較的安価だし
元々高価な物なのでかなり堅牢で信頼性がある作りになってる
ただモノ自体があまり流通してないので
よく探さないと見つけらんない

注意するのはXeonもピンキリだから
載ってるCPUをよく吟味しないと高く付きそう
CPU載せ替え前提で買うと目当てのCPUがなかなか見つからないとかありそう

そもそも壊れない（壊れにくい)ことを期待して環境を作るより、バックアップなどを駆使してかんたんに復旧できる環境を作るほうがトータルで節約になると思ってるからね
もちろんおすすめはしないけど、ゲロ安中華ミニPCでもハズレを惹かなければいうほど壊れないし

>>143.145
24時間稼働させているなら、致命的エラーに気付くまでmemtestを走らせるタイミングが無い。

>>149
2.5GbEの口がないSynologyのNASを使って、USBの2.5GbEアダプターの代理店が検証していたが、状況によっては2.5GbEの性能が出ない事もあった。USB変換のオーバーヘッドはそれなりに存在する。

>>154
知らない間にメモリが壊れててエラーを吐かずに記録してたデータが全滅してたなんて話聞いたことないし、手遅れになる前に動作の不安定さで気付くくことが殆どだろ

ホビーユースの場合、コスト・性能・信頼性のなかで絶対的に信頼性に重点を置く必要があるわけではないってのが持論よ

>>156
アドレスが断線してくれればハードエラーになると思う（そこまで酷い障害に出くわした事はない）が、コンデンサーが1つだけ死んでいましただと、パリティビットがないとエラーも出ないし調子が悪いな程度にしか気づかない。
市販のメモリーを定格で使っている分には滅多な事はないが、そこを許容できるかだと思うよ。

エラー訂正したことをPCが教えてほしい
ECC使ってるけど効果あるのか分からん
これじゃECC無しでもOS落ちなければ安定運用できてると思いこんじゃう

初代i5で自作したPCでESXiを24時間365日運用で10年以上使い続けた結果
電源死亡で組み替えた
10年の間で電源落とした時間は多分トータルでも1週間あるかないかぐらいだと思う
今は第10世代i5でPCケースだけ流用して絶賛稼働中
4年前に初回起動してから1回しか電源落としてないが今のところ問題ない
サーバー用パーツ未使用のデスクトップ仕様だけどガチ勢で無ければデスクトップ仕様でも結構大丈夫なもんだ
当然だけどたまたま大丈夫なだけかもしれんのでガチな人はマネしないと思うけど

>>141
おすすめマザーボードありますか

>Googleのレポートによると、Googleのサーバー３台に１台ほどで、１年当たり１回の訂正可能なメモリエラーが発生し、100台に１台で１回の訂正不可能なエラーが発生する

個人利用でこのくらいの問題を予防することを必須と思う人は導入したらいい

逆に言うと
冷房がガンガンに効いてホコリも舞わない
電磁波対策もされたデータセンターで
ちゃんとしたメーカーのちゃんとしたパーツで組んだ鯖でも
メモリエラーは起こる
なんの対策もされてない一般家庭では言わずもがな

まあ俺は無理にECC使うべきだとは思わないけども
使いたい人は使っても良いんでないの？
どんなデータを扱ってて
それがその人にとってどれだけ大切なものかなんて
他人がどうこう言うべきもんじゃ無いよ

他人の選択にケチをつけてるんじゃなくて、問題の程度も示さずに何も考えずに24/7稼働ならECC必須というのは違うんじゃねーの？って言ってるだけだよ

俺自身ミニPCクラスタ以外は自作NASもProxmoxのホストもECC積んでるけど、チェックサムエラー出たことないしね
どれだけの人が必要性を実感したことがあるのやら

あったほうがいいのか？って質問ならそらあったほうがいいねって答えるよ

あってよかったを感じることはなくても
なくて困ったを感じることはあるだろう

えーマジECC無し！？　(キモーイ)
ECC無しの運用が許されるのは、小学生までだよねー　(キャハハハハハ)

今までの流れでECC無しにケチつけてる人いたか？

なんで小学生までなら許されるの？

>>161
ECCで効果あるのは3台に1台1年で発生するエラーに対する訂正だな
100台に1台の方はどうにもならない
ファイルサーバにはECC導入したいかな、と思う

>>166
>>168
もうこのネタ通じなくなってきてるなぁ
「許されるのは、小学生までだよねー」
でググったらわかるけど、古のネットミーム

英会話のECCならなんとなく通じるような気がする

このネタ通じない人がクラウドサービス使わず？PVE使ってるの未来があっていいね

グーグルみたいに台数あれば
効果はデカいけど、個人ならまあ
ってところか

Linuxユーザーは粘着が普通で、病的に粘着する奴も多いからな
この板には特定の人に病的粘着する人のスレがあって盛り上がっているし
当然ECCに粘着な奴いるだろう

ECC敵視しまくってて草
嫌なことでもあったの

話が落ち着いたところで、どこでUn-bufferedでECC付きの中古メモリーが入手できるかご存知だったら教えてください。
せっかくZen2 4750GとB550を持っているので、ECCを使ってみたい年頃なんです。（昔、Pen3 DualでECCを使っていた若い頃の血が猛るの）

なんで英会話の話してんの？

https://www.crucial.com/memory/server-ddr4/mta18asf4g72az-3g2r

>>176
メルカリやpaypayや楽天のフリマ、ヤフオクで売ってるぞ
「ddr4 ecc unbuffered -non-ecc」で探せ
eccかどうかはちゃんと説と説明みろよ

DDR3 の ECCメモリはメルカリで買い漁ったなあ
古いサーバを192GBまで増強したが、CPUの遅さに耐えかねたのと、RAIDコントローラ周りで不具合が出て使うのを諦めたわ

RAM16GのWS2022のVMを17個起動するまで気づかなかったけど、ノードのCPU利用率は15%もいかないのに
17個目を起動したらサークルローディングから引っかかったようになって、これが限界？って思ったけどswapoffしたら実機並みにサクサクになった
swapめっ！！

freeするとbuffres 116Gって出るから不安になったけどノードのRAM使用状況だと全体の283GiB使用になっててLinuxのメモリ管理がそういうものなのか
VMのRAM 2.3GiB使用って出てるからRAM8GBにしてもいけそうかな

>>181
swappinessを下げることで改善しそうですね

メモリオーバーコミットは避けるようにしないと
VMwareならバルーン、Huper-Vなら動的メモリがあるけどまさかVMwareでvmware tools入れてないパターンだったりして

上の書き込みみてゲストがWindowsでもKSM sharingうまく動作するのか気になって試してみた
Win11を10台とLinuxを4台動かした状況
https://i.imgur.com/zT2dM9T.png
WindowsでもKSM sharingの恩恵が十分にあるの

>>179,180
ありがとう、探してみます。

Cephのパフォーマンスを上げるために
SSDをパーテーション分割してOSD増やしてみた
https://i.imgur.com/6MoRn9A.png
なんか、キモイ！

>>182
なるほど！
本当に必要になったらswapするようにもできるんですね
0にして試してみます

>>184
うちはksmtunedパッケージごとremoveしていますがここまで恩恵があると入れなおして
Windows VM 100台くらい動かしてみたくなりますねｗ
WebUIだと並列でVMクローンできないみたいなのでコマンドでのクローンを調べます

proxmox 初心者なんだけどインストール時に

3% Creating LVs

って出て止まっちゃった。と思ったら NVMe 使用時のバグ？仕様？らしく、その状態のまま１５分ほど待ったらインストール終了した。
ハングしたと思ってハードリセットしたりして、これで何時間も無駄にしたぞ。ぷんぷん。

それでどうなったん？

proxmox lvs インストール　止まる

あたりでぐぐると出てきます。

>>188
その事象には遭遇した事はないけど、
forum等で同じ話題はあっても直す方向に
動いているようには見受けられないので
小慣れてない感じがしますね。

>>117
もう買っちゃった？
いいの見つけたけど

https://item.rakuten.co.jp/wattmann/kmd115615584/

DELL デスクトップパソコン Precision Tower 5810

HDD：なし
CPU：E5-2690v4 2.60GHz（目視確認済み）
メモリ：32GB×4（目視確認済み）
その他詳細不明です

※起動せず電源ランプが2回・7回とオレンジに点滅しました。

※HDDは付いておりません。

20,680円送料無料

14C28Tで32GBx4で2万だから激安
グラボも載ってるから最悪パーツバラして売っても元取れそう

ちなみにエラーの種類だが
メモリがおかしいと思われる
挿し直して動いたらかなりの儲けもん

予算１０万円でミニpc proxmox データセンター計画

１．N100 16GB 500GB を３－４台
２．5800u 32GB 1TB ２台
３．どうせなら 8945hs 64GB 2TB １台

只今悩み中ｗ

>>195
1は世代同じで4台持つと同じ時に捨てたくなるから2 or 3 かmini と言わずミドルタワーくらいのPC1台じゃないの

promox、なにがいいのん？

>>195
仮想マシンを何台も同時に処理を走らせるなら案3で、何台も立ち上げるけど処理を走らせるのは数台というなら5800Uにメモリー64GB積むのもありかと。

>>195
1,2は何がしたいのん
クラスタ用ならハードに信頼性無いしやることが中途半端。1台で遊ぶならありだけど

>>195
コア数(スレッド数)でみれば2が一番やな

信頼性にかけるハードウエアで高稼働率を確保するためのクラスタリングなんだから、Cephも構成できる1が一番面白い
だけど実用的には2が一番パフォーマンス出るかな

ちな自分は
5700U 64GB 2TBx2
で組もうかなって思ってる

個人使用なら1台ツヨツヨのを置いて
周りにヨワヨワを増やしてく方が良いと思うな
俺の場合はproxmox+k8s(k3s)だからcp分散できれば良いって感じ

クラスタ作るのに次の２行に書かれてるハードウェア推奨事項を満たそう頑張ったが
・ proxmox High Availability
・ ceph hardware recommendations
結構難しい(少し満たせなかった)

電力と回線とメインルータに障害が無ければ
Availability 99.999%は達成できるはず？

Ryzen 9 5900XT が32スレッドあるから、10個くらいサーバ立てても実用になるんでないか

台数でネックになるのはCPUよりもストレージの方だと思う

24TB HDD でよくね？

同時にいろいろ動くとディスクがクソ重い

PCIe gen4のSSDくらいの速度になれば10台くらい余裕かも知れんけどね

>>206
そこで、 Optane DC SSD ですよ

>>210
どうなんだっけと思って調べたけどpcie gen4のSSDよりは遅いっぽい

OptaneってTBWはめちゃくちゃ高いんだな

>>211
サーバー用途での比較方法として
Optaneと一般的な（コンシューマー向け）PCIe Gen4 SSDを使って4KBのランダム書き込みを1ブロックごとにfsyncを行う
この様な状況を前提として比較してほしい

遊びならいいが信頼性の低いPC台数増やすと保守性皆無やぞ
RAIDにも言えるが長期不在時に1台壊れたときが悲惨や
直すまでに残りも壊れて再起不能になる

昔HDDに内蔵してキャッシュとして採用されてたよね
懐かしい