【PVE】Proxmox VE【KVM, LXC】NODE-2

Proxmox VEについて語りましょう！

Proxmox VEは、Debianをベースとしたオープンソースのサーバー仮想化プラットフォームです
仮想マシンとコンテナの管理を、統合されたWebインターフェイスを通じて直感的に行うことができます

【公式サイト】
http://www.proxmox.com/
【公式ドキュメント】
https://pve.proxmox.com/pve-docs/

【特徴】
・オープンソース: コスト効率が良く、広範なコミュニティサポートが利用可能
・仮想マシンとコンテナの統合: KVMとLXCのサポートにより、柔軟な仮想化ソリューションを提供
・クラスタリングによる高可用性: 複数サーバの統合管理で、負荷分散や冗長性を実現
・Web GUIによる簡単管理: 直感的なインターフェースで専門知識がなくても管理可能
・多様なストレージサポート: NFS、iSCSI、Cephなど複数のオプション対応
・統合バックアップとレプリケーション: 簡単設定でデータ保護と災害復旧をサポート
・ライブマイグレーション: 稼働中のVMをダウンタイムなしで移動可能

【前スレ】
【PVE】Proxmox VE【KVM, OpenVZ】
https://mao.5ch.net/test/read.cgi/linux/1381916363/

勝手にいくつか変更させてもらった
・WikipediaへのリンクはWikiの情報が古く少ないため削除
・Proxmox公式ドキュメントへのリンク追加
・OpenVZは現在サポート対応してないためLXCに変更
・説明文をChatGPT-4で生成

>>1
おつです。
ESXi用のCiscoの有償トレーニングソフトCisco Modeling LabsをProxmoxで動かした記事がネットに上がっていた。
そんなこんなでProxmox利用者がどんどん増えるかもね。

乙

> 1001 名前：1001 []： Over 1000 Thread
> このスレッドは１０００を超えました。
> 新しいスレッドを立ててください。
> life time: 3829日 17時間 37分 12秒

前スレ完走まで10年超えで草

300までに9年、残りで1年くらいだったな

すげえな
VMwareの影響か知らんけど

>>6
影響でしょう

これからは、VMware関係スレが

前スレ>>996だけど
>CRUSHマップに古いノードの情報が残ってる
ceph osd crush remove {bucket-name}で古いProxmoxのノード情報を消したら
＞WEBGUIのCeph(OSD)に前のノード情報が残ってる
これも上記の操作で綺麗になった

恐らくだけど、Cephの運用でProxomox側で管理してるのは極一部で（pmxcfsでceph.confを同期＋α）
Proxomox側で情報や管理は行ってる部分は殆どなく、WebGUI等はその都度Cephから直接情報取得して表示してるのだろう
（ソースコード見ればいいのだろけど、すごく面倒・・・）

pvecephコマンドも基本的にはproxmoxのディレクトリ構造前提にCephをコマンド操作してる程度の動きなんだと思う
（pvecephでCephの認証キー？とかをクラスタ間で送受信もしてるはず）


※以下日記なのだけど・・・
【現在】　NASサーバーｘ1台、Proxmoxｘ2台
【今後(妄想)】　NASサーバーｘ1台、Proxmoxｘ3台（CephとHAを運用したい）
妄想中に思い付いたのだが・・・
追加でNASサーバーを冗長化したいと思ったら、いっそProxmoxｘ5台にしてCephを中心にNAS化したほうが管理が楽じゃないか？
（なお電気代がヤバイので無謀な気もする）

2.5GbEでクラスタ組んでる3台6OSD構成のProxmoxクラスタだけど、ストレージの速度は100MB/sくらいしか出ないよ

普通の1000BASE-Tで3台3OSD（2.5インチSSD）構成のProxmoxだけど、ストレージの速度は
VM（ubuntu）のKDiskMarkでSEQ1M Read 190MB/s、Write 50MB/sとか出てるけどなぁ。
NASの容量や目的にも依るだろうけど自分はVMにインストールしたNextcloudで不満は無い。

>>9
Ceph組んだことないんだけど、Proxmox3台で、HAとCephを一緒に組めるものなのじゃないのか？

>>9
Ceph組んだことないんだけど、Proxmox3台で、HAとCephを一緒に組めるものなのじゃないのか？

ごめん、２どかいてしまった。

Cephに渡すドライブって /dev/sdb とかの丸ごとじゃないとダメなの？

N100の安miniPCで追加ドライブ用意するのが面倒
（Proxmox自体をUSBメモリにインストールすればいいのだけど、挿ってるのがちょっと気に入らないｗ）

raidzで組みたいんだが後からSSD増設できない仕様なのにSSD値上がりしまくってるせいで痛い
何かいい案ないものか

>10,11
参考になります
自分の環境だと3台( NIC 1Gbps )で Write 42MB/s 位でした（想定の範囲）
（一応 public と cluster のネットワークを分けてみたけど、内部の vm からだとあまり変わらず）
複数のノードから同時に書き込みして、その合計を書き込み速度って考えならもっと増えるかな（今度試してみよう・・・）

>>12
3台でCeph,HA,VMが共存できます

ただ、手元にPRIMERGY10台（使用中４台）あるから・・・

>>15
試したことが無いから憶測だけど
ある程度Linuxの知識あって、Cephのドキュメント読みながらOSD構築できるなら
LV(LVM)でも任意のパーテーションでもOSD用に割り当てできるはず

いま調べてる途中なんだけど、Cephのモニターかマネージャーノード（両方？）が
OSDじゃなくLinuxのインストール側のディスクに常に0.5MBye/sec位謎の書き込みしてる
（内容(原因)追ってるんだけど、inotifywaitでは？特定できてない）

それで、高耐久ではない一般的なUSBメモリだと直ぐに死ぬ！

Cephの謎の連続書き込みこれっぽい
/var/lib/ceph/mon/ceph-{host-name}/store.db
（ find / -mmin -1 の結果から、それっぽいの見つけた ）
123456.log , 123456.sst（6桁？の数値.logと.sst）が原因っぽい
0.5MBye/sec≒15TByte/yearはちょっと多い・・・
Proxmoxの起動用に容量少ないSSD使ってるから不安しかない・・・

UNIXの頃から、安全を見てrootの予定空き容量は50%以上を確保しておけと。
（たいした容量は必要ない）

今日の悲しい報告

fstrimコマンドを100回は打った
Lvm(thin)もZFSもCephもThin Provisioningなのに、なぜ確保した範囲が解放されないって悩み過ぎた

Discardを有効にするために/etc/pve/qemu-server/<vmid>.conf 弄ったり
/etc/lvm/lvm.conf 弄ったり
zpool set autotrim=on pool 打ったり・・・

Vmで使う仮想DiskのDiscradのオプションに気づかずに・・・

>>20

OSDじゃなくLinuxのインストール側のディスクはHDDにしたほうが安全だね。。

PVEでのcephの運用勉強してたら
前提条件が変わってきて用意したパーツが無駄に(笑)

データ用SSD180GB(MLC)ｘ14個
起動用SSD32GB(SLC)ｘ14個　← これ、窓から投げ捨てて

起動用に100GB+α以上で高耐久のSSD調達しないと(涙)

>>24
どんな構成なのか気になる・・・

>>24
起動用はもう、HDDでいんじゃね？（笑

実際のところ、Proxmox起動用と、iso保存用は、HDDを使うのとSSD使うのどっちがいいんだろうね。

ISO置き場は読み込み速度がほしいのでSSDにしてるな

Optaneでいいよもう

/var/lib/ceph/mon 以下をtmpfsにしちゃうとか