【PVE】Proxmox VE【KVM, LXC】NODE-2

Proxmox VEについて語りましょう！

Proxmox VEは、Debianをベースとしたオープンソースのサーバー仮想化プラットフォームです
仮想マシンとコンテナの管理を、統合されたWebインターフェイスを通じて直感的に行うことができます

【公式サイト】
http://www.proxmox.com/
【公式ドキュメント】
https://pve.proxmox.com/pve-docs/

【特徴】
・オープンソース: コスト効率が良く、広範なコミュニティサポートが利用可能
・仮想マシンとコンテナの統合: KVMとLXCのサポートにより、柔軟な仮想化ソリューションを提供
・クラスタリングによる高可用性: 複数サーバの統合管理で、負荷分散や冗長性を実現
・Web GUIによる簡単管理: 直感的なインターフェースで専門知識がなくても管理可能
・多様なストレージサポート: NFS、iSCSI、Cephなど複数のオプション対応
・統合バックアップとレプリケーション: 簡単設定でデータ保護と災害復旧をサポート
・ライブマイグレーション: 稼働中のVMをダウンタイムなしで移動可能

【前スレ】
【PVE】Proxmox VE【KVM, OpenVZ】
https://mao.5ch.net/test/read.cgi/linux/1381916363/

VMwareのクソ化でProxmoxが注目されてるけどLTSみたいなサポート出来ないと日本での展開は難しいんじゃないかな
数年ごとのDebianのリリースサイクルでメジャーVer.upで運用するのは厳しいでしょう

>892
安定版が必要ならサブスクリプションでエンタープライズリポジトリ使うと思うけどそういう意味じゃない？

サポート欲しいところはRHEL使うんじゃねえの

RHELで仮想化基盤ってコンテナ基盤とのセットのOpenShift Virtualizationくらいしかなくないか？ OpenStackは難しすぎるし

>>889
雰囲気で世は事もなしで誤魔化せる事が増えてるだけでそれ以外は昔と何も変わってないで

8から9に上げるのって難しいの？
3台でクラスター組んでるので、一台ずつゲストを空にしてクリーンインストールしてやれば一番楽かなと思ってみたけど

PBS は先行して3から4にしてみた

>>897
次のとおりで慌てすにやれば難しくはない
https://pve.proxmox.com/wiki/Upgrade_from_8_to_9

慌てずにやる事が出来ない人間は少なくないのでそのアドバイスはあまり適切ではない
目が滑る人はドキュメントが読めない

>>898
ゴミが残りそうで、できればノードごとにクリーンインストールしたいです

>>900
自分ならVM3台でクラスタ作って試してみるけどなぁ
手間はかかるけどどっちが楽か難しいかも確認できる

>>900
自分ならVM3台でクラスタ作って試してみるけどなぁ
手間はかかるけどどっちが楽か難しいかも確認できる

>>895
OpenShift Virtualizationってk8sコンテナ環境にKubeVirtでVMを動かしているのでk8sのオーバーヘッドが大きい様に感じるなぁ……

k8sってオーバーヘッドあるの？
コンテナを管理してるだけのツールでは

k8sの上に立てたコントローラーからqemu叩いてKVMのVM動かしてるだけだからオーバーヘッドは仮想NICとソフトウェアスイッチ位のものだよ

k8s+KubeVirt、こんなイメージだったわ

+---------------------+
| KubeVirt |
~~+---------------------+~~
| Orchestration (K8s) |
+---------------------+
| Scheduling (K8s) |
+---------------------+
| Container Runtime |
~~+---------------------+~~
| Operating System |
~~+---------------------+~~
| Physical |
+---------------------+

>>902
基本的にはdist-upgrade の実行だけなんだろうけど、pve8to9 を実行したら error だったか warning だったかがドバッと出たのでめんどくさくなりました　ハードウエア依存のエラーだと仮想環境のテストとは条件が違うでしょうし（エラーの中身はちゃんと読んで無い）

できれば SATA SSD なのを PCIe SSD に置き換える作業も同時にやりたいのだけど、いまSSDも爆上がりだから、こっちは据え置きかなあ

>>907
面倒かもしれないけれどノードの電源を落としてクラスタから削除して新規インストールしてクラスタに参加する手順も試してみたほうが無難かと
https://pve.proxmox.com/wiki/Cluster_Manager#_remove_a_cluster_node
VM のスナップショットを残しているだろうから何度でもやり直せるでしょう

PVEに限らず差分アップデートって信用できねーよなw

windows11載せたらいつの間にかDNSで名前解決できんくなってて1日いろいろやってたけど、windowsのNICのオフロード offで解決した。
こんなハマり方する人いるかわからんけど一応残しとく。

Proxmox9.1上のwindows11 VMで

・DNSサーバに
pingは通るしsshも繋がる
・nslookupではtimeout
・NICはvirtioでもE1000でも同じ
・DNSサーバがdebianに載せたbind9でもルータ(HGW)でも同じ
・powershellで Resolve-DnsName -TcpOnlyは成功 (要はTCP/53は通るけどUDP/53はダメ)
対処方:

PowerShell（管理者）で以下を実行 ※"イーサネット"は環境に応じて
Disable-NetAdapterChecksumOffload -Name "イーサネット" -IPv4

Disable-NetAdapterChecksumOffload -Name "イーサネット" -IPv6

chatGPTに言わすと

---
UDP/53 の戻りパケットだけを Windows が受理していない

原因は「Large Send Offload / Checksum Offload 系 + virtio + Windows 11」

これは Proxmox 8以降 + Windows 11 で割と報告が増えてるやつです。

DNS UDP 応答は：
・小さく見えて
・実際は オフロード前提のフレーム
・それを Windows 側が「壊れてる」と判断して捨てる

TCP は再構成されるから生き残る
UDP は 一発勝負なので死ぬ

---

だそうで。
報告増えてるのか。探し方悪いのか全然見つからんかった。

そんなことがあるんだ

全部発生するわけでもないしちゃんと動いてたのがおかしくなったので、windowsやらVMやらとあっちこっち設定いじくりまわしたけどどれも無駄だったわw
問題の切り分け大事ねー。

pve8から9に上げるのに再インストールしたらインストーラー起動しなくて
グラボがnvidiaだった事思い出した
これまだ治らんの？

これで、治るかな？
Linux 6.19-rc5 は、新しい NVIDIA GPU、Logitech HID++ For Anywhere 3S などの修正プログラムを導入
https://www.phoronix.com/news/Linux-6.19-rc5-Released

ポンコツNICの場合Offload系はオフにするのが定石だからな

現代のCPUはネットワークの処理任せても大した負荷にならんしな

proxmoxを触ってみて
うお～すげ～と思ったが
使い道がない
32コア128GBマシンがあるから
それで何かに活かしたいがやることない
悲しい

>>908

8系ノードをコマンドラインでクラスタから削除
念のためネットワークケーブルを引っこ抜いてから9系をクリーンインストール
9系を最新版にアップデートしてからノードに参加

あっさり終わりました

ところで、proxmox datacenter manager をインストールしてみたのだが、なんだこれ？
vCenter server みたいなのをイメージしてたのだけど、クラスタ組んで管理してるとあんまり意味なかったりする？

>>918
N100 32GBにProxmoxを入れ、ドメコン2台とNAS2台を動かしてる。
他は同じくあまり使い道がないかな。

高負荷の鯖構築ならPVEのメリットありそうだが一般的のはもて余すよねw皆が何に活用してるか気になる
N100で大容量メモリは先にCPUがボトルネックになりそうだなw

自宅にk8sを動かして色々サービス展開したりansibleとかを常に回したり 後はAIで常にトラフィックモニタリングさせて色々制御させたりするのをやりたい

>>922
NASがリソース食わないOMVというのもあるが、非常に軽快に動作してるよ。

>>918
自宅か、会社かにもよるけど、OSSでいろいろと便利なツールがあるのでそれを動かすのが良いんじゃないかな？
このスレッドの人に、Proxmoxを何を使っているか、聞けば、いろいろと出てくると思うよ。

ただし、32コア128GB。会社であれば、検証環境にもってこいだけど、自宅なら電気代の無駄だなぁ。

>>925
ここの住人なら（12コア24スレッド・64GBメモリ）x 3ノード とか自宅でも普通にありそう

Zabbix、PostgreSQL、Plesanter、GitBucketあたりが動いとる
付随してDNSとかもか

GitBucket以外は無駄に冗長化させてる
ぶっちゃけ止まっても困らんからいいんだが、何する？ってなった時にやったわ

PVEのバックアップ機能で保存先をWindowsサーバの共有にしてたのだけど、頻繁にバックアップ失敗してた。

Copilotに相談したら「WindowsのCIFS共有をバックアップ先にするのは正気の沙汰ではない」ってバカにされたｗ

正気ではないな

よくそんなこと出来るな
頭イカれてるとしか思えんw

これは常軌を逸しているよ
全くなんでこんな事に

狂気の沙汰まだマシだよな
俺はきちがいって言われた

事実なだけだし実際そう

>>929
Gemini はちょっと優しい

事実の指摘は罪ではない

>>929
なんでダメなん？

脱WMware候補としてKVMベースのNTTデータ「Prossione Virtualization」を耳にする機会が増えてきた感

>>938
名前は知ってるが、Linuxカーネルを使うオープンソースのkvmを使ってるのに、製品ページにLinuxもGPLv2の文字もない。かといってプロプライエタリの文字もない。なんなんだこれ？

>>937

Copilot曰く、CIFS共有は小さなファイルの転送しか考慮していない仕様で、バックアップデータのような巨大な１個のファイルの転送には向いていない、とのこと。

>>938
こういうのこそnon-supportのCommunity Edition出してファンを増やさないと使って貰えないのに最初から商売でガチガチに固めててﾜﾛｴﾅｲ
誰かNTTDに指摘してやれよ…

KVMベースだからコンテナ無理そうだな

しかしスピードが出ないとかプチフリするとかならともかく失敗するってどういうことなの...

回答来たよ
①Prossione Virtualizationのライセンスについて
Prossione VirtualizationはKVMではなく、KVMを管理するlibvirtを利用したソフトウェアである。
GPL v2(厳密にはLGPL2.1)が伝播しない形で作成しており、ライセンスもGPL v2ではない

②GPLv2のコードを含むソフトウェア製品は、ライセンスをGPL v2とする必要があり、ソフトウェア製品(配布物)へライセンス情報を含めることや、ソフトウェア製品のソースコード開示要求があった場合には開示義務がある。
一方で、製品ページへGPL v2であることを明記する義務はなく、GPLv2のソースコードを含むソフトウェア製品の有償販売も問題はない。

だそうです。ソフトウエア開発より法務部の方が努力したみたいですね、ら

>>942
あくまでオンプレのVMware ESXiの置き換えなのでコンテナは対象外
企業でコンテナ使いたい人はクラウドのサービス利用した方が早い
自前でコンテナ基盤構築して運用すると社員がﾀﾋぬ
kubernetesも慣れればそれほど難しくないけど操作や概念の理解含めてそこに到達するまでが大変で普通のレベルだと付いて来れない

>>945
コンテナはクラウドサービスのほうが楽なの？
確かにクラウドだとVM単位でレンタルになるからコンテナのほうが向いてる気はするな

将来的にはコンテナへ移行したいが取り急ぎVMwareから逃げたいユーザーはRed Hat Openshift Virtualization(k8s + KubeVirt)へ行っていますね

LXCがあるだろ

LXCを運用してる会社あるの？
あまり実績を見ないんだよな
昔からある技術にしては

pve9.1で外付けSSDで起こる不具合？
①250GB外付けSSDをext4でフォーマットしようとすると、Creating journalで止まる。xfsではさほど待たなくていい
→128GBのusbメモリも同様だが、そのまま放置していたら30分位でフォーマットが完了した
②xfsでフォーマットした外付けSSDをマウント、データセンターのストレージにディレクトリで登録。
→64GBのvmのバックアップを開始すると、速度が低下して止まり、そのままフリーズする
③/var/lib/vz/dump以下をcpコマンドでコピーすると、やはり速度低下が起こり恐ろしく時間がかかる
④pveローカルへのvmバックアップは快適だが、pbsローカルへのバックアップは速度低下→停止する
⑤pveのvmをリモートでpbsにバックアップする際は爆速で完了する

本番運用環境としてのlxcは聞かないな

ChromeOSのlinux環境（crostini）とか
なくなったけどAWSのCloud9とかの
開発環境には向いてるけど

Wimdowsの自宅サーバの引っ越し先はProxmoxでいい?
今の筐体で現行サービスを維持しつつ、新たなLinuxサーバ構築していきたい。
現行サービスはProxmox上でHDD指定するだけで稼働できるっしょ?

Windowsサーバーで何を動かしてたのか知らんからなんとも言えんな

ProxmoxのVMにWindowsをインストールして物理HDDを追加、現行サービスを維持
別のVMにLinuxをインストールしてサーバー運用
問題ないと思うけど

8700k+64GBにpve9.1新規インストール。vmを作り、そこへproxmox backup server4.1をインストールした。

リポジトリ設定後、pbsをapt update upgradeするとdpkgエラー出まくり、再起動後はProxyエラーでWEBUIに接続できなくなる。

色々悩んだが、pveをアップデートしないでvmを作りpbsをインストール、pveをアップデート後にpbsをアップデートすると上手くいった。
まあそんな際どい手より、pbsをアップデートしないのがいちばんかな。

はい

ラズパイ4-4GBにpixvirt（pve8 for Raspi）をインストールしたが地獄だった。
pxvirtのISOではインストールできないので、RaspiOS Lite bookworm を入れてからpxvirtを入れる。

結論を書くと、公式通りにインストールするとproxyエラーでWebUIにアクセスできなくなり失敗する。
Installing PXVIRT from Debian
https://docs.pxvirt.lierfang.com/en/installfromdebian.html

一方で↓は一発でうまく行った。
Raspberry Pi 4 で Proxmox 8 を動かした手順
https://qiita.com/stomi80/items/56a2b26493bc65cb628c

Windows マシンのP2V で簡単な方法ないですかね？

>>958
以下3つのどれかを使って、イメージ作成し、Proxmox上でリストア。
1)Rescuezilla
2)Acronis
3)Windows標準バックアップ
今までの経験上、どれがいいというより、うまくいったりいかなかったりがあり、3つ試している。

一つ言い忘れた。イメージを作成する前に、Windowsのバージョンに対応した、virtioドライバーをインストールしておくこと。

>>958
マウントしてインポートで行けます

>>960
これは、P2Vの直後にディスクをSATA接続に直せばよいはず
もちろんパフォーマンス的には virtio ドライバを入れて繋ぎ直したほうが良い

>>960
これは、P2Vの直後にディスクをSATA接続に直せばよいはず
もちろんパフォーマンス的には virtio ドライバを入れて繋ぎ直したほうが良い

>>961
もう少しくやしく

>>964
ストレージ追加してインポです

vCenter converter でESXi に移した後に、ESXi では電源を入れずにproxmox にインポートしちゃってるけど少数派？一応全部無料でいけるし、ESXi on proxmox を構築できるならさらに簡単（うちは ESXi on proxmox まではやってないが）

無料だけにゴミみたいな部分は多い

ラズパイ用pveのpxvirtのミラーが移動した。
https://mirrors.lierfang.com/
例によってすげえ苦労した。

修整箇所
apt upgrade後に基本アプリを入れておく
apt install curl htop lsof ethtool ifupdown2 bridge-utils

ifupdown2と競合するnmcliをアンイストールしてからsyscti.confを編集してipv6を無効化

sources.listにアドレスを追加する
echo "deb https://mirrors.lierfang.com/pxcloud/pxvirt bookworm main">/etc/apt/sources.list.d/pxvirt-sources.list
→echo "deb [arch=arm64] https://mirrors.lierfang.com/pxcloud/pxvirt bookworm main">/etc/apt/sources.list.d/pxvirt-sources.list

インストール完了後はGUIにログインできないからできてもノードが表示されない。Chromeをプライベートモードにするか、サードパーティのCookieを無効にすると正常起動する。

これでやっとクラスタとcephが試せる（涙）

LANアダプタ変更に伴い、pxvirtを再インストール、GUIにログインするとサーバーオフラインでノードが表示されない。
色々悩んだが、Chromeをプライベートモードにするか、サードパーティのCookieを無効にするとアクセスできた。
pve クラスタの管理サーバーにしようと思ったらProxmox Datacenter Managerなんてものがあるんだな。
うむ～。

普通にRasbianからPVXVIRTは入るから楽
IP固定とhostsの設定も必要だよ

N100のマシン2台とpxvirtでクラスタ&cephファイルシステムを組んだ。
proxmox datacenter managerも試したが、まだできることが少な過ぎる。
今後に期待かな。

二台とかダウト

>>972
ごめんなさい。pxvirtはラズパイ4Bです。2.5Gbps環境でcephがまともに動くか？が課題です。

まともとは？

1台だけ異型か…へえ

>>973
ラズパイ4Bはosd無しのceph monだけが無難かと
ログが気になる

仮想マシンによっては、構成でlatest が選べるのと10.0+pve1 みたいに具体的な構成しか選べないのとがあるので悩んでたら、OSにwindowsが動いてるとそうなるらしいね

1.クライアント用途で使ってたちょっと古めのPCにpve入れる
↓
2.メモリ高いのでそのままVM動かすには心許ない
↓
3.使う鯖は全部Linuxだし全部lxcで構築しよ
↓
4.一通りインストールして快適
↓
5.全部コンテナならpveじゃなくて良いんじゃね？
↓
6.コンテナ動かすならk8s、って事で勉強中なんだけどk8sわけわからん
↓
7.実際に動かして試しまくる為にpveにVM複数台立てて
k8sインストールして勉強中
↓
8.あぁVMが使えるpveで良かった
↓
2に戻る

ここ半年こんなループを繰り返してるが
もうpveでいいじゃん、って結論に落ち着きそう

k8s使いたいならHarvesterとかどうよ

pveよりk8sの方がいいの?

一概にどちらが良いとかは無いな
運用の問題だと思う

k8sの方が運用の事を考えて作られててカッチリ纏ってる
その代わり覚えることが多くて勉強が大変
逆にpveの方は自由度は高いけど手間がかかる

オンプレ慣れしてる人はpveの方が相性良いし
クラウド慣れというかコンテナ慣れしてる人は
k8sの方が相性良さそう
そんなイメージ

proxmoxで動かすならk8sではなくk3sのほうがいいかも

LXCとk8sはkernel parameterとかcgroupで競合が起きるからな

frigate入れるのに、LXCとVMどっちがおススメ？
USBでHDDとcoral繋ぐ

chatGPTに聞くと「コンテナはパススルーが面倒だからVMにしろ」って言うんだけど、そのために大がかりっちゃ大がかりかなと

frigateもcoralもなにか知らんけどVMがいいよ

LXCでいいと思うよ
frigateもLXCで使ってるしそれに見せるwebカメラもLXCでrtspにして見せてる

SSDx8の使い方のアドバイス欲しい
①ZFSミラーx4＋PVEはUSB起動
②ZFSミラーx3＋PVEはZFSミラー
③ZFSミラーx3＋ホットスペアx1＋PVEはSSDシングル
どれがいいだろう。RAIDZ1,RAIDZ2は拡張性が無いので除外で。

ぶっちゃけ使い方による

素直な第一印象として8本あったとしてproxmoxで使い切れないんじゃね？と思った
その広大なスペース使い切れるほどCPU性能とメモリ容量無いでしょ

俺ならそのPCにtruenasとか入れて
他の複数台PCでproxmox動かしてその広大なストレージ使うかな
もしくはやはり他の複数台PCで動かしてそのストレージはcephかね

なるほど、処理性能での観点は無かった。
やりたいこと言ってなかったですね。PVE上にNASOS入れて家庭用NASとして使うのがメインで後はVMコンテナ入れて遊ぶ程度。
OSは消えてもデータ消えなければOKで可用性は求めてないっす。

うちはCephをオブジェクトストレージとして構築してjuicefsでマウントしてるよ
CephFSよりこのほうが速い

>>989
であればpveで使うのは1本で残りのSSDはパススルーしてファイルサーバーがおすすめかな
まあ恐らくvmでtruenasを使うことになるのでそのでzfsでレイド組めば良いんだが
そこでどう組むかって話になるね
その選択肢からなら③が現実的かな

ただ、ストレージ容量どんぐらいか判らんけどメモリは多ければ多いほど良いので
俺ならpve入れないで単体でtruenasだけで入れるかな
truenasだけでlxcもvmもdockerも動かせるので
おまけ程度にコンテナ動かすならtruenas単体の方が運用楽だと思う

ちなみにzfsはストレージ1TBに対してメモリ1GB位が目安とか言ってる人多いけど
個人的にはあればあるほど良いと思う
zfsはとにかくメモリが大事

Proxmox Virtual Environment 9.2 available!
https://forum.proxmox.com/threads/proxmox-virtual-environment-9-2-available.183742/