【PVE】Proxmox VE【KVM, OpenVZ】

Debianベースのアプライアンス、Proxmox VEを語りましょう！

公式サイト
http://www.proxmox.com/

proxmox wiki(日本語)
http://ja.wikipedia.org/wiki/Proxmox_VE_(%E4%BB%AE%E6%83%B3%E5%8C%96%E3%83%97%E3%83%A9%E3%83%83%E3%83%88%E3%83%95%E3%82%A9%E3%83%BC%E3%83%A0)

proxmox wiki
http://pve.proxmox.com/wiki/Main_Page

公式から無料でisoを落としてきて、CDに焼いて CD bootしたら
インストーラが起動してグラフィカルに簡単インストール。
インストール完了後すぐに他のマシンからhttpでWebアクセスして
使える。Web管理画面は日本語対応。
内部ではKVMやOpenVZが仮想化基盤として使われている。

VMware ESXiのような感じに使えると思うので、乗り換えの方もぜひ。

誰でも簡単にパソコン1台で稼げる方法など
参考までに、
⇒　『宮本のゴウリエセレレ』 というブログで見ることができるらしいです。

グーグル検索⇒『宮本のゴウリエセレレ』

X2PJPUHVY0

オープンソースの電子メールセキュリティソリューション「Proxmox Mail Gateway 5.0」リリース
https://mag.osdn.jp/18/01/25/181500

https://pve.proxmox.com/wiki/Roadmap
Roadmap
Cloudinit
Cluster create/join nodes via GUI
SMB/CIFS Storage plugin
Display IP for VM (using qemu-agent)
Let’s Encrypt GUI
Basic/Advanced GUI
Live migration with local storage (qemu) to the gui
xterm.js as default console for containers, shell
Support for external fencing devices
Qdevice (additional external vote, e.g. for 2-node clusters)
Ceph improvements
4.15 Kernel

Proxmox VE 5.2
https://pve.proxmox.com/wiki/Roadmap#Proxmox_VE_5.2
リリース日16.05.2018：ダウンロードを参照

Debian Stretch 9.4に基づいて
カーネル4.15.17
QEMU 2.11.1
LXC 3.0.0
Ceph 12.2.5（Luminous LTS、stable）、Proxmoxパッケージ
ZFS 0.7.8
Cloudinit GUIのサポート
GUIを使用したクラスタ作成/結合ノード
Let's Encrypt GUIを含む証明書管理
SMB / CIFSストレージプラグイン（バックアップ、イメージ、テンプレート、ISOおよびコンテナをサポート）
VM用のIPを表示する（qemu-guest-agentを使用）
LXC：テンプレートとクローン、ボリューム/ディスクの移動
GUIを使用して新しい役割を作成および編集する
リストア操作の制限付きI / O帯域幅（グローバル、ストレージまたはリストアジョブごと）
再接続ロジック（コンテナの再起動または再起動時）を含む新しいxterm.jsの統合
基本/高度なGUI
ebtablesのサポート
参照ドキュメントの改善
無数のバグ修正とパッケージアップデート（すべての詳細については、bugtrackerとGITを参照してください）

僕の知り合いの知り合いができた副業情報ドットコム
関心がある人だけ見てください。
グーグルで検索するといいかも『ネットで稼ぐ方法　モニアレフヌノ』

X69EW

ほしゅ。

pveで動かしていたVMやコンテナのバックアップを利用して
他のディストリ上で動かすすべを全く知らない...
というぐらい、pveに任せっきり。

NUC7PJYHでPVEクラスタ組んでる人とかいます？

Proxmox VE 5.3 is available

おすすめのサイトありますか？
linux初心者で参ってます。

esxiから移行を考えてます。
esxiではfreenasでSSDをraidzで組んだ後、iscsiでwindowsの起動ディスクにしています。
あと定期的なスナップショットもしてます。

proxmoxでは追加したSSDをraidzで組むことすら難儀している感じです。

依頼心が強い奴は何をやってもダメ。

ProxmoxのWikiでも見ればいい（英語）
でも同じようにiscsiで繋ぐだけじゃないの

FreeNAS使わずにProxmox側にzfs持つのならzpool createとかのコマンドでやる
FreeNASみたいにGUIではできない

>>152
ありがとう。
proxmox側でzfsのraidzとスナップショットが出来ればfreenas要らなくて、リソースが効率的でいいなぁと思ってます。
ただGUIでは出来ないんですね。。。

ESXiだってできないでしょ（そもそもzfsが乗らない）

zfs管理GUIがありゃいいんだろうが、Proxmoxがそこまでやる意味は少なそう

俺が通った道としては
・zfs凄い！特にスナップショットとsend/recvで仮想マシンを無停止+差分バックアップできる
・でもESXiにzfs乗らないからストレージを別サーバにしてNFSにしよう（これでしばらく運用）
・やってることの割に大仰だからサーバをサイズダウンしよう
・ついでにKVMも勉強したいから管理ツールは・・・Proxmoxってのが扱いやすそうだな
・大きい仮想マシンは扱いづらいから、大容量の共有データはホスト側に出してsamba共有+rsyncバックアップにしよう
・仮想マシンが小さくなったから毎日フルバックアップでもいいや、lvmスナップショットで無停止でできるし
・lxcってコンテナだとさらに軽くなるな。Linuxは全部lxcに変えよう

現在に至る

zfsはスゴいけどいろいろ冷静になるとうちでは別にいらなかった
メモリ食うから小型化に向かないし、そこまでの性能はいらんし、今はlvmスナップショットで静止点作れる（差分のsend/recvはないが）

>>155
LVMで7個lくらいスナップショットとったら重すぎて動かなったよ
今はどうかしらないけど

そもそもバックアップの静止点のためだけだから1個しか作らない

複数作ったことはないけど、lvmシンプロビジョニング実装前のスナップショット機能じゃないの（VGにスナップショット専用の空き領域が必要で溢れやすい）

zfsなら1000個作っても重くならないだけで十分メリットがある
スナップショットがファイルシステムを理解してるのはやっぱりでかいよ
zfs diffとか、promoteとか

そりゃメリットあるよ
うちではそこまでいらなかっただけ

インストールしたら、800x600の画面より大きくウィンドウが作成されて…
とにかく進めたらext4になった。

>>159
実は同じような道通ったので共感できるw
俺はLXCじゃなくてFreeBSD ZFS + jail 運用になった

BSD系は手を付けようとしたこともあったけど結局縁がなかった
今のProxmoxとlxcには不満がなさすぎるけど、またそのうちいろいろ勉強してみよう

>>155
俺2個めで止まってるわｗ
iSCSIとNFS併用だけど
俺もそんなに大げさなシステムいらないんだけど
元来面倒くさがりなので放置できる今のシステムが気に入っている
まぁ大半は自己満だがｗ

当時会社がESXi+LeftHand（iSCSI）だったからその勉強の意味もあって始めたけど

LeftHandでストレージのスナップショットすげーってなって
オープンソースで近いもの探してzfs、でも当時はSolarisかBSDにしかなくて
zfs on Linuxのサイト更新をまめにチェックしてたくらい。今はProxmoxにも当たり前に入ってるけどね
btrfsの熟成を待ったりもしたなあ、待ちきれなかったけど

大きな仮想ディスク（vmdk）の変更ブロックだけを差分転送でバックアップできるってのが当時は重要だった

今はダウンサイジングして不要になったけどすごい技術でワクワクしたし勉強にもなった

PVE 5.3いいね。
ZFS作成がGUIで出来るようになったんだね。

CUIでSSD/HDDのパーティション消したら、GUIのZFS作成時にSSD/HDDが選択肢に出てくるようになった。

>>153の人に朗報じゃないか

LVM（VG作成）やLVM-thin（thinpool作成）もGUIからできるのか
>>152は俺だが嘘付いてたかもしれん反省

ただ作成以外のメンテはできなそうだから結局CLIはいりそう

>>166
ありがとう。
>>153が私なんです。
あれから勉強しながらやってます。
まだfdiskとzfsとzpoolを少しくらいしか出来ませんが。。。

esxi上の仮想freenasで作成したzfs(iscsiで共有。勿論異なるNW。mtu 9000。)を同じ筐体の仮想Windowsで使用するより、proxmoxで作成したzfs(iscsi使わないローカル共有？)の方が高速だね。それだけでも導入した価値があった。

ESXiでzfsを使いたいあまりストレージを別サーバにするとか、ESXiのゲストとしてストレージサーバ作ってそれをESXiから利用したりとか、俺も通った道だ

後者はホストがゲストに依存する形になってすごく居心地悪い上に、本来不要なNFSやiSCSIを挟むので無駄で複雑

メモ：
ディスク→ZFS→作成:ZFS

こんなラクチン環境が有ったなんて

lxcで満足だがDockerにも興味湧いてきた
しかしlxcに慣れると「アプリを閉じ込めてエントリポイント？で呼び出す」的な思想に老いた脳が馴染まない

コンテナ内でInitしちゃったらlxcと変わらんしな

>>170
感激している所を申し訳ないが、Proxmox VEはHostがDebian固定でGuestがLinuxなら後述の
DockerやLXDより動作が重く、GuestがLinux以外のWindows等だとVirtualBoxほどの使い
やすさを提供できないので、今現在となっては、さすがに推奨しにくい状況かと。

>>171
Dockerはアプリ単体の動作環境をピンポイントで作れるので廃れることはない。逆にLXCは
後発のLXDに取って代わられる可能性大。LXDはLXCの諸機能の全て備えている上、LXCには
ないライブマイグレーション機能が、サーバー無停止必須環境では決定的な強みでしょう。

とはいえ、簡単に作れるのは悪くないさ。

何だろうこの聞き齧り感
なぜかlxcとlxdが対立する概念になってるし

zfsがええね。

自分の利用用途だとDockerは無くてもいいが、そのうち対応するかな?

でもzfsだと負荷が思ったよりあるな。

「LXCは後発のLXDに取って代わられる可能性大」

どう聞きかじるとこうなるんだろうw

Proxmox VE 5.4 released
ttps://pve.proxmox.com/wiki/Roadmap#Proxmox_VE_5.4

なんか変わった？

5.3-5から5.4へアップデートしたいのですが、皆様どうやってますか？？
GUIのUpdatesからは出来ないんですね…

https://forum.proxmox.com/threads/proxmox-ve-5-4-released.53298/

PROXMOXをインストールする先のファイルシステムをZFSにしたいです。
ディスクは1台でraid組めないのですが、可能でしょうか？

1ディスクでzpool作ることは可能
インストーラが対応してるかは知らん

Proxmox VE 6.0 released!
ttps://forum.proxmox.com/threads/proxmox-ve-6-0-released.56000/

来たか、そういやDebian10出てたな

しかし我が家はさらなる軽量化を目論んでlxdに移行してしまった
Proxmoxのコア部が600MBくらいメモリ使うのをさらに削りたくなったので

でもGUI便利だからまた戻すかも

Proxmox VE 5.3 ( Debian 9.6 )にMellanox HCAを認識させたいんだが、
Mellanox OFED 4.6-1.0.1.1 ( Debian 9.6 )がインストール出来ない。
インストール中に繰り返し同じログが出て、進まない。
何か解決策はありますでしょうか？

lsb-releaseとpve-headers-4.15.18-10-pve_4.15.18-32_amd64.debは事前にインストール済。
「Removing old packages」の後、固まります。

-vvvで詳細を出すと以下のようになります。
This program will install the MLNX_OFED_LINUX package on your machine.
Note that all other Mellanox, OEM, OFED, RDMA or Distribution IB packages will be removed.
Those packages are removed due to conflicts with MLNX_OFED_LINUX, do not reinstall them.
Do you want to continue?[y/N]:y
Checking SW Requirements...
Running: dpkg --configure -a --force-all
Running: apt-get install -f
Removing old packages...
libibverbs1 - will be removed.
get_requires: libibverbs1 is required by libtotem-pg5:amd64
get_requires: libtotem-pg5:amd64 is required by corosync
get_requires: corosync is required by pve-cluster
get_requires: pve-cluster is required by libpve-guest-common-perl
get_requires: libpve-guest-common-perl is required by pve-container
get_requires: pve-container is required by pve-manager
get_requires: pve-manager is required by proxmox-ve
proxmox-ve will be removed.
pve-manager will be removed.
pve-container will be removed.
get_requires: libpve-guest-common-perl is required by pve-manager
get_requires: pve-manager is required by proxmox-ve
get_requires: libpve-guest-common-perl is required by qemu-server
get_requires: qemu-server is required by pve-ha-manager
get_requires: pve-ha-manager is required by pve-container
get_requires: pve-container is required by pve-manager
get_requires: pve-manager is required by proxmox-ve
get_requires: pve-ha-manager is required by pve-manager
get_requires: pve-manager is required by proxmox-ve
get_requires: pve-ha-manager is required by qemu-server
get_requires: qemu-server is required by pve-ha-manager
以後、繰り返し。

過去の話だから参考にならないけどpve系のパッケージと競合してたからアンインストールしてから入れてたよ

>>189
返信ありがとう。
pveのパッケージと競合って厄介過ぎますね。。。

仕方がないので、別途用意したWindows機にOFEDインストールして、ファームウェアアップデートと、設定のリセットしたらProxmoxで認識するようになりました。
ちなみにProxmox6.0でもHCA認識します。

全然、この仮想の調べてないけど。
USB１０個以上使ってる物理サーバーがあるけど、ゲストに入れて使える？
物理サーバーを仮想サーバーに変換できる？
Ubuntu18だけど、

USBの先がわからんが、USBパススルー使えばゲストで認識するよ。

>>192
usb一個追加するたびに、ホスト側でパススルー先のゲストOSを指定する？

ゲスト毎にパススルーするUSBデバイスを指定する（複数可）

ついでに、USBをパススルーする時はUSBポートor製品ID?みたいなので指定できる。結構便利。

>>195
ありがとう。追加、取り外しが多いから、面倒そう。
でも、普通のゲストも移行したいから、また覗きに来ます

HDD丸ごとをゲストにマウントできますか？

コントローラーをパススルー

USBもポート単位だとうまくいかないときは
コントローラーを指定すれば安定する

Proxmox 5.4でVMにSolaris系のOSを入れると不安定なんだけどみなさんはどう？

症状は数十秒から1分程度フリーズする感じでネットワーク接続は切れる
logを見ると怪しいところは
---
scsi: [ID 107833 kern.warning] WARNING: /pci@0,0/pci-ide@1,1/ide@1 (ata1):
timeout: abort request, target=0 lun=0
scsi: [ID 107833 kern.warning] WARNING: /pci@0,0/pci-ide@1,1/ide@1 (ata1):
timeout: abort device, target=0 lun=0
scsi: [ID 107833 kern.warning] WARNING: /pci@0,0/pci-ide@1,1/ide@1 (ata1):
timeout: reset target, target=0 lun=0
scsi: [ID 107833 kern.warning] WARNING: /pci@0,0/pci-ide@1,1/ide@1 (ata1):
timeout: reset bus, target=0 lun=0

openindiana/Solaris/OmniOSすべてで起きることを確認してる

ideだと。。。？

community契約してリポジトリ使うと、やっぱ安定度とか違う？

webインターフェイスでISOファイルをアップしようとしたけど、時間がかかるし、失敗する。
サーバーにUSB-HDDをマウントして、cpした。
ISOイメージが保存できるディレクトリに。
しかし、ゲストOSのインストールで、isoファイルが見えない。
なにか間違いがある？

パーミッションとかかね

>>202
isoが見えないの意味が詳しく知りたい。

それよりmemtestしたり、nic変えた方がいいかも。

>>202
自己解決
ウェブ管理から、ストレージで、/mnt/pve/strage/iso　に作ったけど、
実際は、sshでcpをするときは、/mnt/pve/strage/iso/template/iso　にコピーしないと、ウェブ画面から見えなかった。

webからアップロードしてもそこに入るんだから、要するに勘違いね

>>207
VirtIO導入してる？ESXiでいうVMware Toolsみたいなヤツ。

CPU : Ryzen 2200G(4core / 4thread)
メモリ : DDR4 64GB
ストレージ : Optane 900p SSD 280GB(ファイルシステムはzfs)
上記の環境から、CPU2core、メモリ16GB、ストレージ128GBを使ってWin10 64bit環境構築した。
メッチャ高速だよ。

CPU負荷は、タスクマネージャーから、何のサービスか特定してみては？

>>207
メモリいくつ割り当ててる？
仮想の度合いが完璧じゃないけど、大体は同じかそれより早く動くよ。

OSのインストールのみでアプリは何も入れてない。
４Gを割り当ててる。OSがｘ８６だし。
VirtIOは入れてない。ダウンロードが時間がかかっているから、明日以降かな

>>210
4GだとWindows UpdateでCPU100%だな。
Updateを停止させてみてはどう？

原因を突き止めるのに苦労したので記録としてかきこ

Proxmox上のlinux仮想マシンでDLNAサーバを立てたら起動しているのに
クライアントから認識されない
調べたらProxmoxがマルチキャストを通していなかった
Window仮想マシンのDLNAではOKなので原因にたどり着くのに時間がかかった

対策はProxmox上で
/sys/class/net/vmbr0/bridge/multicast_snooping
を1から0に書き換えればよい

おっさんの認識だと、起動ディスクってソフトウェアraid出来ないイメージなんだけど、Proxmox VEはどうやってんの？
ベースのDebianもできんの？

Debianのインストーラはインストール時にソフトRAID作れる
Proxmoxのインストーラはできないので、先にDebian入れてパッケージでProxmox化

ZFSでしか試していないけれど、とりあえずProxmoxのインストーラはRAIDZに対応している。

>>214
すげぇな。昔の価値観崩れたわ。ハードウェアraid完全に要らんね。

>>215
zfsしか出来ないって事はzfsの特徴の１つって事か。
ほんと凄いな。

WindowsてVirtIO SCSI使うと遅くなる気がするんだが…
キャッシュの指定とかしないとダメなのか…

>>217
write backしてる?

Proxmox VE 6.1 released!
https://forum.proxmox.com/threads/proxmox-ve-6-1-released.61138/

>>219
いいね！

proxmoxはlxcでturnkey linuxを動かすのがステキだね。
ファイルサーバやプロジェクト管理やdbがすぐに導入できる。

PROXMOX VE 6.1はインストールディスクをzfs raid-1に設定した場合インストールに失敗する。
6.0なら問題なくインストールできるのに。。。
おま環なのかな？？

>>220
Turnkey信頼できる？
俺は使ってない

>>222
用途次第でしょ。
環境構築が面倒ならturnkeylinuxは便利だし。
webminで操作するからコマンドライン不要で敷居も低い。

例えばCMS（wordpressやDrupalなど）を比較したいって時、それぞれ構築する必要も無く、試して不要になったら跡形もなく消せる。
色々なアプリを試してみようって気になるのがいい。

LXCとKVMが一緒に管理できるとか神ですか？

lxcでコンテナに目覚め
さらなる軽量化を目指してlxdに
そして今はdockerに移行した

しかしProxmoxの便利さは忘れない

テストクライアントやプログラミングはWindowsでやりたいからKVM。
サーバは高速&メモリ・バックアップの容量が少なくて済むLXC。

windowsへリモート接続すると、shift又はalt又はctrlが押しっぱなし状態になる事が稀によくある。なんなんだ？

>>226
クライアントに常駐してるアプリが悪さしてる
多分。

>>226
リモートは何でやってるか不明な

Proxmox VE 6.2 released!
https://forum.proxmox.com/threads/proxmox-ve-6-2-released.69647/

6.1いれたばかりなのに…

zfsでミラー構築したシステムディスクが1台壊れたんだが
replaceだけだと復旧できない？

手動でブートローダーに対してなにかやる必要があったような気がしたけど
今も変わらないかな？

rpool自体はreplaceで復旧される。
飛んだディスクにESPが入ってたら、それも復旧させないとダメなんじゃない。
複数ディスクでrpoolを作った時の各ディスクのESPってどういう扱いなんだろ。

Ryzen9 3950x の環境でproxmox-ve_6.3-1を使用しています

ここに Windows10 20H2 を仮想マシンとしてインストールし、CPUエミュレートモードを HOST にすると
どういう訳かタスクマネージャからは1cpu1コアとして表示されます。100%張り付き。
因みにデバイスマネージャには全コア表示されてます。
もちろん vCPU は SMT込みの32スレッドを指定していて、デフォルトのKVM64では正しく表示されてます。

この現象、対応方法を教えて下さい。

Proxmox VE 6.4 available
https://forum.proxmox.com/threads/proxmox-ve-6-4-available.88337/

6.4で解消されてました。
ありがとうございました

test

esxi7使いだけど3ware 9650SEが使えなくなって残念に思っていたらproxmox
を知りました。使えそうなのでproxmox気になっています。
Intel、AMD問いませんが10コア以上のCPUと128GBのメモリで使っておられる
方いますか？CPU, mother board、メモリを教えてくれたらうれしい。homelab
用でIntel 10900 box で組もうかなと思案中です。

>>237
Haswell-EP 12コア×2, DDR4 192GB, X10DRiで使ってる。
PVEはLinux/KVMの知見が殆どそのまま使えて楽。
ハードウェア要件もESXiの比ではなく緩いのも楽。

Proxmox VE 7.0 (beta) released!
https://forum.proxmox.com/threads/proxmox-ve-7-0-beta-released.91388/

起動してるサーバーの台数を減らしたくてPVE導入したけど、Cephを試したくなってきた！
HDD高いから我慢しないと。

Proxmox VE 7.0 released!
https://forum.proxmox.com/threads/proxmox-ve-7-0-released.92007/

7.0ｷﾀｰ
ｲﾚﾀｰ
VM全部消えたー　orz