【PVE】Proxmox VE【KVM, OpenVZ】

Debianベースのアプライアンス、Proxmox VEを語りましょう！

公式サイト
http://www.proxmox.com/

proxmox wiki(日本語)
http://ja.wikipedia.org/wiki/Proxmox_VE_(%E4%BB%AE%E6%83%B3%E5%8C%96%E3%83%97%E3%83%A9%E3%83%83%E3%83%88%E3%83%95%E3%82%A9%E3%83%BC%E3%83%A0)

proxmox wiki
http://pve.proxmox.com/wiki/Main_Page

公式から無料でisoを落としてきて、CDに焼いて CD bootしたら
インストーラが起動してグラフィカルに簡単インストール。
インストール完了後すぐに他のマシンからhttpでWebアクセスして
使える。Web管理画面は日本語対応。
内部ではKVMやOpenVZが仮想化基盤として使われている。

VMware ESXiのような感じに使えると思うので、乗り換えの方もぜひ。

Linux版zfsはそのオプションうまく動作しないとか見たような
俺も追加パッケージいれてるな

お二方ありがとです。パッケージで対応します！

Promox VE 4.0 だと nested できない？のかな。

Proxmox Newsletter, December 2015: Proxmox VE 4.1 released
https://www.proxmox.com/en/news/archive/view/listid-1/mailid-95-proxmox-newsletter-december-2015-proxmox-ve-4-1-released

mdraidにve4.0乗せたいと思ってる人は居られないのですか

>>108
素のDebianにあとからインストールでがんばってちょ

8GBのUSBメモリにインストールできますか？
また出来る場合そのUSBメモリを他のサーバに挿して起動できますか？

最小構成ならKVMで4GBのSDで間に合ったからいけるんじゃないか？

>>110
109の手順でできる。3.4を4GのUSBメモリにいれてた。安物USBメモリはクラッシュする。USBメモリのバックアップは必須。
zram入れるとよい。実用に耐えるかは疑問が残る。
他のマシンで起動はやったことない。

Proxmox VE 4.2 released
https://www.proxmox.com/en/news/press-releases/proxmox-ve-4-2-released

クラスタリングを語ってくらはい。

最近少し流行りだした気がする
うれしい

ESXiからの以降候補として試しに起動してみようと思ったら
何故かCDブートで起動しない
途中でCDを見失うみたいだがなんでだろ？
因みにCDドライブはUSB接続
ESXi6のインストールCDは起動した

>>116
Install from USB Stick
https://pve.proxmox.com/wiki/Install_from_USB_Stick
dd if=pve-cd.iso of=/dev/XYZ bs=1M

Proxmox VE 4.1なんだけど、なんかSPICEが証明書エラーなのかつながらない…
クラスタにしてるからなんだろうか？それともクライアントがWindows 10だからか？

VMでサウンドボード認識させて、SPICEで接続して音だそうとおもったのだけど…

proxmox.jpなんてドメイン取ってるんだから自分でどうにかしろよ

>>118
4.2に上げてしまっているがWin10に接続出来ている。
普段はRDP接続なんだけど、4.0や4.1でもSPICE接続を試して、たまにブラックアウトしたまま表示しないこともあったが、接続し直しで直ったりしてた。
証明書エラーが出る理由はわからんが、Win10だからってことはなさそうですよ。

果てさて、ノード名変えてみて上手く行かないので戻してみたらWebGUI自体が出なくなってしまった。

●hosts, hostnameを一旦書換え後再起動
●ノード表示に不具合( ˙ε . )？
●hosts, hostnameを戻し再起動
▲WebGUI真っ白(･A･)

スタイルシートとかは読んでるのだがコンテンツ表示に至らず。

/etc/pve/nodesにしっかりノード名でディレクトリ掘られてるのがノード名変更出来ない原因と思われ。自由に書換えしてはならない様子。
もうこの子は駄目かもしれない。
要らんことをしてしもたな〜

数ヶ月ぶりにProxmoxに戻ってきたら、LVM-thinがデフォルトになってて驚いた
空き容量の監視方法とか見直さないと

あと、Web管理画面がなんかうまく動かないときがある。
ダイアログの表示が崩れたりプルダウンリストが出なかったり、コンソール接続でマウスカーソルが動かなかったり
Win10のChromeとEdge両方で発生する。Win7だと問題ない

Proxmox VE 4.3 released
http://www.proxmox.com/en/news/press-releases/proxmox-ve-4-3-released

Distribution Release: Proxmox 4.3 "Virtual Environment"
http://distrowatch.com/?newsid=09572

What's new in Proxmox VE 4.3 - YouTube
https://www.youtube.com/watch?v=Mk3ytGD5-vU

Linux Container
https://pve.proxmox.com/wiki/Linux_Container
Ubuntu
Debian
Fedora
RedHat or CentOS
ArchLinux
Alpine
Gentoo

Proxmox VE 4.4 with new Ceph dashboard released
https://www.proxmox.com/en/news/press-releases/proxmox-ve-4-4
https://www.proxmox.com/images/proxmox/press/Release_Proxmox-VE-4-4-20161213-en.pdf

zfsで構築したんだがsolaris reserveてなってる最後のパーティションてどういう役割？

Proxmox VE 4.4

不要なパッケージの削除等
軽量化の方法を教えてください

メモリ来る迄待てずにzram使ってみたら見事に死んだ

Development Release: Proxmox 5.0 Beta 1 "Virtual Environment"
http://distrowatch.com/?newsid=09767

Proxmox VE 5.0 beta1 released!
https://forum.proxmox.com/threads/proxmox-ve-5-0-beta1-released.33731/

Debian9ベースなんだな
試してみたいが仕事忙しいし安定版出てからでいいか

Proxmox 5.0 beta1
http://qiita.com/tukiyo3/items/cb031a41f54c7db415b5
https://qiita-image-store.s3.amazonaws.com/0/25728/05ebd604-5ec8-7b3a-9f00-63ee13abb557.png

Proxmox VE 5.0 beta2
https://pve.proxmox.com/wiki/Roadmap#Proxmox_VE_5.0_beta2
Based on Debian Stretch
Kernel 4.10
Update to QEMU 2.9
Improved handling of re-used disks in installer
Improved handling of network devices in installer
Many small improvements and bug fixes

debian9出たし、5.0正式版も近いか

Proxmox VE 5.0
https://pve.proxmox.com/wiki/Roadmap#Proxmox_VE_5.0
Released 04.07.2017: See Downloads

Based on Debian Stretch 9.0
Kernel 4.10.15
QEMU 2.9
LXC: update to 2.0.8
New asynchronous Storage Replication feature (needs ZFS, technology preview)
New/updated LXC templates (Debian, Ubuntu, CentOS, Fedora, OpenSUSE, Arch Linux, Gentoo and Alpine)
Updated/improved noVNC console]
Ceph v12.1.0 Luminous (technology preview), packaged by Proxmox
live migration with local storage
GUI improvements
USB und Host PCI address visibility
improved bulk and filtering options
Improved installation ISO
Importing Qemu/KVM_Virtual_Machines#_importing_virtual_machines_from_foreign_hypervisors
improved reference documentation with screenshots
countless bug fixes and package updates (for all details see bugtracker and GIT)

きたか

Preview: Roadmap for Proxmox VE 5.1
https://www.proxmox.com/en/news

We share a preview for the planned Proxmox VE 5.1 version: The
beta repositories already contain quite stable Ceph 12.2.x
packages. The GUI integration includes new features such as
creating Ceph storages for VMs and containers with just one click
on the "Create Ceph Pool" wizard.

What will come: The upcoming Proxmox VE 5.1 will get production ready Ceph Luminous LTS, a new 4.13 Linux Kernel, latest ZFS and LXC 2.1.

LXC 2.1 リリースのお知らせ 2017 年 9 月 5 日
https://linuxcontainers.org/ja/lxc/news/

Proxmox VE 5.1 released!
https://forum.proxmox.com/threads/proxmox-ve-5-1-released.37649/
https://pve.proxmox.com/wiki/Roadmap#Proxmox_VE_5.1
Based on Debian Stretch 9.2
Kernel 4.13.3
QEMU 2.9.1
LXC: update to 2.1
Ceph 12.2.1 (Luminous LTS, stable), packaged by Proxmox
ZFS 0.7.2
Improved reference documentation with screenshots
Countless bug fixes and package updates (for all details see bugtracker and GIT)

xterm.js
追加されてた。

Proxmox VE 5.1 2nd ISO releaseSent on 20 December 2017
https://www.proxmox.com/en/news
New Xterm.js client for container​s and host shell
faster than noVNC
needs less resources and bandwidth
allows resizing of the window
allows copy and paste

誰でも簡単にパソコン1台で稼げる方法など
参考までに、
⇒　『宮本のゴウリエセレレ』 というブログで見ることができるらしいです。

グーグル検索⇒『宮本のゴウリエセレレ』

X2PJPUHVY0

オープンソースの電子メールセキュリティソリューション「Proxmox Mail Gateway 5.0」リリース
https://mag.osdn.jp/18/01/25/181500

https://pve.proxmox.com/wiki/Roadmap
Roadmap
Cloudinit
Cluster create/join nodes via GUI
SMB/CIFS Storage plugin
Display IP for VM (using qemu-agent)
Let’s Encrypt GUI
Basic/Advanced GUI
Live migration with local storage (qemu) to the gui
xterm.js as default console for containers, shell
Support for external fencing devices
Qdevice (additional external vote, e.g. for 2-node clusters)
Ceph improvements
4.15 Kernel

Proxmox VE 5.2
https://pve.proxmox.com/wiki/Roadmap#Proxmox_VE_5.2
リリース日16.05.2018：ダウンロードを参照

Debian Stretch 9.4に基づいて
カーネル4.15.17
QEMU 2.11.1
LXC 3.0.0
Ceph 12.2.5（Luminous LTS、stable）、Proxmoxパッケージ
ZFS 0.7.8
Cloudinit GUIのサポート
GUIを使用したクラスタ作成/結合ノード
Let's Encrypt GUIを含む証明書管理
SMB / CIFSストレージプラグイン（バックアップ、イメージ、テンプレート、ISOおよびコンテナをサポート）
VM用のIPを表示する（qemu-guest-agentを使用）
LXC：テンプレートとクローン、ボリューム/ディスクの移動
GUIを使用して新しい役割を作成および編集する
リストア操作の制限付きI / O帯域幅（グローバル、ストレージまたはリストアジョブごと）
再接続ロジック（コンテナの再起動または再起動時）を含む新しいxterm.jsの統合
基本/高度なGUI
ebtablesのサポート
参照ドキュメントの改善
無数のバグ修正とパッケージアップデート（すべての詳細については、bugtrackerとGITを参照してください）

僕の知り合いの知り合いができた副業情報ドットコム
関心がある人だけ見てください。
グーグルで検索するといいかも『ネットで稼ぐ方法　モニアレフヌノ』

X69EW

ほしゅ。

pveで動かしていたVMやコンテナのバックアップを利用して
他のディストリ上で動かすすべを全く知らない...
というぐらい、pveに任せっきり。

NUC7PJYHでPVEクラスタ組んでる人とかいます？

Proxmox VE 5.3 is available

おすすめのサイトありますか？
linux初心者で参ってます。

esxiから移行を考えてます。
esxiではfreenasでSSDをraidzで組んだ後、iscsiでwindowsの起動ディスクにしています。
あと定期的なスナップショットもしてます。

proxmoxでは追加したSSDをraidzで組むことすら難儀している感じです。

依頼心が強い奴は何をやってもダメ。

ProxmoxのWikiでも見ればいい（英語）
でも同じようにiscsiで繋ぐだけじゃないの

FreeNAS使わずにProxmox側にzfs持つのならzpool createとかのコマンドでやる
FreeNASみたいにGUIではできない

>>152
ありがとう。
proxmox側でzfsのraidzとスナップショットが出来ればfreenas要らなくて、リソースが効率的でいいなぁと思ってます。
ただGUIでは出来ないんですね。。。

ESXiだってできないでしょ（そもそもzfsが乗らない）

zfs管理GUIがありゃいいんだろうが、Proxmoxがそこまでやる意味は少なそう

俺が通った道としては
・zfs凄い！特にスナップショットとsend/recvで仮想マシンを無停止+差分バックアップできる
・でもESXiにzfs乗らないからストレージを別サーバにしてNFSにしよう（これでしばらく運用）
・やってることの割に大仰だからサーバをサイズダウンしよう
・ついでにKVMも勉強したいから管理ツールは・・・Proxmoxってのが扱いやすそうだな
・大きい仮想マシンは扱いづらいから、大容量の共有データはホスト側に出してsamba共有+rsyncバックアップにしよう
・仮想マシンが小さくなったから毎日フルバックアップでもいいや、lvmスナップショットで無停止でできるし
・lxcってコンテナだとさらに軽くなるな。Linuxは全部lxcに変えよう

現在に至る

zfsはスゴいけどいろいろ冷静になるとうちでは別にいらなかった
メモリ食うから小型化に向かないし、そこまでの性能はいらんし、今はlvmスナップショットで静止点作れる（差分のsend/recvはないが）

>>155
LVMで7個lくらいスナップショットとったら重すぎて動かなったよ
今はどうかしらないけど

そもそもバックアップの静止点のためだけだから1個しか作らない

複数作ったことはないけど、lvmシンプロビジョニング実装前のスナップショット機能じゃないの（VGにスナップショット専用の空き領域が必要で溢れやすい）

zfsなら1000個作っても重くならないだけで十分メリットがある
スナップショットがファイルシステムを理解してるのはやっぱりでかいよ
zfs diffとか、promoteとか

そりゃメリットあるよ
うちではそこまでいらなかっただけ

インストールしたら、800x600の画面より大きくウィンドウが作成されて…
とにかく進めたらext4になった。

>>159
実は同じような道通ったので共感できるw
俺はLXCじゃなくてFreeBSD ZFS + jail 運用になった

BSD系は手を付けようとしたこともあったけど結局縁がなかった
今のProxmoxとlxcには不満がなさすぎるけど、またそのうちいろいろ勉強してみよう

>>155
俺2個めで止まってるわｗ
iSCSIとNFS併用だけど
俺もそんなに大げさなシステムいらないんだけど
元来面倒くさがりなので放置できる今のシステムが気に入っている
まぁ大半は自己満だがｗ

当時会社がESXi+LeftHand（iSCSI）だったからその勉強の意味もあって始めたけど

LeftHandでストレージのスナップショットすげーってなって
オープンソースで近いもの探してzfs、でも当時はSolarisかBSDにしかなくて
zfs on Linuxのサイト更新をまめにチェックしてたくらい。今はProxmoxにも当たり前に入ってるけどね
btrfsの熟成を待ったりもしたなあ、待ちきれなかったけど

大きな仮想ディスク（vmdk）の変更ブロックだけを差分転送でバックアップできるってのが当時は重要だった

今はダウンサイジングして不要になったけどすごい技術でワクワクしたし勉強にもなった

PVE 5.3いいね。
ZFS作成がGUIで出来るようになったんだね。

CUIでSSD/HDDのパーティション消したら、GUIのZFS作成時にSSD/HDDが選択肢に出てくるようになった。

>>153の人に朗報じゃないか

LVM（VG作成）やLVM-thin（thinpool作成）もGUIからできるのか
>>152は俺だが嘘付いてたかもしれん反省

ただ作成以外のメンテはできなそうだから結局CLIはいりそう

>>166
ありがとう。
>>153が私なんです。
あれから勉強しながらやってます。
まだfdiskとzfsとzpoolを少しくらいしか出来ませんが。。。

esxi上の仮想freenasで作成したzfs(iscsiで共有。勿論異なるNW。mtu 9000。)を同じ筐体の仮想Windowsで使用するより、proxmoxで作成したzfs(iscsi使わないローカル共有？)の方が高速だね。それだけでも導入した価値があった。

ESXiでzfsを使いたいあまりストレージを別サーバにするとか、ESXiのゲストとしてストレージサーバ作ってそれをESXiから利用したりとか、俺も通った道だ

後者はホストがゲストに依存する形になってすごく居心地悪い上に、本来不要なNFSやiSCSIを挟むので無駄で複雑

メモ：
ディスク→ZFS→作成:ZFS

こんなラクチン環境が有ったなんて

lxcで満足だがDockerにも興味湧いてきた
しかしlxcに慣れると「アプリを閉じ込めてエントリポイント？で呼び出す」的な思想に老いた脳が馴染まない

コンテナ内でInitしちゃったらlxcと変わらんしな

>>170
感激している所を申し訳ないが、Proxmox VEはHostがDebian固定でGuestがLinuxなら後述の
DockerやLXDより動作が重く、GuestがLinux以外のWindows等だとVirtualBoxほどの使い
やすさを提供できないので、今現在となっては、さすがに推奨しにくい状況かと。

>>171
Dockerはアプリ単体の動作環境をピンポイントで作れるので廃れることはない。逆にLXCは
後発のLXDに取って代わられる可能性大。LXDはLXCの諸機能の全て備えている上、LXCには
ないライブマイグレーション機能が、サーバー無停止必須環境では決定的な強みでしょう。

とはいえ、簡単に作れるのは悪くないさ。

何だろうこの聞き齧り感
なぜかlxcとlxdが対立する概念になってるし

zfsがええね。

自分の利用用途だとDockerは無くてもいいが、そのうち対応するかな?

でもzfsだと負荷が思ったよりあるな。

「LXCは後発のLXDに取って代わられる可能性大」

どう聞きかじるとこうなるんだろうw

Proxmox VE 5.4 released
ttps://pve.proxmox.com/wiki/Roadmap#Proxmox_VE_5.4

なんか変わった？

5.3-5から5.4へアップデートしたいのですが、皆様どうやってますか？？
GUIのUpdatesからは出来ないんですね…

https://forum.proxmox.com/threads/proxmox-ve-5-4-released.53298/

PROXMOXをインストールする先のファイルシステムをZFSにしたいです。
ディスクは1台でraid組めないのですが、可能でしょうか？

1ディスクでzpool作ることは可能
インストーラが対応してるかは知らん

Proxmox VE 6.0 released!
ttps://forum.proxmox.com/threads/proxmox-ve-6-0-released.56000/

来たか、そういやDebian10出てたな

しかし我が家はさらなる軽量化を目論んでlxdに移行してしまった
Proxmoxのコア部が600MBくらいメモリ使うのをさらに削りたくなったので

でもGUI便利だからまた戻すかも

Proxmox VE 5.3 ( Debian 9.6 )にMellanox HCAを認識させたいんだが、
Mellanox OFED 4.6-1.0.1.1 ( Debian 9.6 )がインストール出来ない。
インストール中に繰り返し同じログが出て、進まない。
何か解決策はありますでしょうか？

lsb-releaseとpve-headers-4.15.18-10-pve_4.15.18-32_amd64.debは事前にインストール済。
「Removing old packages」の後、固まります。

-vvvで詳細を出すと以下のようになります。
This program will install the MLNX_OFED_LINUX package on your machine.
Note that all other Mellanox, OEM, OFED, RDMA or Distribution IB packages will be removed.
Those packages are removed due to conflicts with MLNX_OFED_LINUX, do not reinstall them.
Do you want to continue?[y/N]:y
Checking SW Requirements...
Running: dpkg --configure -a --force-all
Running: apt-get install -f
Removing old packages...
libibverbs1 - will be removed.
get_requires: libibverbs1 is required by libtotem-pg5:amd64
get_requires: libtotem-pg5:amd64 is required by corosync
get_requires: corosync is required by pve-cluster
get_requires: pve-cluster is required by libpve-guest-common-perl
get_requires: libpve-guest-common-perl is required by pve-container
get_requires: pve-container is required by pve-manager
get_requires: pve-manager is required by proxmox-ve
proxmox-ve will be removed.
pve-manager will be removed.
pve-container will be removed.
get_requires: libpve-guest-common-perl is required by pve-manager
get_requires: pve-manager is required by proxmox-ve
get_requires: libpve-guest-common-perl is required by qemu-server
get_requires: qemu-server is required by pve-ha-manager
get_requires: pve-ha-manager is required by pve-container
get_requires: pve-container is required by pve-manager
get_requires: pve-manager is required by proxmox-ve
get_requires: pve-ha-manager is required by pve-manager
get_requires: pve-manager is required by proxmox-ve
get_requires: pve-ha-manager is required by qemu-server
get_requires: qemu-server is required by pve-ha-manager
以後、繰り返し。

過去の話だから参考にならないけどpve系のパッケージと競合してたからアンインストールしてから入れてたよ

>>189
返信ありがとう。
pveのパッケージと競合って厄介過ぎますね。。。

仕方がないので、別途用意したWindows機にOFEDインストールして、ファームウェアアップデートと、設定のリセットしたらProxmoxで認識するようになりました。
ちなみにProxmox6.0でもHCA認識します。

全然、この仮想の調べてないけど。
USB１０個以上使ってる物理サーバーがあるけど、ゲストに入れて使える？
物理サーバーを仮想サーバーに変換できる？
Ubuntu18だけど、

USBの先がわからんが、USBパススルー使えばゲストで認識するよ。

>>192
usb一個追加するたびに、ホスト側でパススルー先のゲストOSを指定する？

ゲスト毎にパススルーするUSBデバイスを指定する（複数可）

ついでに、USBをパススルーする時はUSBポートor製品ID?みたいなので指定できる。結構便利。

>>195
ありがとう。追加、取り外しが多いから、面倒そう。
でも、普通のゲストも移行したいから、また覗きに来ます

HDD丸ごとをゲストにマウントできますか？

コントローラーをパススルー

USBもポート単位だとうまくいかないときは
コントローラーを指定すれば安定する

Proxmox 5.4でVMにSolaris系のOSを入れると不安定なんだけどみなさんはどう？

症状は数十秒から1分程度フリーズする感じでネットワーク接続は切れる
logを見ると怪しいところは
---
scsi: [ID 107833 kern.warning] WARNING: /pci@0,0/pci-ide@1,1/ide@1 (ata1):
timeout: abort request, target=0 lun=0
scsi: [ID 107833 kern.warning] WARNING: /pci@0,0/pci-ide@1,1/ide@1 (ata1):
timeout: abort device, target=0 lun=0
scsi: [ID 107833 kern.warning] WARNING: /pci@0,0/pci-ide@1,1/ide@1 (ata1):
timeout: reset target, target=0 lun=0
scsi: [ID 107833 kern.warning] WARNING: /pci@0,0/pci-ide@1,1/ide@1 (ata1):
timeout: reset bus, target=0 lun=0

openindiana/Solaris/OmniOSすべてで起きることを確認してる

ideだと。。。？

community契約してリポジトリ使うと、やっぱ安定度とか違う？

webインターフェイスでISOファイルをアップしようとしたけど、時間がかかるし、失敗する。
サーバーにUSB-HDDをマウントして、cpした。
ISOイメージが保存できるディレクトリに。
しかし、ゲストOSのインストールで、isoファイルが見えない。
なにか間違いがある？

パーミッションとかかね