ファイルシステム総合スレ その17 [転載禁止]©2ch.net

● 前スレ ファイルシステム総合スレ その16
http://hayabusa6.2ch.net/test/read.cgi/linux/1363315915/

● 関連スレ
ジャーナリングファイルシステム
http://peace.2ch.net/test/read.cgi/unix/979408065/

OpenSolaris/Illumos (OpenIndiana, etc.) 6
http://peace.2ch.net/test/read.cgi/unix/1337411922/

FS関連スレ
http://kanae.2ch.net/test/read.cgi/os/1137387538/
過去スレ, 関連リンクは >>2-10 あたりで.

暗号化はどういう脅威を想定しての対策なんだろ

ノートPCなら盗難とか忘れ物対策で暗号化することはあるけど
サーバは物理的に触られた時点で負けじゃね？
オンラインでの攻撃には暗号化は意味なさそうだし

>>231

/bootは暗号化してないディレクトリです。
ルートパーティションと、データパーティションを
暗号化するのが要件です。

>>232
HDDが盗まれた時とか、廃棄した時を
想定しているそうです。データセンターに置くので、
全くナンセンスとは思います。が、クライアント様の
ご希望は叶えないとね。

>>229
スナップショット使いたいんなら、
普通にbtrfsの方が良いんじゃね？

>>234
Btrfs勧めるとか鬼畜かお前はｗ

>>235
btrfsを何だと思ってるの？

ニッポンの平均最低月給と人口の都道府県別、市町村別ランキング
求人情報113,957件の平均最低月給196,400円 ♬

あなたの住む街は第何位？平均最低月給はいくら？
http://jobinjapan.jp/area/

開発者が殺人犯のファイルシステムReiser4はどうなんや！！！！１１１１１１

btrfs普通になってきた

しかしまだまだ不安定っぽいからな
最近でも壊れたって報告がちらほらあるし

メモリ不足程度で簡単に破壊されるファイルシステムを常用しようとは思わん

Linux ファイルシステムにおけるバグ傾向
http://rabbit-note.com/2013/04/07/linux-filesystem-bug-trend/

現状で最も安定してるファイルシステムは?

UFS+softupdate

独断と偏見
ext
安定 使える容量が少ない

xfs
extには及ばないが安定 使える容量は多い
ブートが実質不可能

Btrfs
安定度はxfsと同じ 使える容量は最も多い
SSDならこれで決まりか？

今でも一番性能出るのはxfsなのかな

btrfsが他のファイルシステムより速くなる利用シーン

・マルチプロセスでの単一ディスクへの並列書き込みが頻発
・書き込みデータをまた直ぐに書き換えるデータアクセスが頻発
・テキストファイル大量コピー、仮想マシンイメージファイル等の圧縮の利きやすいデータの書き込み(透過圧縮有効時)

特別な理由が無い限りはextが正解だろ

枯れているという意味での安定でext4を盲目的に選ぶのもどうなの？
見方によればext4のデフォルトorderedよりbtrfsの方が信頼性が高い
これは設計上の話なんで埋めようのない差ではある

設計による信頼性の差
実装による信頼性の差

両方を足して運用上の信頼性の差となるから、現状ではbtrfsを選ぶかどうかは難しいところでは？
将来的にはbtrfsの方が信頼性が確実に高くなるのだろうけど

こういう話題になるとbtrfsを必死に勧めてくる奴が湧くけど実際のところ安定面ではextに敵わないからな
パフォーマンス面でも他のファイルシステムのほうが勝ってるしな

>>251
叩いている奴の方が実際の所、使わずに批判してる奴ばっかりだろ

Webに上がってるトラブってる報告もgentoo、archとかのディストリを使ってるのばっかり

btrfsでしかできない機能が必要かどうかで決めればいい
自分は当分zfsでいいけど

>>253
>自分は当分zfsでいいけど

はぁ?　自分?
俺はzfsでよくないぞ!
なんで俺のことを何も知らないのに勝手に決めつけるんだよ!
いい加減にしろ!
市ね!
氏ね!

そのネタつまんないからやめなよ

Btrfs信者ってこんな奴ばっかだな

Btrfs信者っていうか
「自分は」って言われると反応するbotみたいな人っぽい
http://hayabusa6.2ch.net/test/read.cgi/linux/1415270393/616-617n

自分もzfs使ってます

ext4信者って他のファイルシステムを使ったこともないのに

安定性wって言ってる奴ばっかりだろ

一個人が他のファイルシステムを使うかどうかと安定性に
どういう関連が

一個人でもファイルシステムぶっこわれたりしたら嫌でしょう

XFSはブートできないので論外

>>261
ext以外のファイルシステムを使ったことなくても
安定性について語っても良いでしょ？
という意味です

安定してるよ
SLES12が採用しているのが全て

>>262
言いたいことはわかるが、/bootなんざext2でもいい

windowsですら、最近はブートパーティションをわけるようになってる(そのままインストールする場合)
まああれはvhdブートとかの都合もあるからだが

個人でって話なら、UPS前提じゃなきゃパフォーマンス出ないXFSはちょっとねぇ

UPSとは

>>249,250
ext4とbtrfsを合体させたものがあったらいいのにな（´・ω・｀）

それかもうbtrfsのいいとことって、ext5作るか

安定性っていうならext3使うのが一番では（´・ω・｀）

>>265
あまり細かく分けるより/と/homeで分けるのが好みです（´・ω・｀）

>>269
コード書き直してるからext3と変わらん。

>>271
どういうこと（´・ω・｀）？

ちょっと質問
ここ見てbtrfs試してみようと思ったんだが、スナップショットはfile単位？それともセクタとか何らかのブロック単位かね？

仮想PC置き場をbtrfsにしてスナップショット使おうと思ったんだが、仮想HDDファイルがでかいのでファイル単位だとメリットないかなと思って

>>273
btrfsのスナップショットはサブボリュームと呼ばれる単位で行われる
厳密には違うけど噛み砕いて言うとディレクトリ単位みたいなもんだと思っていい
（サブボリュームをディレクトリとしてマウントすっから）
ただ、仮想イメージでcow使うと断片化がえらいことになるからcow切るの忘れないようにな
正直仮想イメージのsnapshot取るならzfs+zvolが一番楽チン

最近の ext4 ってディレクトリ単位の暗号化ができるようになってたんだな
面倒くさそうだけど

>>273
サブボリューム単位での差分バックアップだから、あまりサイズを気にする必要は無くなるんじゃないかな

>> 274

「スナップショットは、サブボリュームの特殊な形です。サブボリュームのコピーですが、親や子となるサブボリュームを持ちません。
スナップショットは、ファイルのコピーを作成せず、元のサブボリュームのデータやメタデータを共有します。そのため、領域の節約になり、作成速度も速くなります。
元のサブボリュームとは独立しているため、スナップショットにファイルを追加しても、元のサブボリュームには追加されません。
スナップショットのスナップショットも作成できますが、それぞれ、別々のものとして扱われます。」

とあるんだが、例えば2GBのファイルの特定のバイトを更新した場合、ファイルデータが複製されるのか、特定のバイトのみ書き込まれるのか、よくわからなくて
COWだから後者かな

SSDに仮想PC置いてあるので断片化は問題ないと思う

>>277
ほいほい、SSDならCOWによる断片化は気にしなくてＯＫだね、であればTrim対応してるbtrfsの方がzfsよりいいかもしれない
それならreflink使った管理の方が楽かもしれんね
例えば サブボリューム@vmを/vmにマウントしてあるとして、
例えば、cp --reflink /vm/hoge.img /vm/hoge2.imgとしてあげればhoge2.imgは最初の時点ではメタデータだけしかセクタ消費せず
hoge2.imgに書き込みが行われるとその差分セクタだけディスクが消費されていく
hoge2をhoge1にロールバックしたければそのままhoge1.imgをマウントしてhoge2をrmすればいいだけ

zfs藻対応してる

>>279
FreeBSDとSolarisはね。zfs on Linuxはまだなんじゃよ
btrfsとの比較だからzoLとの比較だと思ったけど違ったかな？

>>278
btrfsのcow便利そうだな

上の人とは別だけど
開発中のプロダクトのテストを破壊的な操作があるベンチマークでやってて、
ベンチマーク終わる度に必要なデータ入れてる仮想ディスクのイメージファイルをコピーし直してたんだけど
スコアは関係無い開発時はcowとそのロールバック機能でやればはかどりそう

btrfsユーザーはdfとかaliasしてるの？

KVMのイメージをzvolで運用しているが、仮想ゲストを誤って
削除してしまった。その時の復活の呪文を紹介します。

zfs clone storage/kvm@151210 storage/kvm2

/dev/zvol/storage/kvm2というデバイスが作られるので、
それを/mntにマウントして、中のファイルを救出する。

トラブル時に毎回復活の手順を忘れて、スナップショットの
リストの前でしばし呆然としてしまうのね。

とりあえず、/home以下をext4からbtrfsに変換してみた
まだ、vm置き場やsnapshot置き場のサブボリュームの切り方がしっくりいってないので試行錯誤してみる

やっとファイルシステムっぽい話の流れになってきたな

>>277
1つのデータブロックを、セクタサイズが512バイト * 8 = 4KB とする

あるファイルが、100・101・102番のデータブロックを使っているとき、
101番の内容を修正すると、101番にのみ、dirtyの印が付き、
100・102番はそのまま

101番に文字を追加すると、追加した分は、200番に保存されるとき、
ファイルの順番は、100・101・200・102番に変わる

まあ漏れの推測です。ファイル更新の前後で、
100・102番がそのままであることを証明できればなあ

>>286
btrfsだとその動作で大体合ってる
スナップショットが有効だと
最終的な最新ファイルは100,200,102を指し、
過去のスナップショットとして100,101,102が見える

株式会社テクノプロ　新宿支店近況報告会（勉強会） [転載禁止]c2ch.net

ワイが梅沢や。稀代のワルや。

仕事せいや、飲みいく奴は辞めてもらうで。

離職率アクセンチュア激務

マウントしたままfsckできねーかな

FreeBSD なら ufs+softupdate＞マウントしたままfsck

zfsならzfs scrub

うわぁ
https://patchwork.kernel.org/patch/7971741/

4.3kernelにMBR破壊などのの不具合があるってことですか

ZFSでpoolを作るときにRAIDZを指定しなかった場合、RAID0相当のものになるのでしょうか？
例えば3つのHDDを使ってプールを作ってファイルを書き込んだ場合、3つのHDDにストライピングされてHDDが1本壊れた場合全く読めなくなる？
それとも各ファイル単位とかでHDDに保存されて、壊れたHDDに書き込まれてたファイルだけ読めなくなる。
どっちでしょうか？

>>294
前者

ありがとう。

んー？
copies=2とかにしとけばいいんじゃね？

メモリー2GBのPCでArchでNAS兼用サーバー建てたいんだけど
おすすめのファイルシステムありますか?
内蔵HDDが500GBで80GBのHDDをUSBで繋げます(将来的にもっと繋げるかも)
内蔵HDDの一部をシステム、内蔵HDDの残りと外付けをストレージ(NAS等のファイル置場)
今のところシステムパーティションをXFSで他をbtrfsにしようかと考え中です

CentOS 7で内蔵HDDを128GBぐらいのSSDに換装
OSに30GBぐらいでXFSで初期化。ZFSを導入して、
内蔵SSDの残りをCacheとLogにして外付けHDDを
マウント。

少々メインメモリーが少ないのが残念だが、
利用者が少なくDedupや圧縮をしなければ
十分な性能のファイルサーバになります。

利点はスナップショットを使った、
バックアップとリストア。ファイルの冗長化が
必要ならUSBに２台以上のHDDを繋げて下さい。

別にオススメのFSはないけどスナップショットはオススメ
LVMでもできるけどまともに使えるようになったかな？
btrfsに不安がないならbtrfsでいいと思う
消去法で自分はzfsにするけどちゃんと理解してないとあとで大変なことになる

レスどうもです btrfsと格闘してて遅くなりました
手持ちの機器はあれだけしかないのでSSD導入とかはできないです
ZFSは使ったことないけどLinuxに向いてなくてメモリー食う印象があってやっぱりbtrfsと思ってて…
OSパーティションは30GBのXFSにしました
既存のext4をbtrfsに変換してリサイズとかしてたら破損してしまって修復できなかったので新しいパーティション作って様子見しようと思います
失礼しました

CenOS 5.11でNFSサーバを運用していたのを、
CentOS 7.2に変更したところ、あるアプリケーションで
NFS上のファイルが見えないという障害が発生しました。

shellや大半のアプリでは問題ありません。NFS上のファイルは
正常に見え、読み書きできます。

NFSの設定に互換性のフラグなど無いでしょうか？
もしCentOS 7.2のNFSを5.11と同じ仕様で動かすことが
できれば、問題は解決できると考えています。

zfsのスナップショットのディレクトリをlsで表示される日時が
スナップショットを取った瞬間はその日時になっているがしばらくするとある日時に全部変わってしまう
このある日時がなんなのかも分からない

>>302
root は no_root_squash でアクセスできるけど一般ユーザ権限で読めないとかか？
NFSv4 になって v3 の時と勝手が違うってのがわかってないのかも。
マウントするときにオプションvers=3とかつけてみるとか、idmapd.conf の
Domain 設定が揃ってるか確認するとか。

それ以外は selinux 関連かな。 とりあえず permissive モードで動かしたり、
getseboot/setseboot で NFS 周りの設定許可だしてみるとか。

スナップショット消そうとして
zfs destroy -r hoge@snapshot
じゃなくて
zfs destroy -r hoge
してしまったらあっさり消えてしまった
マウントされた状態でforceオプションもつけてないのにいきなり消えてしまうの怖すぎる

株式会社テクノプロ　新宿支店近況報告会（勉強会） [転載禁止]c2ch.net

俺がしんみょうじだ。稀代のワルだぜ。

仕事せいや、勉強会に参加しない雑魚は辞めてもらうぜ。

雑魚の前では、スーツは着ないぜ。

話は営業を通してくれ。

Bcachefsてどうなの

まだまだ安定性が不安だし様子見でしょ

>>307
仮想ディスク置き場につこうてるよ

btrfs安定しましたか（´・ω・｀）？

ここ2年くらいはウチでは特にヤバいトラブルは起こってないよ(´；ω；｀)｡
シングルとミラーでしか使ったことないのでRAID5/6の場合は知らないが｡

ただ多機能とか柔軟性と引き換えに速くはない｡
なのでOS用はSSD､データ用もSSHDとか使った方がいいと思う｡
スナップショットとか使う場合は特に(｀・ω・´)｡

ありがとなす！

zpoolの上にbtrfsを乗っける事できる？

iSCSI経由すればいいんじゃね？

なんだかんだでext4が一番バランスが取れてるし安定してる

他のスレでみたんだけど
RAMが64GB以上無いとL2ARCは無意味どころか遅くなるって本当なの？
いまいち理由が分からない

http://kirishima.it/mt/2015/03/freenas_ssd.html

サイズによると思います。
小規模なサーバーなら1Gぐらいでも
動かせます。もちろん、圧縮や重複排除は
使いません。

>>317
いやそういう話じゃなくてL2ARCの有効性についての話です

メモリが2GBのPCでzfsかbtrfsでファイルサーバ作ろうと思ってるけど、どっちがいいの？

>>315
この路線でext5も開発して欲しいよね（´・ω・｀）

My Late Night ZFS Recovery Adventure
tps://www.youtube.com/watch?v=6xHu1fmFeRo

3 node replication でGlusterFSを試しみたら小さいファイルの扱いがくそ遅い。　書き込みがローカルの書き込みより
100倍以上遅い。　冗長性はよさそうなんだけど、これじゃその上でコンパイルなんて全然無理。

ちなみにこんなもので実験してみた：https://github.com/carmstrong/multinode-glusterfs-vagrant
　
git clone ….
cd multi-node-glusterfs-vagrant
vagrant up

で一発でクラスター環境が構築される。

ubuntu 16.04 LTSが正式サポートしているZFSだけどブートドライブ利用可能かな？

ライセンス的にダメなんじゃなかった？

>>322
gccに-pipeつけるとかじゃダメなレベル？
中間生成物にまで冗長性を確保したいという考えはよくわからんが

>>325
いや、単にNFSサーバーを置き換えてみて自分のホームディレクトリをそこに移動したから全てがその対象に。
最初はまあ、少々遅いなとは思ったけど、沢山ファイルが作られるような作業は愕然と遅くなったので
測定してみた。 とりあえずはそういう作業はローカルディスク上でするようにしたけど、出来れば作業環境は
サーバー上に置きたい。

>>323

Debian(jessie)ベースの仮想環境パッケージのPROXMOXというオーストリアの
ソフトがあります。OSにZFSが組み込まれていて、インストール時にZFS
BOOTデバイスに設定することもできました。ちょっと試しに使っていますが、
サポート無しなら無償で使えます。（逆にサポートを契約するとスゲー高い）

ということで、LinuxでもBoot可能です。残念ながらインストーラーが
BOOTの設定をどのようにやっているかは判らないのですが、BOOTできる
環境は今まさに目の前にあります。

>>326
GlusterFSはその用途に使うにはあまり向かないだけなんじゃないかな…
どうしても使いたいなら作業用ディレクトリだけローカルにして、サーバーにはcronでrsync回すとか運用で問題を回避したらどうだろうか

>>328

> cronでrsync

そういう地味なバックアップは以前からしてますが、今回、自宅システムを構築するにあたってとにかく
ハードウェア障害があっても復旧作業が０で環境が継続する事を模索しているところなので。　

Glusterは赤帽が製品として売ってから間違いはないだろうと思って、実験もせずにいきなり実機に入れたので
大後悔。 vagrantとか一週間前まで知らなかったけど。　ちなみに色々と二日ほど読んだ結果、cephでやってみようかと
方針変更。 ちょっと複雑さと、あと最初の頃に読んだのでGlusterはCephより早いというのを鵜呑みにしたので全く
考慮に入れなかったけど。　

で、またこんなのを見つけたので仮想に実験しました：　https://github.com/carmstrong/multinode-ceph-vagrant






　

bonnie++でテストした結果。　仮想環境での大雑把なテストですが、一番顕著なのはファイル作成（Sequential create)のテストだと
思います。　０サイズのファイルをひたすら作るようですが、glusterは一秒間に５２個。　４桁遅いです。　

Version 1.97 ------Sequential Output------ --Sequential Input- --Random-
Concurrency 1 -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP /sec %CP
native 1G 1092 99 200265 22 198952 20 5779 99 1050778 66 +++++ +++
gluster 1G 13 10 24071 5 1384 1 5060 93 50705 2 146.4 5
ceph 1G 1059 97 29308 3 31701 3 5116 85 107292 5 705.0 12

Version 1.97 ------Sequential Create------ --------Random Create--------
gluster-client -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
files /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP
native 160 33847 72 3785 90 3447 84 33608 70 2839 84 2227 80
gluster 16 52 0 23640 3 99 0 53 0 1099 1 88 0
ceph 160 44036 43 +++++ +++ 9602 7 36817 34 +++++ +++ 5699 5

ceph, 十分に早いです。　

glusterだめだという段階で色々検討しました。 ZFS, DRBDなど。　Cephはなかなか近寄りがたかったのですが、
この記事でその気になりました。

Single Node Ceph: Your Next Home Storage Solution
https://aesospadez.com/single-node-ceph-cluster-your-home-storage-solution/

ドライブが複数あればPCが一台でもCephは便利だぜ！　という内容。　なら自分の予定してる２、３台というのは
十分現実的なのだと納得した次第。　自動的なバランス機能がすばらしそうで、同じサイズのディスクを組みにしなければ
ならないとか考えなければならないGlusterに比べると将来的な拡張などが楽そう。