ファイルシステム総合スレ その20

● 前スレ
ファイルシステム総合スレ その18
https://mao.5ch.net/test/read.cgi/linux/1514472651/l50
ファイルシステム総合スレ その19
https://mao.5ch.net/test/read.cgi/linux/1592027147/

● 関連スレ
ジャーナリングファイルシステム
https://mevius.5ch.net/test/read.cgi/unix/979408065/l50

OpenSolaris/Illumos (OpenIndiana, etc.) 6
https://mevius.5ch.net/test/read.cgi/unix/1337411922/l50

FS関連スレ
https://medaka.5ch.net/test/read.cgi/os/1137387538/l50
過去スレ, 関連リンクは >>2-10 あたりで.

write holeはRAID1でも起こり得るのだが…
Disk1だけ書き込めてDisk0は書き込めない状況
両ディスクで内容が異なる

write holeあったとしてもbtrfsはRAID1でもチェックサムあるからスクラブで修正出来るんじゃないの？

RAID1でもwrite holeそのものは起こるけど
ミラーリングは単にどちらか片方のコピーが正しい可能性が高く
btrfsなら今あるメタデータとチェックサムだけでスクラブで十分に修正出来る
対して5/6はストライプ+パリティで仕組みが複雑なので
最悪アレイが丸ごとおじゃんになる可能性がある

>>951
> なんか間違ったこと言ってる？
「Btrfs のRAID-5は危険だから使うな」は間違いかな。

「どうして TeraStation や QNAP は RAID-5 で炎上していない
んだ」、「炎上しないために何をすれば良いんだ」、
「本当のリビルドの失敗率はどれくらいなんだ」、「ファイル
システムのジャーナリングがライトホールに対してどれだけ有効
か/無力か」あたりを突き詰めるのが正解じゃね？

なんか根拠で碌に精度も出せてないのにバッサリ「使うな」って
雑な結論ゴリゴリ押しつけてくるだけって感じる。

↑951じゃないけど横からちょっとだけ
少なくともQNAPのRAID5は「Btrfsの内蔵機能」での
RAID5じゃなくて、MD機能を使ったRAIDですのだ…
(最近のQNAPではさらにLVMのレイヤーも噛ませてた気も)

「Btrfsの」RAID5(RAID6も?)は、少なくとも
カーネル6.1とかの段階では、メンテナー自身が
危険だからデバッグ目的以外で使うなって言ってた

MDを使ったソフトウェアRAIDはもう枯れまくってて
自身の機能部分での安定性は実績がある…
けど拡張性や柔軟性は現在基準では比較でやはり厳しい感

これか？

Linux 6.2カーネルに含めるためにBtrfsの改善が提案されました RAID 5/6 実装での書き込みホールの問題を修正します。

https://ja.linuxadictos.com/Linux-6-2.html
https://en.linuxadictos.com/Linux-6-2.html


RAID5/6 の場合、ファイル システムはチェックサムを保存しません。

この場合、ファイル システムは読み取り-変更-書き込み (RMW) 操作を実行する必要があります。

開発者は、RMW 操作がこの操作を実行する前にブロックのチェックサムを検証し、必要に応じてデータ リカバリが書き込み後にチェックサム検証も実行するように変更を加えました。
残念ながら、不完全なフリンジ (RMW) が書き込まれる状況では、これによりチェックサムを計算するための追加のオーバーヘッドが発生しますが、信頼性が大幅に向上します。 RAID6 の場合、そのようなロジックはまだ準備ができていません。

今のbtrfs-progsでも作ると警告出るし
ドキュメントでも警告されててふつうに非推奨のままや

昔みたterra stationは、xfsだったな。
RAIDもmdなんじゃ無いかな？

最近出てきた20TオーバのHDDでRAID5とか組んだらリビルドが終わらんだろうな

SSDならリビルドどれだけ速くなるんだろうか
CPUが追いつかんか

フラッシュメモリの特性として読込みに比べて書込みは桁違いに遅い
各種キャッシュで表面化しないようにしているけど
全面書込みではフラッシュメモリの特性が露骨に出てくる

SSDの書き込みが遅くなるのはフラッシュメモリのせいではなくMLCとかQLCのせいでは？

SSD は書込寿命あるから不要な書き換えの多い RAID-5/6/Z1/Z2
あたりは非推奨みたいに言われてるんじゃなかったっけ？

「不要な書き換え」が多い？
具体的にはどのような書き換え？
不要ならなぜ実装されているわけ？

不要な書き換えについてはわからないけど、
RAIDとかファイルシステム直じゃない
抽象レイヤーを挟むと
だいたいtrimは実行できなくなる感じ

フラッシュメモリでは書き換えブロックが集中しやすくて
寿命の面では不利にはなりそう

>>965
すまない、この説の信奉者じゃないんで詳しくはないんだが...

ランダムライトで4KiB書き換えた場合でもパリティは全書き換えだから、
チャンクサイズが64KiBだと4KiB+64KiB 書き換えが必要。 (4KiB 17回分)
RAID-1 なら 4KiBx2 (2回分) で済む。

RAID-1 はシーケンシャルライトするだけで２倍書き込むから
書き込み回数でいうなら RAID-5 より多いじゃん、といえばそう
なんだがドライブ１本あたりの書込回数って意味だと RAID-5
の方が多くなるとかなんとか。

ファイルシステムのメタデータはランダムアクセスなんで昔から
メタデータについては RAID-5/6 は避けろとは言われているね。
とくに LustreFS や GPFS とか。
>>957 にもメタデータは RAID-1 にしろとある。
xfs も mkfs オプションでメタデータだけ別ブロックデバイスに
配置できるオプションが昔からあるが、そういえば使ったことないな。

ちゃんと元の論文なりきちんとした文献を読んだり理解していないようですね
下記wikiももっともらしく書いてありますが
https://wiki.archlinux.jp/index.php/RAID
RAID5の書込パフォーマンスが(n−1)Xで高速と書いてありますが大嘘ですよ
書込はストライプやストリップ境界と揃わない場合読込みが入り遅くなるのは常識
それをあえて書かないのは雑誌と同じで商業的にあえて触れていず不誠実です

>>968
んでそのストリップ境界でRMWする確率はどれくらいなんだい？
めったに起きないから(n-1)Xちかくで書き込むのを実測できるわけで。

論文なんてもはやトイレの紙にもならんもの読むんじゃなくて
一流企業のベンダーの資料に目を通したまえ。

SSDはコントローラーのメーカーによってかなり動きが違うよね
SSD全体を一般化して語るのはおかしいよ
1つのSSDで試しても他のメーカーでは違う結果が出るかもしれない

>>963
どゆこと？

SSDはHDDとは違ってKernelから認識しているデータ配置と実際の配置がまるで違うからな
それを改善するためにZNS SSDとかいうのが出てきてるけど

btrfsでSSD RAID10してるけど2年くらい運用してるけど
シリコンパワーとかいう半年で壊れるメーカーのせいで2度リビルドさせられた以外は特にトラブルなしだよ
安価なディスクを組み合わせて信頼性や性能を向上させるっていうRAIDの利点はSSDでは通用しないらしい

読み書きの仕組みも HDD と結構違うぞ

SSD の読み書きはページ単位(16KiB or 32KiB, 型番による)で
Trim(消去) はブロック単位(512KiB など, 型番による)

書き込み回数を均す (Wear Leveling) 目的もあるので一旦書き込んだら上書きしない
1bit でも書き換えたページは別ページに書き直し

再利用するにはガーベージコレクションで使用中のページを別ブロックに追い出してブロック内の全ページを未使用状態にしてからブロック単位で Trim
どうみてもデフラグ(略)

まあ SMR (瓦書き込み: 1bit書き換えで最悪ハードディスク８回転ぐらい？させて書き込む(瓦を敷きなおす)必要がある) よりかはわかりやすいが

そもそもSSDはストライピング系のRAIDレベルで
速度向上させるまでもなく、
元々実用上十分なアクセス速度がある気がしなくもない…
ベンチマークでの速度が目的なら何も言えないけど

素人ですまんが fstrim って定期的に実行したほうがいいのは今も昔も変わってないよね？

Trimの効果はファーム（メーカの方針）による
要するにモデルによって異なる
まあ週一くらいで実行すればいいんじゃない

いまはsystemdに組み込まれたりして勝手に動いてるよ

ファイルシステムからデバイスに対して未使用ブロックの報告をいつするか だからメーカの方針云々は間違いでは？

マウントオプションに discard を入れていれば fstrim 不要だけど rm する度に処理が走ってモタつくから週末あたりにまとめて fstrim しろって認識

次スレ
ファイルシステム総合スレ その21
ttps://mao.5ch.net/test/read.cgi/linux/1750553314/

>>979
btrfsにはdiscard=asyncというオプションがあってな……

>>981
なんと。 Btrfs は discard でももたつかないんですね

愚かな質問に答えてくれてサンクス
週一で fstrim を実行するようにしておきます (systemd は使ってないので cron で)

Apple Sparse Image Format(ASIF) というのもあるんだな。Linux/*BSD で使えないだろうけど。

Appleがどれだけ優秀なファイルシステムを開発しようとサーバーとして使えないんだから意味ないわな

mac miniをラックに大量に並べたデータセンターが増えてるようなニュースを一昔前に見たような

それの用途はほとんど開発用だよ
サーバーとしては使われていないと思う

CI/CDの機能提供に使うから開発用途の(実質)サーバーがほとんどだぞ

jenkinsサーバーとしてはmac miniは優秀だわ

>>986
だが、m2 mac miniの登場で今までのmac mini筐体前提の収納ラックが
使えなくなったからなあ。旧mac mini向けdockも今投げ売り状態だし。

Jenkinsとか10年振りくらいに聞いたなぁ

ビルドって並行処理が効くからMacのCPUは効率悪いらしいけどな
マルチコア性能低いから

言うてiOSのアプリはそれ以外だとflutterくらいしかビルドする道がない

ビルド(makeに限らない呼称?)やコンパイルの並行処理、マルチ処理って
main.c io.c lib.c とか複数のコンパイルを並行処理のことをいっているのか
lib.c のコンパイルで内部の関数毎にコンパイルを並行処理(こういうのある?)のようなのをいっているのか
両方含めた概念なのか

どっちでもいいだろ、アスペかよ

アスペは、滅びぬ。

次スレ
https://mao.5ch.net/test/read.cgi/linux/1750553314/l50

EXT5というファイルシステムの話は、私は全然、見聞しませんが、EXT系はEXT4で完成形なのですかね。
ChatGPTに訊いても、XFSなどの話はありますけれど。
ZFSはメモリ大食いなのでおすすめしないとも、回答されましたが。

ともあれ、話の続きは、次スレで・・・・。

次スレ
https://mao.5ch.net/test/read.cgi/linux/1750553314/l50

次スレ
https://mao.5ch.net/test/read.cgi/linux/1750553314/l50

このスレッドは１０００を超えました。
新しいスレッドを立ててください。
life time: 331日 0時間 21分 4秒

5ちゃんねるの運営はUPLIFT会員の皆さまに支えられています。
運営にご協力お願いいたします。


───────────────────
《UPLIFT会員の主な特典》
★ 5ちゃんねる専用ブラウザからの広告除去
★ 5ちゃんねるの過去ログを取得
★ 書き込み規制の緩和
───────────────────

会員登録には個人情報は一切必要ありません。
4 USD/mon. から匿名でご購入いただけます。

▼ UPLIFT会員登録はこちら ▼
https://uplift.5ch.net/

▼ UPLIFTログインはこちら ▼
https://uplift.5ch.net/login