ファイルシステム総合スレ その19

● 前スレ
ファイルシステム総合スレ その18
https://mao.5ch.net/test/read.cgi/linux/1514472651/l50

● 関連スレ
ジャーナリングファイルシステム
https://mevius.5ch.net/test/read.cgi/unix/979408065/l50

OpenSolaris/Illumos (OpenIndiana, etc.) 6
https://mevius.5ch.net/test/read.cgi/unix/1337411922/l50

FS関連スレ
https://medaka.5ch.net/test/read.cgi/os/1137387538/l50
過去スレ, 関連リンクは >>2-10 あたりで.

っていうかそんなに金持ちなのか

Approved: Fedora 33 Desktop Variants Defaulting To Btrfs File-System

https://www.phoronix.com/scan.php?page=news_item&;px=Fedora-33-Btrfs-Desktop-Approve

fedora Silverblueもbtrfsになるのかな
CoWなファイルシステムと相性よさそう

FSのCoWって、可能性じゃなく実用としてはどんなところで使われてるんだろう。
スナップショットくらいしか想像できない。
いやほんと想像だけで言ってるんだけどさ。

Mac だとコピー速くなった、って宣伝してた。

dockerとかコンテナ系の類はCoWうまく使ってる好例なんじゃないか

Linuxじゃないけどbeadmとか

NTFSドライバがカーネルのメインラインに入るかもしれない
FUSEを使う必要がなくなるかも

やったぜ。

ゲットだぜ

ちゃんとソースを貼らんと現時点で入ってるだろ（>>9）ってなるぞ
Paragon Sends Out Updated NTFS Driver They Want To Mainline For The Linux Kernel
https://www.phoronix.com/scan.php?page=news_item&;px=Paragon-Linux-NTFS-Driver-V2
Linux kernel maintainers tear Paragon a new one after firm submits read-write NTFS driver in 27,000 lines of code
https://www.theregister.com/2020/08/18/paragon_tries_to_contribute_ntfs/

Paragonがコード提供するのか
期待できる

これもうNTFSでいいじゃんってなるな
安定してて圧縮にスナップショットもあるんだろ?

重複排除も実装してくれればかなり使えそう

>>65
あんな糞遅いFSなんか誰も使わん

安定してるのも透過圧縮くらいまでな気がする
落ちないで失敗するだけなのはすごいのかも知れんが

だいぶ昔7~8年ぐらい前だかにUbuntuJPの中の人が｢現状LinuxにはNTFSレベルにマトモなファイルシステムはない｣とか言い切ってたけど最近はどうなん？

初心者ですが教えてください
東北地方ではファイルスステムというらしいのですが、本当ですか？

>>69
XFSとext4では長期安定稼働実績があるから、何がマトモでないと言うのか。

>>71
今は安定稼働実績あるけど７〜８年前だと CentOS5 でようやく XFS に対応したばかりで、
定期的に不具合出てて安定稼働しているとはとても言えない状態だった。

ext4 も ext3 から切り替わったばかりでまだ安定稼働するか判断付きかねてた頃でしょ。

HDD の容量が爆発的に上がっていったけどハードそのものが低温病ならなんやらで安定
せず、ファイルシステムやRAIDコントローラ側でハードのクソさをカバーしないと
いけなかった時代。

NTFSが糞遅くて駄目ならZFSなんて論外すぎだろ
そんなに早いのがいいならFATでも使っとけって話

FAT ってそんなに早いの？

FS無し直書きこそ最速

>>70
フェエルスステム

>>74
ディレクトリエントリ列挙は遅いゴミ

NILFS2のスナップショットに期待して10年近く待ちまちつづけてるんだけど
まえにubuntu16.04で試した時はスナップショットとれなかった

どういうこと？
NILFS2でスナップショット取れないことなんてないでしょう

Linuxで改装型ストレージやりたいんだけどサポートしているファイルシステムは無いのかな
それともファイルシステムではない部分で動かしたほうがいいのか

>>80
この種のストレージは知らんのですが、ご教示を。

>>81
>>80 の意図はわからんが、HDD に SSD キャッシュをつける構成の事だと思う

書き込み直後のファイルやアクセス頻度の高いものは SSD 側に置いて
それ以外は HDD に置くことで、見た目の速度は SSD で容量は HDDってやつ

オープンソース・フリーソフトの中では ZFS が実装しているとは聞いたことがある

ただ、もし安定して運用できるのであればベンチャー系IT企業が必ず商品化
して売り出すはずなんだが成功してるというのは全く聞かない

個人が使う分には安定していると錯覚するぐらい安定するけど
中小企業に使わせると途端にボロがでるぐらいの安定度なんじゃないかな

AppleのFusion Driveとかそうなんじゃないの
あれはまぁプロプライエタリなので実装の詳細は不明だけども
しかし・・・最近はAppleは1TB SSDとかを直接載せてFusion Driveはなくなってきてるので成功したとは言えないのかも
一方で、AppleのFusion Driveが超絶クソみたいな話も聞かないけどな

Wikipedia で Fusion Drive について見てきたがブロック単位でファイルシステム非依存
とあったから単なる SSHD じゃないかと

そもそも階層化することによりレイテンシは遅くなる場合もあって上手くいかないんじゃないかな
サーバ向けのRAIDカードは SSD+HDDの階層化ではなくDIMM(〜4GB)+電池+HDD構成なので
SSD+HDDより速いけど、HDD部分をSSDにする場合(DIMM+電池+SSD)は遅くなるから DIMM
つけない(SSDのみ)で構成しろってメーカから言われるね

ストレージ屋は階層化製品を勧めてくるけど、SSDの利益率が高いだけで
本当は階層化しても速くならないんじゃないかと俺は勘繰ってるわ

bcacheではいかんのか？

キャッシュと改装型ストレージは別物だよ
ZFSもbcacheも改装型ストレージではない

>>86
重複して持つの(キャッシュ)は階層型じゃないってこと？
つっても実装考えたら重複しないとやってられないと思うが...

Windowsなら階層ストレージできる
Linuxでのやり方は知らん
この記事が分かりやすいかもね
https://decomo.info/wiki/blog/2018/2018-08-09

よく使うファイルを上位の高速デバイスに置く、と説明されるより
禄に使われないファイルを下位層の遅いデバイスにに移動する、と説明される方がわかりやすいのでは。

透過型アーカイブ？

開発止まってるけどbtierとか

QNAPのQtierも改装型ストレージだね
これはJBODを使った実装みたい
https://www.qnap.com/solution/qtier/ja-jp/

Btrfsの記事２つ

Incremental backups with Btrfs snapshots
https://fedoramagazine.org/btrfs-snapshots-backup-incremental/

Recover your files from Btrfs snapshots
https://fedoramagazine.org/recover-your-files-from-btrfs-snapshots/

Fedora 33出たぞい

btrfsでraid1を組んだ場合、ディスクが一つ壊れたらそのまま壊れたディスク外しても稼働し続ける？

するよ
mount オプションに degraded つけてね

mdmdm使うRAID1じゃなくて、btrfsのraid1で稼働中で、電源入ってる最中に、メンバーディスクが見えなくなるレベルの大故障したけど動き続けました
もちろんデータ本体のほかSystem, MetadataもRAID1にしておくように（btrfs filesystem df で確認する)。

おお、ありがとう。
前に色々弄ったからbtrfsのコマンドはそこそこわかるし、それなら行けそうだ

>>22
DBサーバ、httpサーバみたいな使い方じゃないと思うけど8GBで苦しそうなんだが、CoWのファイルシステムだとメモリどれ位積めばいいの？
btrfsはそれ程メモリ大食いでないのも謎なのだけど。

OpenZFS2.0来たぞ
https://github.com/openzfs/zfs/releases
zol勢が主導権握って最初のメジャーリリース。

ｷﾀ━━━━(ﾟ∀ﾟ)━━━━!!

OpenZFSはGigazineにも記事になってたけど、おまいらの誰かが書いたの？

Btrfsがカーネル5.4以降は安定化したって本当ですか？

>>102
ふーん（　´_ゝ`）

XFSとZFSはあるのに（しかもそこそこ有名）
なんでYFSはないの？

What does YFS stand for?
https://www.abbreviations.com/YFS

探せばあるもんだな

yFS: A Journaling File System Design for Handling Large Data Sets with Reduced Seeking
https://www.usenix.org/conference/fast-03/yfs-journaling-file-system-design-handling-large-data-sets-reduced-seeking

YFS, a High Performance Global File System That is Backward Compatible with AFS
https://www.sbir.gov/sbirsearch/detail/354028

YFS - Yet-Another File System
https://github.com/FlorianPusse/YFS

Btrfsが安定したみたいだから皆で移動しようぜ(俺はしないけど)

昔はDVDコピーして保管してたからファイルシステムもそれにあったものをと思ってたけど、法律で禁止されたら、大人しく従うので、扱うファイルサイズが劇的に減ってバックアップの時間やファイルが壊れない事とか気にしなくなちゃった。
RAIDも組まなくなったし。
昔が異常だったのかも。

>>107
待てよ、お前にだけ良い格好なんてさせないぜ！

>>99
やったぜ

>>107
よし、行こうぜ
(行かないけど)

b　僕は
t　とっても
r　ロンリー
f　ふーん
s　シスター

Btrfs:
Boobs 'n' Titties, Real Fuckin' Sex

Windows 10 バージョン20H2にて、チェックディスクを行なったさいにファイルシステムが破損する不具合を独誌Planet 3DNow!が報告している。

同誌によれば、管理者権限で実行したコマンドプロンプトから「chkdsk C: /f」コマンドを実行すると、
再起動後に「NTFS FILE SYSTEM」エラーとともにブルースクリーンが発生し、正常に起動できなくなる場合があるという。
12月度の月例パッチにあたる「Build 19042.685」を適用した環境で発現が確認されている。
また、この不具合は仮想環境でも発生することから、特定のハードウェアに起因しないとしている。

不具合が発生した場合は、自動または手動によるシステムの修復が必要。すでにフィードバックHubを通じてMicrosoftに報告が行なわれているという。

Windows 10のチェックディスクでファイルシステムが破損する不具合
https://pc.watch.impress.co.jp/docs/news/1296477.html
https://pc.watch.impress.co.jp/img/pcw/docs/1296/477/01_l.jpg


＼(^o^)／ｵﾜﾀ

さすがMicrosoft！
俺たちへの嫌がらせを平然とやってのけるッ

MSはなんでReFSやめてしまったんやろな
btrfsも先行き不透明感あるし難しいのかね

refsって止めちまったのかい？
ブート出来ない時点で使わんがね。

え、ReFSやめたの？
OSを超えて共通で使えるファイルシステムとなると結局Windows系になるのにExFATは機能不足だし
NTFSは機能山盛りでWindows以外で書き込むのは怖いしで
ちょうどいい中間になってくれたらと思ってたのに

bcacheは個人で使うにも安定性はイマイチだよ
数日ほど連続稼働させてると内部でエラーを起こして強制的にキャッシュドライブが外される

ライトバック設定の場合はシステムが即フリーズする
ライトスルーとライトアラウンドならキャッシュが無い状態で稼働し続けるものの、
キャッシュドライブをカーネルがロックしたままなので再起動するまで元通りにできない

時々壊れるのを気にしなければBtrfsが最強だな。

せやな
Linux板住人諸氏は当然バックアップを取っていることでしょうから問題なし

うむ
Fedora には足を向けて寝られない

>>119
そこってかなり大事な要素だと思うんだが…

ゆうほど壊れる？

俺の場合は、USBメモリをFATで使ってて誤って抜いてFATを壊したのは何回かあるが、
他、ハードディスクやSSDでNTFS、XFS、ext4、HFS+を使ってて壊れたことは記憶にない。
しかしBtrfsは壊れたことがある。
これを実用に耐えないくらい壊れると見なすか、バックアップを取ってれば良い話と見なすか、Btrfsは運が悪かっただけで、
上記2行目で挙げた他のファイルシステムに劣らないくらい堅牢だと見なすかはわからん。

ZFSは使ったことがない。AppleのAPFSや、MicrosoftのReFSは使ったことあるけど経験が少ないのでなんとも。

あとBtrfsはデータとメタデータのチェックサムを使って破損を検出する（ZFSも同様）ので、破損をしっかり検出しているだけであって、
他のファイルシステムは破損に気づいてないだけだという主張もあるね。XFSやext4はデータのチェックサムを使わないね。
ま、Btrfsもこのスレで否定的レスがつかないくらい進歩してくれますように祈っていますよ。

アイコンを見るだけでデータが破壊されるNTFSの脆弱性
https://pc.watch.impress.co.jp/docs/news/1300447.html

アイコンは16年の歴史があるからな!!!




アイコン16歳(´・ω・｀)

>>124
起動ディスクをUSB メモリをzfsでソフトウェアraid1にするといいぞー
安心感が違う。

実際にやってみたらガチで壊れた
https://dotup.org/uploda/dotup.org2361590.webm

zip内のでもクラッシュするてヤバくね
ドザなんてビギナーだらけだし
対策放置してる間は格好の的

下手をするとウェブブラウザで踏んだリンクがfile://C:/とかでもダメだったりしてな
試してみる勇気はない

>>125
嫌な奴への復讐に使えるやないかｗ

>>124
その終盤にある主張に半分同意
NTFSは一見ファイルが無事なようで中身が壊れるサイレント損傷が多い
フリーズすると直前の10〜20秒に更新されたファイルが高確率で壊れた
安全に更新するためにバックアップを作ってから更新するソフトでもバックアップごと壊れる

今のSSD/HDDはメディア自体がECC(誤り訂正符号)で書き込むから
データやメタデータへのチェックサムは不要だと思う
メディアのECCで足りない場合はRAID-5やRAID-6にしてスクラブで
定期的に修正すればいい

と言いたいところだが、個人だとRAID-5/6組めないからねぇ

SMART でコレクタブルエラーやアンコレクタブルエラーが頻発して
ない状態でのサイレントな損傷はメモリかマザボの不良かFSのバグか

最近知ったのだがAMDのCPUだとサーバじゃなくてもECCメモリ使える
らしいので入れてみたい

>>133
SSDとかECCモリモリですよね。(じゃないと耐えられない)

raid5や6はパリティが壊れるとサイレントクラッシュするのですよ。
(zfs のraidzは大丈夫。あとはbtrfsも含めてサイレントクラッシュする。)

Ryzen CPU(グラフィック内蔵のAPUはPROシリーズのみ)はECCに対応してるが、マザーが対応してないとムリ。ECCメモリ使えるけどECC機能が使えない感じ。
またECC対応してても、訂正した時にOS通知されるかはまた別問題。
なかなか苦労します。

DDR3メモリ以降、row hammerの危険に晒されてるのでECCはあった方がいい。もしくはDDR5(標準で32bit毎にECC)まで我慢。

>>134
> raid5や6はパリティが壊れるとサイレントクラッシュするのですよ。

意味わからん
RAID-5でストライプが２つ、RAID-6なら３つ同時に壊れない限り
クラッシュしないでしょ？

そもそもサイレントクラッシュ(I/O Error を返さない)するのはパリティ
計算して正常だった場合で、相当な確率になるはずでは？

そうじゃなきゃハードウェアRAID製品のスクラブ機能は一体何をしている？
(それとも md/lvm の RAID-5 はリード時にメディアエラーじゃない限り
パリティを読んでないってこと？)

>>135
壊れたパリティを元に、正常なデータをハードウェアraidなりソフトウェアraidが壊しちゃうのよ。
パリティが真の設計だからね。

それもあるし、パリティは、「消失したデータ」を復元することはできても、
一体どれが誤ってるのかわからない状況だと、どれが誤りかを識別して訂正はできないと思う（何かがおかしいということが分かるに過ぎない）
サイレントクラッシュって書き込み途中での電源断で起きるということだからパリティが壊れることもデータが壊れることもあるわけで

>>137
> サイレントクラッシュって書き込み途中での電源断で起きるということだから

内容は間違ってないが、悪いけどそれは話のすり替えだ
話がそれ過ぎたし、この話題はもうやめますね

https://pc.watch.impress.co.jp/docs/news/1300761.html

　画面上にアイコンが表示されただけでWindows 10のドライブが破損するNTFSの脆弱性について、
米Microsoftが修正する旨の発言を行なったことが海外メディアで伝えられた。

何でアイコンの表示とファイルシステムが結びついてんだ

ZFSとかのミラーリングで片系のパリティだけ損傷した場合はどうなるの？

NTFSを捨ててbtrfsを使おう（提案）
https://github.com/maharmstone/btrfs

結局NTFSってFAT32を無理矢理拡張したようなもんでしょ？
そうでなければバックグラウンドサービスで常時断片化を解消しようとする筈がない

少なくとも大事なデータをしまっておく気にはなれないよね

「Linuxのファイルシステムは断片化しない！」と吠えてた奴がいたな

>>144
断片的に書き込むからね

「Linuxはウイルスに感染しない！」よりはマシだからセーフ

アプリによってファイルの上書きが、メモリ上のものを既存ファイルに追記のケースと、別名保存完了後に既存ファイルを消してリネームのケースがあって、断片化に影響してる気がするけど、あってる？

合ってないと思う
本当に追記モードで書ける場合ってごく僅かだと思うし

Linux のファイルシステムが断片化しにくいというのはなぜだっけ
EXT ファイルシステムのことだよね
Windows の FAT や NTFS が断片化しやすいのは過去の互換性を重視しているタメレガシーな仕様を引きずっていると思われるが

ちょくちょくe4defragしてるけどext4も~/.cache内とか普通に断片化しまくってるし

>>149
配置の様子を見ることが出来ない、集計表示するツールが普及していないだけ

>>151
ええーw

>>151
今別パーティションのUFSなんだけど、１年ちょっと使ってこんなもん　書き換え頻回
https://i.imgur.com/3iSmcOv.png

ext4も似たようなもんなんじゃないの
数字にどんだけ信憑性があるのかだし、最近Linuxでext4使ってないから知らんけど