ファイルシステム総合スレ その21

● 前スレ
ファイルシステム総合スレ その19
https://mao.5ch.net/test/read.cgi/linux/1592027147/l50
ファイルシステム総合スレ その20
https://mao.5ch.net/test/read.cgi/linux/1722312892/l50

● 関連スレ
ジャーナリングファイルシステム
https://mevius.5ch.net/test/read.cgi/unix/979408065/l50

OpenSolaris/Illumos (OpenIndiana, etc.) 6
https://mevius.5ch.net/test/read.cgi/unix/1337411922/l50

FS関連スレ
https://medaka.5ch.net/test/read.cgi/os/1137387538/l50
過去スレ, 関連リンクは >>2-10 あたりで.

>>90
ほんとかなあ
プログラムが間違っているだけではないか？

>>91
システムコールを覗き見るツール(ProcessMonitor)を使ってNTFSでは正しい結果を返していてOpenZFSでは余分な結果を返していることを確認した
エラーが出る法則性が複雑で条件を絞り込めなかったからツールを使って分かった

mpc-beは動画を再生するとき字幕データを探すために、
様々な名前で同フォルダ親フォルダを検索する他、
拡張子違いのファイルを探すためにワイルドカードを使う
このときOpenZFSでは関係ないファイルも大量にリストアップしてバッファから溢れてエラーになるようだ
フォルダにファイルが少ないときはOpenZFSでも正常に再生される

対策としては
自分で改造して修正を試みる
文字列処理のミスなので俺でも修正できる可能性はある

あとはZVOL機能を使って仮想ブロックデバイスを作ってその上にNTFSでフォーマットして使う
この場合でもL2ARCを組み合わせることが可能で目的は果たせる

そこまで分かってるならissueあげればいいじゃん
自分で書いてプルリク出すのもいいけど

NTFSPlusか。やっぱNTFS3は失敗だったんだな。オリジナルの開発企業もLinuxに放り込んだだけで放置気味だし。

ntfs3は連続readしてるだけでも不定期にクラッシュするからなあ…
自動mountでもntfs3からntfs-3gに戻されたディストリもあったし
ntfsplusは安定してくれるといいな

なんで4を使わんのよ

信用できないんじゃね?

Ｒｕｓｔｅｒファイルシステムって無茶苦茶遅いんだが、どうなって
るんだろうね。小さいファイルを沢山持つアーカイブを展開してたら
日が暮れる。

分散ファイルシステムで速度を出すのは難しいよ
個人レベルで高性能な分散ファイルシステムを構築するならjuicefsとcephを組み合わせて使うのが良いと思う
cephだけでも分散ファイルシステムは作れるけどそれでは速度を出すのが難しい

lustre 使ってるやつがそこまでスペルミスするか疑問
エアプってやつ？

pdumpfsやsnapshot-rsyncで毎日バックアップしているとinodeを大量消費します
これまでバックアップ先をxfsにしていたのですが
電源ブッチしたのでxfs_repair掛けるととんでもなくメモリを消費してしまいます
スワップしまくりで1週間経っても終わらないorz
そこで他のファイルシステムへの乗換えを検討しています
btrfsは動的inode割り当てとのことで良さげに思うのですが
このファイルシステムはそもそも安定していますかね? 実用段階ですか?

内蔵のRAIDが品質悪いらしい。
RAIDさえ使わなかったら全く問題ないと聞く。

btrfsのRAID5を使わず、mdadmでRAID5を組んでファイルシステムをbtrfsにしてる
btrfsのRAID5も使ってる範囲では問題なかったけど。

>>103,104
レス有難うございます
RAIDは使わんのでbtrfsに乗り換えます
いま走らせているxfs_repairが終わらない...

ハイセンスのテレビでファイルシステムがぶっ飛んで全く認識しない6TBの外付けxfsハードディスクをリペアしたことがある。
・testdisk for Linuxでxfsパーティションを復旧。パーティションを検出したらチェック途中ですぐ書き込んでいい
・xfs_repairでファイルシステムのエラーを修整
時間は合わせて1～2分だった。
testdiskでパーティションが生きてるか覗いてみたらどうだろ。

有難うございます．testdiskは初めて知りました．
xfs_repairを念の為に掛けてますが実はまだブッチして
1回もmountしていないので壊れてるかどうかも分かりません
何ともならなくなったら思い出そうと思います
まだ終わらないハハ

erofs使わないの？

えっちなファイルシステムはいけないと思います！

は？

カーネル6.19でbtrfsのraid5/6がサポートされた。のか？

バージョン6.18では、Btrfsはページサイズよりも大きなブロックサイズへの実験的なサポートを導入しました。「BS > PS」と呼ばれるこの開発プロジェクトは、Linux 6.19でも精力的に進められています。
このコードにより、大きなフォリオを使用せずに、エンコードされた読み書きやBtrfs SENDのサポートなど、様々な操作を実行できるようになりました。さらに、RAID5およびRAID6構成のネイティブサポートにより、ページサイズよりも大きなブロックサイズも処理できるようになりました。
Linux 6.19 の Btrfs の新しい実験的機能として、shutdown ioctl システムコールのサポートがあります。これにより、ファイルシステムを停止状態に設定して、保留中の操作を完了することができます。

erofsはスマホのシステムパーティションに使われてる

Fedora43のインストールDVDに入ってるファイルシステムイメージは
名前は .squashfsだけど中身はEROFS

XFS Introducing Autonomous Self-Healing Capabilities With Linux 7.0

https://www.phoronix.com/news/XFS-Linux-7.0

XFSに面白そうなの来てる

XFSに新機能とかあまり求めてないんだけどな
CoW対応してたけど使い物にならなかったし

6 ファイルシステムの強化：ext4の大ブロックサイズ対応とBtrfs改良
https://www.issoh.co.jp/tech/details/10935/#ext4Btrfs-2

ext4、btrfsへの改良に関する記述。

xfsなんてredhat系でしか見たことないマイナーfs
新機能つけてどうすんだろな

キチンと動くの重要なので xfs は実績があるよ。
大半の人には ext4 or xfs がいいね、と思うの。

btrfs　は、スワップファイルを /dev/loop を通さないとマウントできない問題があったけど、これは変わってないのかな。(ext4 や XFS はできる)

>>119
いつの話?
btrfsのスワップファイルなら7年前リリースのkernel 5.0で対応している

sudo btrfs filesystem mkswapfile --size 2G swapfile
みたいにすると簡単に作れる

>>120
おっと、そんなコマンド知らなんだ。Thanx。
爺なもんで、古式にのっとり、dd で領域確保して、mkswap しただけ。
swapon しようとしたらエラーが出てスワップに加えられなかったのん。

Amazon FSx for NetApp ONTAP は btrfs, zfs みたいな機能を持っているけど NetApp ONTAP はファイルシステムも独自開発しているのだろうか？

WAFLという独自のFSを使っているよ。

Thanks
ZFS を特許侵害で訴えられる程度に先行して開発出来てたソリューションなのか

>>124
全然違う

>121はswap fileと言いながらswap partitionの話してる時点で噛み合ってなさそう

>>121
ddでもできるよ
touch swapfile; chattr +C swapfile; dd if=/dev/zero of=swapfile bs=1G count=2

btrfsでのswap fileはコピーオンライトではダメなので、mount時にコピーオンライトを全体で無効にするか、
ファイルサイズが0のときにコピーオンライトを無効にするよう拡張属性を設定しないといけない
https://wiki.archlinux.jp/index.php/Btrfs

自分も爺で最初わからんかった

>>117
お主Silicon Graphicsを知らぬ俄じゃな？斬れ！

bcachefsがこの先生きのこるには

オーバーストリート先生の次回作にご期待ください

結局btrfsでやっていくしかねえ

EXT4とXFSをLinuxカーネル6.12 - 7.0までのリリース毎の性能検証。XFSは依然として
最高の性能だが、カーネルが最新になるにつれEXT4が追いついてきている。

Linux 6.12 Through Linux 7.0 File-System Benchmarks For EXT4 + XFS 2026/3/13
https://www.phoronix.com/review/linux-612-linux-70-xfs-ext4

おお、ありがとう。

cachyosはオプションでbcachfsが選択できたが最新インストーラーから削除されたみたい

overstreetってkofiかpatreonかで開発してたくらいだし
人間性に相当問題があったんだろうな　インターネット絵師みたいなもん
Linusも怒りを通り越して呆れてたもんな

>>135
怒ることもなく自分の失敗だったと言ってたからな
あのリーナスが

overstreet は名前良過ぎ

【AGI】Bcachefsの作者がAIの向こう側に行ってしまわれた
https://qiita.com/rana_kualu/items/81ba0007dcd4fa5ba557

>>138
>.15年以上前、私は『自然言語を理解すること』イコール『感情を持つこと』であるという法則をほぼ解明しました。
>これは停止性問題からの直接的な帰結といえます。

なるほど完全に理解したわ

>>139
どいうことよ?
言語を解さない動物にも接していると感情あると思うよ

オバストさんちには猫も犬もいないんだろう

オバストさん家のケントさん
このごろ少し　変よ〜
ど〜したの〜か〜な〜〜〜

前からおかしかっただろ

まあオープンソースはだいたいメンタルやるからな
ユーザーも開発も
金のためと思わなければやってられねえ

https://xenospectrum.com/linux-kernel-7-0-release-rust-xfs-self-healing/#google_vignette
Linux7.0
xfsに自動修復機能追加（専用の修復用デーモンが動く）
btrfs、EROFS、F2FSにも改良あり

bit rotも防げる？

ext4 のお話
たった1.6MBのGIF画像によってDiscourseのバックアップが377GBに膨らんだ原因とは？ - GIGAZINE
https://gigazine.net/news/20260417-discourse-gif-backup-bloat/

前半のその話はサイト特有の仕様のせいであってext4関係ない
後半のハードリンク数制限の話もext4だけかね？

>このGIF画像のファイルサイズは約1.6MBで1個だけならそれほど大きくありませんが、
>同じGIF画像が24万6173回も別ファイルとして保存された結果、バックアップ内で377GB
>分の肥大化を招いていました。
>このGIF画像が別ファイルとして保存されていった原因は、Discourseの「secure uploads」
>という機能でした。secure uploadsは画像やファイルを公開範囲ごとに分けて安全に
>扱うための機能で、たとえばプライベートメッセージ上で使った画像を公開投稿にも
>使うと、同じ画像でも別のファイルとして扱われます。

設計時の考慮漏れが起因の運用課題をハードリンク活用で最適化しようとしたけどext4とてハードリンク数の上限が65,000程度だったのであんまり上手くいかなかった話やな

こういうのって最初から添付ファイルの実体は別の場所に置いて、DBなどでハッシュとポインタで管理するものじゃないのかな。。？

discourseのような大手でもバックアップには生ファイルそのままコピーしてたりするんだなあ
バックアップ用のソフト使わないんだ…

何言ってんだ商用ソフトウェア盲信もどうかと思うぞ

>>150
ハードリンクはその inode を参照するディレクトリエントリがゼロになると実体を消してくれる…という便利なところもあるんよね

>>149
逆じゃない？
ハードリンクの制限を運用でカバーしようとしていたが、考慮不足で SPAM 化した感じ

世界には ext4 の仕様にぶち当たるシステムよりも遥かに複雑かつ壊れやすい人間の認知というファイルシステムがあるんだな

>>153
貴殿の認知は Read-Only かつ Corruption のため、fsck 不可能です
アンマウントしてください

The "NTFS Resurrection" Has Occurred For Linux 7.1
https://www.phoronix.com/news/Linux-7.1-New-NTFS-Driver

https://xenospectrum.com/linux-7-1-new-ntfs-driver-4x-faster/#google_vignette
NTFS for Linux7.1の詳細記事

NTFS は堅牢

windows を使わなければいいんだよ

Windowsに問題があるだけでNTFSは堅牢と？

NTFSより長く多く使われてきたファイルシステムは無いからな

NT3.1の時代からいろんな案件に関わってるけど、NTFSが原因のシステム障害は一度もないわ
カトラー天才

一部破損ファイル発生したNTFSにchkdsk /fしたらトドメ刺した
事は何度かあるな

ちなMS自身はWin2012 ServerからReFSなんてのを出してるが、
どんくらい使われてるんだろね

>>160
ショウストッパー（闘うプログラマー）によれば、マイクロソフトのHPFSの担当者がNTFSを書いてる。
カトラーが最高であることに異論はない。

NTFS は VFAT のファイル名と整合性も取りつつ、マイドキュメントを英語、日本語で見え方変えたり、気の利いた事が出来るように凄く頑張ってると思った。
文字コードも影響あるし。

マイドキュメントの言語による見え方の違いはExplorerと隠しdesktop.iniによる
シェルUI層の機能で、NTFS自身はノータッチじゃないかい？

>>162
カトラー「ドッグフード食え！」
プログラマ「やだw」

カトラーはUNIXを学位取得者のままごとだと批判してた。UNIXは大学でフォークしまくったあげく互換性が取れなくなり、それを正すためPOSIX制定とかもうアホかよと。
でもカトラーはLinuxについては（俺の知る限り）一度もコメントしてない。
実用一点張りのカトラーならLinuxを好きで好きでたまらないはずなんだが。

ググってたらこんなXのポストが見つかった
ttps://x.com/kairokun2010/status/1904493000077844982/photo/1
少なくとも2025/3時点ではまだ現役でMSに在籍中だったんかい…
死ぬまで現役を地で行くつもりかな？
在籍してるくらいだからまだなんかしら開発に関わってるんだろうが、
だとすると自分が関わってる事以外には特に興味は無いのかもな

UNIX系OSに2回市場を取られた男
Azure はまだAWSに勝ててない

そんなカトラーはLinusと晩餐会で同席したことがあるんでしょ

>>162
ミラーさんとキムラさんよね

btrfs RAID5 （4TBx5）を10ヶ月使ってる。UPSの不調による電源断もあったが、とくに問題は出てない。もう1台（md+xfs、2TBx8）もbtrfsにするか思案中。

スナップショットあるファイルシステム使っちゃうともう他のは使えないよね
バックアップ復旧が快適過ぎてさ

TimeShiftのrsyncの方でバックアップ取った方が楽だなと思ってbtrfsからext4に戻した

スナップショットを取ってからそのスナップショットをバックアップすることでバックアップを取る間に書き換えが起きる心配がなくなる

これもファイルシステムの話かな

`cp`はディスク上ではデータをコピーしないことがある
https://zenn.dev/satoru_takeuchi/articles/4bab372c6dae86

ただのCoWやんな

SSDの普及で普通の方がHDDを使う機会が減りましたが
NASのHDDのフォーマットをBtrfsからext4に変更したら管理方式が異なるのでアクセス音が全然違う w

AI時代になってNTFSのACLが光り輝いてる
PCは自分しか使わないという前提ほぼなくなった

>>175
btrs使ってるけどコピーしてみたら時間かかった。なんかUbuntu 22.04.5 LTSだとcoreutilsのバージョン古くてcpコマンドは旧来のファイル本体を常にコピー

でcp --reflink=always でコピーさせたら1ギガあるファイルも一瞬でコピー完了（Cowなので当たり前か）
いやbtrfs使ってたけどこんな凄いのね、Cowって牛みたいな名前でもなんか凄い

CoW って実運用で役に立つシチュエーションが殆どないと思うんだがどうだろう？

中身重複してるキャッシュファイルが結構あるからディスク節約したいけどハードリンクはしたくないときにjdupes -B

「中身重複しているキャッシュファイルが結構ある」ってどういう運用するとなるの？
重複するキャッシュ作ってる時点で実装側の問題？

実際にjdupes -r ~/.cacheやってみると結構見つかると思うよ

CoWあるとバックアップが凄まじく捗る

>> 183
やってみたが正直運用が最適化されるといえる物量には思えないって感じたわ

>> 184
それスナップショットであってバックアップじゃないのでは...
もしくは「重複排除あると...」の間違いか

さておき重複排除実装したらおまけでついてくるのが CoW って考えることにするわ

SMRのHDDをxfsからbtrfs (raid1)にしたら
プチフリしまくり
claudeに聞いたらCoWとSMRは相性最悪らしい

CoWというよりSMRとRAIDの相性が…

スナップショットを取る→スナップショットの内容をバックアップする→スナップショットは消す

直接バックアップすると途中で書き換えが起こったら不整合になる。スナップショットなら瞬間を切り取れる

あれ!?xfsってカーネルによってはCoWサポートしてなかったっけ？

xfsのCoWは機能としてはあるけど使い物にならん

スナップショットに夢見過ぎだってば

スナップショット取ったからって稼働中のDB製品やアプリが使ってる DB を
バックアップモードにしてくれるわけではなく(ファイルシステムレベルでは
担保されるが)コンテキストレベルでは整合性は担保されない

逆に突然の電源断とかでも vi のスワップファイルやら MS Office のバックアップ
ファイルで復旧するし、アプリのDBもなんだかんだ勝手にロールバック/ロール
フォワードで良しなに整合性回復処理するから言うほどスナップショットなくても
整合性はそこそこ確保される