ファイルシステム総合スレ その21

● 前スレ
ファイルシステム総合スレ その19
https://mao.5ch.net/test/read.cgi/linux/1592027147/l50
ファイルシステム総合スレ その20
https://mao.5ch.net/test/read.cgi/linux/1722312892/l50

● 関連スレ
ジャーナリングファイルシステム
https://mevius.5ch.net/test/read.cgi/unix/979408065/l50

OpenSolaris/Illumos (OpenIndiana, etc.) 6
https://mevius.5ch.net/test/read.cgi/unix/1337411922/l50

FS関連スレ
https://medaka.5ch.net/test/read.cgi/os/1137387538/l50
過去スレ, 関連リンクは >>2-10 あたりで.

何言ってんだ商用ソフトウェア盲信もどうかと思うぞ

>>150
ハードリンクはその inode を参照するディレクトリエントリがゼロになると実体を消してくれる…という便利なところもあるんよね

>>149
逆じゃない？
ハードリンクの制限を運用でカバーしようとしていたが、考慮不足で SPAM 化した感じ

世界には ext4 の仕様にぶち当たるシステムよりも遥かに複雑かつ壊れやすい人間の認知というファイルシステムがあるんだな

>>153
貴殿の認知は Read-Only かつ Corruption のため、fsck 不可能です
アンマウントしてください

The "NTFS Resurrection" Has Occurred For Linux 7.1
https://www.phoronix.com/news/Linux-7.1-New-NTFS-Driver

https://xenospectrum.com/linux-7-1-new-ntfs-driver-4x-faster/#google_vignette
NTFS for Linux7.1の詳細記事

NTFS は堅牢

windows を使わなければいいんだよ

Windowsに問題があるだけでNTFSは堅牢と？

NTFSより長く多く使われてきたファイルシステムは無いからな

NT3.1の時代からいろんな案件に関わってるけど、NTFSが原因のシステム障害は一度もないわ
カトラー天才

一部破損ファイル発生したNTFSにchkdsk /fしたらトドメ刺した
事は何度かあるな

ちなMS自身はWin2012 ServerからReFSなんてのを出してるが、
どんくらい使われてるんだろね

>>160
ショウストッパー（闘うプログラマー）によれば、マイクロソフトのHPFSの担当者がNTFSを書いてる。
カトラーが最高であることに異論はない。

NTFS は VFAT のファイル名と整合性も取りつつ、マイドキュメントを英語、日本語で見え方変えたり、気の利いた事が出来るように凄く頑張ってると思った。
文字コードも影響あるし。

マイドキュメントの言語による見え方の違いはExplorerと隠しdesktop.iniによる
シェルUI層の機能で、NTFS自身はノータッチじゃないかい？

>>162
カトラー「ドッグフード食え！」
プログラマ「やだw」

カトラーはUNIXを学位取得者のままごとだと批判してた。UNIXは大学でフォークしまくったあげく互換性が取れなくなり、それを正すためPOSIX制定とかもうアホかよと。
でもカトラーはLinuxについては（俺の知る限り）一度もコメントしてない。
実用一点張りのカトラーならLinuxを好きで好きでたまらないはずなんだが。

ググってたらこんなXのポストが見つかった
ttps://x.com/kairokun2010/status/1904493000077844982/photo/1
少なくとも2025/3時点ではまだ現役でMSに在籍中だったんかい…
死ぬまで現役を地で行くつもりかな？
在籍してるくらいだからまだなんかしら開発に関わってるんだろうが、
だとすると自分が関わってる事以外には特に興味は無いのかもな

UNIX系OSに2回市場を取られた男
Azure はまだAWSに勝ててない

そんなカトラーはLinusと晩餐会で同席したことがあるんでしょ

>>162
ミラーさんとキムラさんよね

btrfs RAID5 （4TBx5）を10ヶ月使ってる。UPSの不調による電源断もあったが、とくに問題は出てない。もう1台（md+xfs、2TBx8）もbtrfsにするか思案中。

スナップショットあるファイルシステム使っちゃうともう他のは使えないよね
バックアップ復旧が快適過ぎてさ

TimeShiftのrsyncの方でバックアップ取った方が楽だなと思ってbtrfsからext4に戻した

スナップショットを取ってからそのスナップショットをバックアップすることでバックアップを取る間に書き換えが起きる心配がなくなる

これもファイルシステムの話かな

`cp`はディスク上ではデータをコピーしないことがある
https://zenn.dev/satoru_takeuchi/articles/4bab372c6dae86

ただのCoWやんな

SSDの普及で普通の方がHDDを使う機会が減りましたが
NASのHDDのフォーマットをBtrfsからext4に変更したら管理方式が異なるのでアクセス音が全然違う w

AI時代になってNTFSのACLが光り輝いてる
PCは自分しか使わないという前提ほぼなくなった

>>175
btrs使ってるけどコピーしてみたら時間かかった。なんかUbuntu 22.04.5 LTSだとcoreutilsのバージョン古くてcpコマンドは旧来のファイル本体を常にコピー

でcp --reflink=always でコピーさせたら1ギガあるファイルも一瞬でコピー完了（Cowなので当たり前か）
いやbtrfs使ってたけどこんな凄いのね、Cowって牛みたいな名前でもなんか凄い

CoW って実運用で役に立つシチュエーションが殆どないと思うんだがどうだろう？

中身重複してるキャッシュファイルが結構あるからディスク節約したいけどハードリンクはしたくないときにjdupes -B

「中身重複しているキャッシュファイルが結構ある」ってどういう運用するとなるの？
重複するキャッシュ作ってる時点で実装側の問題？

実際にjdupes -r ~/.cacheやってみると結構見つかると思うよ

CoWあるとバックアップが凄まじく捗る

>> 183
やってみたが正直運用が最適化されるといえる物量には思えないって感じたわ

>> 184
それスナップショットであってバックアップじゃないのでは...
もしくは「重複排除あると...」の間違いか

さておき重複排除実装したらおまけでついてくるのが CoW って考えることにするわ

SMRのHDDをxfsからbtrfs (raid1)にしたら
プチフリしまくり
claudeに聞いたらCoWとSMRは相性最悪らしい

CoWというよりSMRとRAIDの相性が…

スナップショットを取る→スナップショットの内容をバックアップする→スナップショットは消す

直接バックアップすると途中で書き換えが起こったら不整合になる。スナップショットなら瞬間を切り取れる

あれ!?xfsってカーネルによってはCoWサポートしてなかったっけ？

xfsのCoWは機能としてはあるけど使い物にならん

スナップショットに夢見過ぎだってば

スナップショット取ったからって稼働中のDB製品やアプリが使ってる DB を
バックアップモードにしてくれるわけではなく(ファイルシステムレベルでは
担保されるが)コンテキストレベルでは整合性は担保されない

逆に突然の電源断とかでも vi のスワップファイルやら MS Office のバックアップ
ファイルで復旧するし、アプリのDBもなんだかんだ勝手にロールバック/ロール
フォワードで良しなに整合性回復処理するから言うほどスナップショットなくても
整合性はそこそこ確保される

どのみちバックアップする時はDBは停止だかフラッシュだかさせるでしょ
そのままバックアップが終わるまで待つところをスナップショットを取ってしまえば停止時間を最小にして作業も再開できる

>>192
DBを使うWebアプリが[1]全データをDBに格納している場合は
DBをバックアップモードにしてバックアップすればファイルシステムで
スナップショットを撮らなくてもコンテキストレベルで整合性が取れる

そうでなくて[2]DB以外にもファイルシステムにデータを格納している場合
DBをバックアップモードにしてファイルシステムでスナップショットを
撮ったとしても整合性が取れているとは限らない
# OSのシステムコールの fclose (ファイルシステム側データ) と
# DB の commit (DB側データの書き込み) をアトミックに実行
# はできない

もちろん WebアプリケーションサーバとDB両方停止してファイルシステムで
スナップショット撮れば整合性は取れるよ？

でも「フラッシュだかさせ」てって書き込んでるのは運用的には危うい

まさに夢見過ぎだと思うんだわ

いや君がDB言ったからDBで返しただけで、Webアプリケーションサーバとか次々と新しい条件を出してくるんじゃないよ。バックアップの時は当然それも停止するだけでしょ
意味なくゴールをずらすんじゃないよ

>>194
コンテキストレベルで整合性取れないって意味が分かってないから
詳細説明したのであってゴールポストはずらしてないよ

そうでないならどう解釈したか教えてよ

ごちゃごちゃこの場合はだめと仮定を足してきてるのはそっちでしょうが
そりゃ普通にバックアップを取るときに気をつけないといけないようなことはスナップショットを取る瞬間も気をつけないといけないよ
停止時間を短くできるだけであって

腹が立ってきたな
要は先回りして全部の注意事項を書かないと相手を理解してないことにしてしまう絡み方であり、レスバがしたいだけのやつだ

こちらはスナップショット過信するなと書き込んでるのに
火種となる楽観論で返してきたのはあなたでしょうに

>>90
いつのまにか、この症状が出なくなってる
zfs-windows-2.4.1rc10以降で確認

細かい機能を使わなければ常用には問題なさそうなので
いよいよゲーム用PCと録画用PCを組めそうだ
全部をSSDには出来ないからL2ARC機能に目を付けてたんだ

バックアップリストアのシナリオいくつも作ってテストしても、どうせ一度も使わないんだよな

バックアップの出番が無いのは良いことだ

oracleをノーアーカイブモードでVSSとるだけの人は結構いると思う
厳密に言えばだめなんだけど、どうせリカバリする機会なんてないから気づかないよね

株式会社アイ・エス・ビー
https://kizuna.5ch.io/test/read.cgi/infosys/1756826944/

https://archive.md/Zg0Yp
ISB人事

virtiofs

DB 担当→DBバックアップなんてプログラマは勉強しないっすよ。 バックアップソフト担当が何とかしてくれるよね！？
バックアップ担当→Oracleの詳細なんてわかりません！！
で結果ノーアーカイブログモードで運用なんだよなあ

ここから１歩だけ進むとバックアップ担当が「Oracle わからんから
Disk To Disk でこのファイルだけバックアップしてくれ状態で引き渡せ
(= RMAN で自分たちで責任もってファイルバックアップしろ)」って
DB担当に念押しする形になるんだが、これはこれでバックアップ実行と
RMAN 実行が重なってたら意味がないという...

https://www.phoronix.com/news/Btrfs-No-Serialize-Direct-IO
Linux 7.2で導入されるBtrfsの変更により、非常に優れたパフォーマンス向上が見込まれる
Michael Larabel

DirectIOが60%向上とか。

Linux 7.1のアップデートで、Btrfsはファイルシステムの「シャットダウン機能」が実験的 (experimental) から安定版へ昇格しました。これにより、ファイルシステムエラー時の動作の信頼性が向上し、各種のパフォーマンス改善とバグ修正も導入されています。

Linux 7.1におけるBtrfsの主な変更点
シャットダウン ioctl の安定化
ファイルシステムの強制シャットダウンと待機中の処理を安全に完了させるためのメカニズムが安定版になりました。XFSなどで実装されていた仕組みと同様のものが公式にサポートされています。

・ エラーハンドリングの改善
ファイルシステムエラーを報告する FSERROR メカニズムに対応し、トラブル発生時の診断がしやすくなりました。

パフォーマンスと最適化
全体の動作効率化や、各種バグフィックスがマージされています。

btrfsの弱点な速度が改善したら最強か？！

direct IO使ってるソフト見たことないけど

最近ext4を愛する事が出来るようになって分かったのはbtrfsはスナップショットとか使わなかったら宝の持ち腐れだからなぁ

どのフォルダをスナップショットで戻しているの？
/home /work といった自分が作ったデータ以外というのも範囲としては楽とも思うけど

2023年のミスでDirectIOが最適化されていなかったが
修正したので59%スループットが向上したって事かよ、つまんねー

>>209
DBで使われてるみたい

(debianスレと重複になりますが)
JFSっていつまでサポートされるのだろう。。。

メンテナのやる気がなくなるまで

自分でメンテナンスすればいつまでもサポートされるのがOSS

メンテナンスできるスキルがあれば、ね

そこでAIが颯爽と登場

bcacheFSはAIを最大限活用して
一人とは考えにくい速度で開発を進め
周辺ツールやドキュメントまで整備した
しかし作者はAIに囚われ暗黒面に堕ち始めてる

>>206-207

rust みたいなクソ言語をカチ込んだカーネルなんて信用しない

>>219
よかったね。古いOSしか使えなくなっていくよ

古いというコトバは中身がない

何が悪いのか善いのか何も指摘していない

知恵遅れが使い易いラベリングだから多用するけどねw

いやさすがにブーメラン刺さってません？
例文：
クソというコトバは中身がない

何がクソなのかクソじゃないのか何も指摘していない

根拠もなくディスるだけのカスが使い易いラベリングだから多用するけどねw

>>219
代わりに何のカーネルを使うの？

マカー派かもな
ファイルシステムに関係するか、分からないが。

Macはカーネル開発にswift使い始めてるけど
swiftって単純にシステム開発向けの言語じゃないよね
パフォーマンス悪いし
javaのほうが高速なくらい

え？SwiftはC++と遜色ない速度出るけど？

Swiftは書き方によって随分違うぞ、手続き型っぽい泥臭い書き方すりゃ速いが。Common Lispみたいなもんだ

LinuxはRustに置き換わるのかな

Linux のカーネルで使われている言語はアセンブリ言語、C言語、Rust だけ

その内ぬるぽを回避できるのは Rust だけだからそうなるんじゃない？

>>229
少しは調べろ
https://github.com/torvalds/linux

>>229
ガッ

ダウンロードしてファイル名の拡張子調べたけど、アセンブリ言語とC言語とRust
だけにみえるが何について指摘しているつもり？

シェルスクリプトだとかPythonやPerlもあるっちゃあるが
ビルドツールであってソースではないよな

>>223
サンダース

>>233
サプライチェーン攻撃(ニチレイ)でシャットダウンしそうなんですが

https://www.phoronix.com/news/Btrfs-No-Serialize-Direct-IO
Linux7.2でbtrfsのDIOスループットが大幅に
向上したらしい。

MANJAROで
> BTRFS users DO NOT install kernel 7.2rc yet
というアナウンスが流れてたのはそういう大手術の影響だったんですね。

ナニソレ
こえーよ

>>235
先月すでにこのスレで扱ったネタだ >>206
あと大幅に向上したのではなく不具合で大幅に低下していたものを修正しただけな

AI Agent上で同一fileが多数作成される環境という条件付きだが、興味深い翻訳記事。
タイトルはAppleのAPFSとの比較だが、記事中にLinux対応各FSとの比較もあり、XFS+VDO
(LVMに圧縮・重複排除のpoolを作成する技術)の性能が際立っているとの評価。

テオ氏：アップルのファイルシステムは遅すぎる——AIコーディングを全てLinuxに移行し、
ストレージを3分の1に削減　2026-08-21 06:08 (GMT+9)
https://finance.biggo.jp/news/a1cc91818da11d06

単にpnpmがLinuxではcopy_file_rangeを使ってAPFSのファイルクローンシステムコールは使ってないだけな気もする…

ファイルシステム色々試したいならMiniTool Partition WizardでFAT32・exFAT・NTFS・Ext系・Linux swapまで一通りいける

>>239
いいねえ。
mdadm→VODインストール→xfsでいけるかな。試してみるわ。

>>241
> MiniTool Partition Wizard

なんで実績のあるGPartedがあるのにそんな得体の知れない野良アプリ勧めるの？

Ext4が至高
XFSはパフォーマンス差が小さい 大規模なら若干需要ある
Btrfsは不安定 ややこしい仕様 RAID5/6非対応

Btrfsが不安定っていつの時代の話してんだ

>>245
>>244 が言いたいのは「あなたの考える不安定」ではなく
「前者と比べ比較的信頼を置き辛い」って事なんじゃないかな

しかしそれは置いておいても >>206,236 とかの話がでるあたり
不安定って言われてもしょうがない気もしない事はないが

ファイルシステムは枯れたのを使うのが定石

リスク回避して安定求めるならそうだけど
かといって古い物に固執して時代に取り残されて認識アプデできない思考が染み付くのもそれはそれで問題だな
PC界隈にはそういう人多いし

Btrfsは内蔵のRAID5/6に問題がある。

正直RAID5/6使わないし……

BTRFSを4TBx5のRAID5で運用してるが、今のところ問題はない。UPSのエラーで電源断したこともあるがエラーは出なかった。
でも海外サイトに膨大なデータ（数百テラ）をBTRFSにコピーするといつまで経つても終わらないという書き込みはあったな。

8TBのHDDを同容量にコピーするのにも1日近くかかった記憶が
HDDだとしたらRAID5/6のストライピングで加速があるとしても
数百TBは10日やそこらじゃ終わらなそうな…