ファイルシステム総合スレ その19

● 前スレ
ファイルシステム総合スレ その18
https://mao.5ch.net/test/read.cgi/linux/1514472651/l50

● 関連スレ
ジャーナリングファイルシステム
https://mevius.5ch.net/test/read.cgi/unix/979408065/l50

OpenSolaris/Illumos (OpenIndiana, etc.) 6
https://mevius.5ch.net/test/read.cgi/unix/1337411922/l50

FS関連スレ
https://medaka.5ch.net/test/read.cgi/os/1137387538/l50
過去スレ, 関連リンクは >>2-10 あたりで.

やっぱりNTFS-3Gの方が主流なのか

あと確かexFATも採用されたんだよな

ここが公式なのか？

Open Source: NTFS-3G
https://www.tuxera.com/community/open-source-ntfs-3g/

COWなファイルシステムbcachefsをよろしく
https://www.patreon.com/bcachefs

この手のキャッシュｆｓって一時的な流行だったな
自前で鯖立ててる事なんてないしクラウドだし
パーソナルユーズじゃ使わんし

bcachefsをキャッシュfsと言う人は内容を理解していないのでは

草

xfsはCoWオプションがDefaultで有効化されたけど
もはや別のFSだよなこれ・・・
xfs2とかに名前変えてくれないと混乱するだろ

CoWのXFSとかbtrfs以上に安定か分からんFSだな

俺は去年からCoW版のxfsを使ってるけど結構な頻度でフリーズするよ。
β段階でフォーマットしたから今は改善されてるのかもしれないけど
そんなにすぐに安定するのだろうか。
とはいえ何度フリーズしてもデータの破損は一切ないから堅牢性には問題なさう。

ここにいる人は気にしないかもしれないが、ファイルフォーマットなんてインストールの時位しかしないから、使ってみたくても面倒。
あと8GBしかメモリ積んでないマシンでCoW耐えられるのか、わからん。

俺は8GBでCoW使ってるけど当然耐えられないよ。
毎日やばい勢いでスワップしてる。

これを標準にするとかxfsは正気なのか？
https://i.imgur.com/JIy4dxZ.png

zfsといいxfsCoWといいCoWなファイルシステムメモリ食いすぎ。全然メモリ食わんbtrfsが逆に異常に見えてきた……

XFSはともかくZFSはメモリを大量に使うことを前提に開発されているからな
設定でどれだけ使うか調節もできる

CoW だと、メタデータだけコピーして実態は同じ所にあるから、ファイルコピーが高速になる、という事は、OSの大半を同じパーテーションに入れとけば、マシン内のファイルコピーは最小になる、
って理解でOK?

なぜOSの大半がコピーされることが前提なのだ

書き方まずかった。
/boot, swap, / でパーテーション分ければと言いたかったです。
コピーや書き込みが多いのは/var の下でOS大半ではないですね。

cpのソースコードを弄って
reflink=autoにしないと意味ない。
もしかしたらパッチ当たって既にautoになってるかもしれないけど。

そもそも/varがコピーが多いのか？という疑問

/var以外でも頻繁にコピーをする用途ってあまりないよね
バックアップくらい

There's A Proposal To Switch Fedora 33 On The Desktop To Using Btrfs

https://www.phoronix.com/scan.php?page=news_item&;px=Fedora33-Desktop-Btrfs-Proposal

fedoraがbtrfsか
すでに本番環境で何年も使われてるからやっと主流になるか

RHEL8でサポートしなくなったのに、何で？？？
と疑問しかない。

最もLinuxデスクトップでシェアが高いchromebookがbtrfs使い始めたからね

現状商用サポートできるレベルではないFSだけど、
知見は貯めておきたいんじゃない。
RHELとFedoraじゃ求められるレベルに天と地ほどの差があるじゃん。

Facebookはメインでbtrfs使ってるし普通に商用でも使えそうだけどな
最近は悪い話聞かないし開発早いからだいぶ良くなっているんじゃないか？

ちょこちょこ問題があって文句も言われてるけど既に動いてて利用されてる物が、なんだかんだ改良されていつの間にかみんなで使い始め、品質も良くなってくるいつものOSS的な流れ？

ファイルシステムはハードウェアやカーネルの進化で常に品質落ち続けるイメージがあるわ

ファイルシステムの開発とか割に合わない仕事だし有能な人が減ってるだけじゃないかな？

zfsなファイルサーバを立てるのだが、OSはFleeBSDかLinuxかどちらがよかんべ？

綴り間違えるようなあやふやな物は使わない方がいいのではないかと思います

何故zfsを使いたいかも、重要じゃないか。
ファイルサーバなら他のファイルシステムでもいい。

>>36
主語と目的語が逆かと。Btrfsにメインで関与しているのがChris Mason(Facebook在籍のエンジニア)で、
2017年のredditの議論[1]や、文中引用のMasonへのインタビュー[2]でも、Facebookが業務をBtrfs
中心で回しているとは読めない。2020年の現在も、安定性から中心に据える選択はないのでは。

[1] How does Facebook Use BTRFS? : btrfs
https://www.reddit.com/r/btrfs/comments/5smw96/how_does_facebook_use_btrfs/
[2] How Facebook Uses Linux and Btrfs: An Interview with Chris Mason
By Swapnil Bhartiya -December 29, 2016
https://www.linux.com/news/how-facebook-uses-linux-and-btrfs-interview-chris-mason/

透過的圧縮機能かな

サーバーは知らんけどchromebookで使われている時点でデスクトップ用途なら問題ないって証明されてるからね

問題なく
btrfsになんと相応しくない言葉だろう
地雷原に立ってるが動かないから平気さ、とかか？

>>43
Chris Masonさん、数年前にbtrfsのメンテナをSUSEの中の人に引き継いで以来
あまり関与してない感じだが、何か新しい物でも作ってるのだろうか。

https://www.phoronix.com/scan.php?page=news_item&;px=NVMe-ZNS-Linux-5.9

> NVMe ZNS Support Coming To Linux 5.9
>
> ZNS is similar to existing SMR (Shingled Magnetic Recording)

NVMe SSDも瓦になるのかよ……

そこだけ取り上げてその理解だったら英語は全く読めてないってことになるな。

録画してた4月27日のまる見え見てたら
ビデオレターで「皆さん、ハンス・ライザーって知ってますか？」「ビル・ゲイツやスティーブ・ジョブズと肩を並べるIT長者ですよ」と言っていた

ベゾスとかエリソンとかそっち系の金持ちかと思ってすぐにはピンと来なかったが
「妻が姿を消しハンスに殺人の容疑が！」と聞いて
わかった
その先はこれから見る

はえーそんなんやってたのか

定期的に放送している気もしないでもない

っていうかそんなに金持ちなのか

Approved: Fedora 33 Desktop Variants Defaulting To Btrfs File-System

https://www.phoronix.com/scan.php?page=news_item&;px=Fedora-33-Btrfs-Desktop-Approve

fedora Silverblueもbtrfsになるのかな
CoWなファイルシステムと相性よさそう

FSのCoWって、可能性じゃなく実用としてはどんなところで使われてるんだろう。
スナップショットくらいしか想像できない。
いやほんと想像だけで言ってるんだけどさ。

Mac だとコピー速くなった、って宣伝してた。

dockerとかコンテナ系の類はCoWうまく使ってる好例なんじゃないか

Linuxじゃないけどbeadmとか

NTFSドライバがカーネルのメインラインに入るかもしれない
FUSEを使う必要がなくなるかも

やったぜ。

ゲットだぜ

ちゃんとソースを貼らんと現時点で入ってるだろ（>>9）ってなるぞ
Paragon Sends Out Updated NTFS Driver They Want To Mainline For The Linux Kernel
https://www.phoronix.com/scan.php?page=news_item&;px=Paragon-Linux-NTFS-Driver-V2
Linux kernel maintainers tear Paragon a new one after firm submits read-write NTFS driver in 27,000 lines of code
https://www.theregister.com/2020/08/18/paragon_tries_to_contribute_ntfs/

Paragonがコード提供するのか
期待できる

これもうNTFSでいいじゃんってなるな
安定してて圧縮にスナップショットもあるんだろ?

重複排除も実装してくれればかなり使えそう

>>65
あんな糞遅いFSなんか誰も使わん

安定してるのも透過圧縮くらいまでな気がする
落ちないで失敗するだけなのはすごいのかも知れんが

だいぶ昔7~8年ぐらい前だかにUbuntuJPの中の人が｢現状LinuxにはNTFSレベルにマトモなファイルシステムはない｣とか言い切ってたけど最近はどうなん？

初心者ですが教えてください
東北地方ではファイルスステムというらしいのですが、本当ですか？

>>69
XFSとext4では長期安定稼働実績があるから、何がマトモでないと言うのか。

>>71
今は安定稼働実績あるけど７〜８年前だと CentOS5 でようやく XFS に対応したばかりで、
定期的に不具合出てて安定稼働しているとはとても言えない状態だった。

ext4 も ext3 から切り替わったばかりでまだ安定稼働するか判断付きかねてた頃でしょ。

HDD の容量が爆発的に上がっていったけどハードそのものが低温病ならなんやらで安定
せず、ファイルシステムやRAIDコントローラ側でハードのクソさをカバーしないと
いけなかった時代。

NTFSが糞遅くて駄目ならZFSなんて論外すぎだろ
そんなに早いのがいいならFATでも使っとけって話

FAT ってそんなに早いの？

FS無し直書きこそ最速

>>70
フェエルスステム

>>74
ディレクトリエントリ列挙は遅いゴミ

NILFS2のスナップショットに期待して10年近く待ちまちつづけてるんだけど
まえにubuntu16.04で試した時はスナップショットとれなかった

どういうこと？
NILFS2でスナップショット取れないことなんてないでしょう

Linuxで改装型ストレージやりたいんだけどサポートしているファイルシステムは無いのかな
それともファイルシステムではない部分で動かしたほうがいいのか

>>80
この種のストレージは知らんのですが、ご教示を。

>>81
>>80 の意図はわからんが、HDD に SSD キャッシュをつける構成の事だと思う

書き込み直後のファイルやアクセス頻度の高いものは SSD 側に置いて
それ以外は HDD に置くことで、見た目の速度は SSD で容量は HDDってやつ

オープンソース・フリーソフトの中では ZFS が実装しているとは聞いたことがある

ただ、もし安定して運用できるのであればベンチャー系IT企業が必ず商品化
して売り出すはずなんだが成功してるというのは全く聞かない

個人が使う分には安定していると錯覚するぐらい安定するけど
中小企業に使わせると途端にボロがでるぐらいの安定度なんじゃないかな

AppleのFusion Driveとかそうなんじゃないの
あれはまぁプロプライエタリなので実装の詳細は不明だけども
しかし・・・最近はAppleは1TB SSDとかを直接載せてFusion Driveはなくなってきてるので成功したとは言えないのかも
一方で、AppleのFusion Driveが超絶クソみたいな話も聞かないけどな

Wikipedia で Fusion Drive について見てきたがブロック単位でファイルシステム非依存
とあったから単なる SSHD じゃないかと

そもそも階層化することによりレイテンシは遅くなる場合もあって上手くいかないんじゃないかな
サーバ向けのRAIDカードは SSD+HDDの階層化ではなくDIMM(〜4GB)+電池+HDD構成なので
SSD+HDDより速いけど、HDD部分をSSDにする場合(DIMM+電池+SSD)は遅くなるから DIMM
つけない(SSDのみ)で構成しろってメーカから言われるね

ストレージ屋は階層化製品を勧めてくるけど、SSDの利益率が高いだけで
本当は階層化しても速くならないんじゃないかと俺は勘繰ってるわ

bcacheではいかんのか？

キャッシュと改装型ストレージは別物だよ
ZFSもbcacheも改装型ストレージではない

>>86
重複して持つの(キャッシュ)は階層型じゃないってこと？
つっても実装考えたら重複しないとやってられないと思うが...

Windowsなら階層ストレージできる
Linuxでのやり方は知らん
この記事が分かりやすいかもね
https://decomo.info/wiki/blog/2018/2018-08-09

よく使うファイルを上位の高速デバイスに置く、と説明されるより
禄に使われないファイルを下位層の遅いデバイスにに移動する、と説明される方がわかりやすいのでは。

透過型アーカイブ？

開発止まってるけどbtierとか

QNAPのQtierも改装型ストレージだね
これはJBODを使った実装みたい
https://www.qnap.com/solution/qtier/ja-jp/

Btrfsの記事２つ

Incremental backups with Btrfs snapshots
https://fedoramagazine.org/btrfs-snapshots-backup-incremental/

Recover your files from Btrfs snapshots
https://fedoramagazine.org/recover-your-files-from-btrfs-snapshots/

Fedora 33出たぞい

btrfsでraid1を組んだ場合、ディスクが一つ壊れたらそのまま壊れたディスク外しても稼働し続ける？

するよ
mount オプションに degraded つけてね

mdmdm使うRAID1じゃなくて、btrfsのraid1で稼働中で、電源入ってる最中に、メンバーディスクが見えなくなるレベルの大故障したけど動き続けました
もちろんデータ本体のほかSystem, MetadataもRAID1にしておくように（btrfs filesystem df で確認する)。

おお、ありがとう。
前に色々弄ったからbtrfsのコマンドはそこそこわかるし、それなら行けそうだ

>>22
DBサーバ、httpサーバみたいな使い方じゃないと思うけど8GBで苦しそうなんだが、CoWのファイルシステムだとメモリどれ位積めばいいの？
btrfsはそれ程メモリ大食いでないのも謎なのだけど。

OpenZFS2.0来たぞ
https://github.com/openzfs/zfs/releases
zol勢が主導権握って最初のメジャーリリース。

ｷﾀ━━━━(ﾟ∀ﾟ)━━━━!!

OpenZFSはGigazineにも記事になってたけど、おまいらの誰かが書いたの？

Btrfsがカーネル5.4以降は安定化したって本当ですか？

>>102
ふーん（　´_ゝ`）

XFSとZFSはあるのに（しかもそこそこ有名）
なんでYFSはないの？

What does YFS stand for?
https://www.abbreviations.com/YFS

探せばあるもんだな

yFS: A Journaling File System Design for Handling Large Data Sets with Reduced Seeking
https://www.usenix.org/conference/fast-03/yfs-journaling-file-system-design-handling-large-data-sets-reduced-seeking

YFS, a High Performance Global File System That is Backward Compatible with AFS
https://www.sbir.gov/sbirsearch/detail/354028

YFS - Yet-Another File System
https://github.com/FlorianPusse/YFS

Btrfsが安定したみたいだから皆で移動しようぜ(俺はしないけど)

昔はDVDコピーして保管してたからファイルシステムもそれにあったものをと思ってたけど、法律で禁止されたら、大人しく従うので、扱うファイルサイズが劇的に減ってバックアップの時間やファイルが壊れない事とか気にしなくなちゃった。
RAIDも組まなくなったし。
昔が異常だったのかも。

>>107
待てよ、お前にだけ良い格好なんてさせないぜ！

>>99
やったぜ

>>107
よし、行こうぜ
(行かないけど)