ファイルシステム総合スレ その19

● 前スレ
ファイルシステム総合スレ その18
https://mao.5ch.net/test/read.cgi/linux/1514472651/l50

● 関連スレ
ジャーナリングファイルシステム
https://mevius.5ch.net/test/read.cgi/unix/979408065/l50

OpenSolaris/Illumos (OpenIndiana, etc.) 6
https://mevius.5ch.net/test/read.cgi/unix/1337411922/l50

FS関連スレ
https://medaka.5ch.net/test/read.cgi/os/1137387538/l50
過去スレ, 関連リンクは >>2-10 あたりで.

幾多のNASやFTPやクラウドストレージをマウントしていてもサービス再起動するだけで一括アンマウント
mountコマンドやfuseで使えるものならなんでも動的マウントが可能
WANストレージを多用する人には有用　かもね

>>527
ええなそれ

>>529
代表的なプロトコルの設定例はこちら
Autofs - ArchWiki
https://wiki.archlinux.jp/index.php/Autofs

なおautofsはローカルストレージにも使える
fstabでnoauto指定したマウントポイントにアクセスするまではマウントしないという使い方
例えばバックアップ用やマル秘ファイル満載のHDD、使うまではオフラインにしておくなんて事が可能
多少の電気代とコマンド叩くカロリー節約にはなる

> fstabでnoauto指定したマウントポイントにアクセスするまではマウントしないという使い方
これLinuxでは結構手こずるわ
FreeBSDなら当該行頭の#を消すだけ

外付けのデータがこっそり壊れてる可能性がある、
というのを極力避けるためにwindows捨ててlinux(btrfs)使う価値ある？

そもそもそんな破損の仕方はそれほど起こらない？

OSやファイルシステムのせいにする以前に
ヘタったストレージはさっさと交換して廃棄しちまえ、とだけ
付け加えるとしたら消えたら困る様なデータの保管先が中古ドライブだったらもってのほか

> ヘタったストレージはさっさと交換して廃棄しちまえ、とだけ
定期的に新しいHDDに移してはいるんやけどね
10TBとかのデータをまったくの欠け無しにどんどん世代交代してくなんて可能なんかと不思議でさ
保存中に気づかない欠けが発生したりしないもんかと

その点ファイルシステムがハッシュチェックしてくれたら少なくとも気づくことはできるかなと思った
zfsやらbtrfsやらを使ってる人でその宇陰でデータ破損に気づけたという経験をした人はここにいる？

クレクレ君が張り付いてんなら俺は何も情報出さんよ
普段どんな構成で運用してて現在どんな状態か等を「正直に」カミングアウトすれば別かもしれんが

ファイルシステムの機能以前にそんなに完全性を気にするなら普通はベリファイなりハッシュチェックなりかけるので…

Oracle Linux 9 は btrfs サポートするのかー、と今調べた。
RHEL 9 も次では btrfs 復活させないのだろうか。

情報出さんよと煽れば情報貰えると思ってる
クレクレ君が張り付いてるな

欠けるってなんだ
ディスクのチェックすり抜ける破損なんてあるか？

> 情報出さんよと煽れば情報貰えると思ってる
>>536か？
あの短い文章で気持ち悪さを醸し出せるって大した才能だよ

>>538
Oracle Linuxは普通に8でもbtrfs使えるので・・・
そりゃ自分のところで作ってるんだから当たり前である

もうsolarisぶん投げたんだからzfs移植してくれればいいのに

>>540
> 欠けるってなんだ
> ディスクのチェックすり抜ける破損なんてあるか？

RAID スクラビングでググれ
H/w RAID 製品だとデフォなんで結構あるんじゃね？

>>544
そういうのはあるけど
質問者のいうファイルシステムを変えたからって回避できる問題ではないよね

oracle にはzfsをGPL化して解放して欲しい。
もう面倒見る気ないでしょ。

変更しないデータは iso ファイルで固めた後にパリティアーカイブコマンド
(par2 コマンドとか MultiPar(Windows) とか) でパリティ付けてるわ。

誤り訂正符号なんでパリティをギガ単位でつけておけばギガ単位でデータロスト
しても修復できるんでお勧め。

arch の XFS のドキュメント見てたら、カーネル5以降で使えるようになった機能への記載もあって良かったよ。
CoWはよくわからんが。
https://wiki.archlinux.jp/index.php/XFS

RHELがbtrfs捨てたんだからbtrfsはもうダメって雰囲気から、未だにbtrfs採用しないとかRHELは遅れてんなみたいな雰囲気にまで変わったのは何気にすげーわ

RHELというかRed Hatには早くファイルシステムレベルの透過圧縮を実現して欲しい。
アプリ側で圧縮展開なんて面倒すぎてやってられん。。

>>550
どのオペレーションの事言ってるの？
圧縮するとパフォーマンスに影響あるから、理解して使わないとダメだと思うのだけど。

確かに適用先は気をつける必要があるね。
自分の場合はサービスアプリの大量のJSONログ。zstdならAWS EBS節約にかなり効果ある。
通常のOS領域でも、lz4ならパフォーマンス上がるという報告もあるし。

Redhatはbtrfs捨てた代わりにstratisとかいうの開発してただろう
使ってる人いるのか知らんけど

ここからのリンクでRAID5,6 でbtrfsは、まだ問題抱えている気はする。
パーソナルユースでRAID5,6 使う人は多くないから問題ないのかな。
https://btrfs.wiki.kernel.org/index.php/Using_Btrfs_with_Multiple_Devices

CoW はDBのファイルシステムに向かないという話もあったと思う。
そんな事を気にし始めるとext4いいね、って一周するんだけど。

直っているねかも
Btrfs RAID 5/6 Sub-Page Support Readied For Linux 5.19
https://www.phoronix.com/news/Btrfs-RAID5-RAID6-Subpage

RHはxfsに梶切っていた認識。
btrfsは開発facebookメインで圧縮もfb自身が実環境で使ってる記事あった気がする。
世界最大級のサービスで使われてるのは強みかな。

>>554
これってデータベースが更新頻度の高い巨大なバイナリだからって意味だよね？
cowの利点は活かせないけど特段デメリットも無い気がする EXT 4に比べるとパフォーマンスが落ちるぐらいかな

RHはxfsに舵を切ったんじゃなくてファイルシステムからは撤退でしょ
EMCやNetAppと違って利益に直結しないbtrfsにお金かけられないよ

btrfsはファイル毎にCoW切れるからDBも行けるよ。まぁ本気でやるなら専用パーティション切れってのは確かだけど

レッドハットはXFSに行ったけどfedoraはbtrfsなんだよな？

デスクトップだけね
fedoraサーバーはbtrfsではなかったはず

Fedora Server で btrfs インストール時に選べるよ。
ただ LVM との組み合わせではリストに出てこないから、利用できないと思われているかも。

RedHatは社内にBtrfs詳しい人がいないから採用予定はないってさ
ここで言う詳しいは客からのバグ報告を基にBtrfs側に修正パッチ投げられるレベルの話ね

それでいうと、RedHatはじゃぁ、「サポート」しているパッケージ、ソフトウェアは全部、その「詳しい」人が社内にいるのか・・・と思ってしまうのだが、そうなのか？
まぁあれだけのサポート料とるからには、そうなのかもだが。

>>564
結構のカバー率でいるよ
XはカバーしきれないからWayland作ったし
PulseAudioも外から触れないからPipeWireを作った
RedHatはサポート出来ないなら代替プロジェクトを自前で立ち上げるくらい本気でやってる

そんな話を聞くと Red Hat 好きになってしまうじゃないか。

dockerの代替も作ってたな

Podmanか。アイコンがかわいい。

PodmanってRHなのか。ひょっとしてkubernetesと相性良かったり他に無い連携機能あったりするのかな

>>565
pulseaudio外から触れないってどういう意味？

Podmanはkubernetesと直接の関係はないけど、buildahがOpenShiftと関係ある。
OpenShiftのコンテナのサポートはbuildahやDeploymentConfigなどのRH製で作ったもの以外は断られる場合がある、となってたはず。
実際は柔軟だと思うけど。

外部のボランティアが動かないせいで苦情を放置する訳にもいかないからね
特に複数ソフトウェアの相性によるバグは相手のせいにし合って永久に解決しないから
両方RHで管理してしまうのが一番手っ取り早い

dockerが将来性や互換性や内部のゴタゴタで揉めてたころ、redhatがコンテナ実行環境を掻っ攫おうとしたけどdockerがなんか復活して失敗したプロジェクトだろpodman

それにしても最近のBtrfsの安定感は凄い。
Fedoraユーザーだから透過圧縮を有効にして数年使っているけど
全く不具合発生しなかった。
コミュニティでも不具合報告がないしデスクトップ用途なら実用レベルに達した気がする。

https://btrfs.wiki.kernel.org/index.php/Status
使える機能と不完全な機能ははっきりしているよ。

カーネル4.xx時代には普通に使ってぶっ壊れた経験がある

RAID5と6だけは一向に進まんな。まぁ、使わないけど……

mostly OK: safe for general use, there are some known problems that do not affect majority of users
これとか、英語オモシロって読んだけど。

ZFSにLinuxとFreeBSDの独立したデータセットをつくってマルチブートしてるんだが
Linux使用後にFreeBSDを使うには一旦FBSDインストールメディアでimportする必要がある
この手間さえ無ければZFSになんの不満も無いんだよなあ

あとZFSはストレージプールからのデバイスの削除ができない。デバイスを誤って追加した場合でも、削除はできない。
btrfsは一応削除できる。削除しようとしているデバイス上のデータを他のデバイスに移動させる時間がかかるけど。

デバイスの削除ってあまり使われない機能なん？

単純なストライピング(RAID0)の場合なら zfs remove でできるけど

正確には zpool remove ストレージプール ブロックデバイス

ZFSで、別のマシンで同じpool名で使ってたディスクを同じマシンに付けた場合、どうやってimportするんでしょうか？

ちょっと質問文が紛らわしいので私なりに整理

マシン1にてtankというpool名でimportしていたZFSパーティション or ZFSアレイがあるとする
↓
マシン1をshutdownし、プールtankとして使用しているストレージをマシン2へ接続する
↓
稼働しているマシン2にてプール名はそのままにtankをimportしたい

こういう事なら実施命令は簡単
# zpool import -f tank

説明不足ですみません。
disk1: マシン1で tank として使用中
disk2: マシン2で tank として使用中
の状態で、
disk2 をマシン2から取り外し、マシン1に取り付け、importする方法、の意図でした。
目的はdisk2のtankからのデータのサルベージです。

こちらは仮想ストレージで構成を再現したものです
現在の構成はおおよそこんな感じという事ですかな
tps://i.imgur.com/lqqmoNP.png

ブロックデバイスの状態・予定サルベージ先ストレージ等不明かつ当方に時間の余裕が無い為
申し訳ございませんが実際のサルベージ手順は他の方のご回答をお待ち下さい

あ、違うな
マシンが２つあってzpool(非RAID)も２つあり、どちらもpool名がtankという事か
tank(disk2)の状態を提示し回答をお待ち下さいませ

状態の信憑性を高める為に、状態提示は端末エミュレータのスクショ貼りがおすすめです

ありがとうございます。
調べたところ、zpool import poolname newname でいけそうな感じでした。
仮想環境で試してみようと思います。

物理環境があってサルベージが目的なのに仮想環境で試すとはこれ如何に

物理には同じ名前のプールがあるから物理でやる前に試すってことじゃないかな？

やっぱzfsは駄目だな
時代はBtrfs

BtrfsからZFSに出戻ったわ
特にスナップショット使いが難くてダメだった

子データセット(Btrfsだとサブボリューム)がある時の一括バックアップの使い勝手は
ZFSに軍配があがるなー

https://mao.5ch.net/test/read.cgi/linux/1514882734/922
btrfs のパフォーマンスが6.1で上がるニュースを教えてくれた人がいる

いっつもパフォーマンス上がってるな

……と思ったら今回は割とガチ目の上がり方だな
https://i.imgur.com/ShnaJKy.png

Open ZFSの更新来てた(∩´▽｀)∩

zfsの実際のrecord sizeはいつ決まるのでしょうか？
ググった範囲では、record sizeは(dataset指定サイズの範囲で)動的に決まる、決まったあとは変更されない(再作成が必要)、と認識してます。
ファイル書き込みはwrite(2)やfwrite(3)で行われると思うのですが、全てのプログラムが大きなバッファを用意しているとは限らない気がしてます。
zfsにはwriteback用にtxgという領域があるようですが、非同期書き込みのreocrd sizeはtxgがflushされる際に決定されるのでしょうか？
(もしそうであれば、同期書き込みはfsync(2)時に決定？)

NTFSクラスタサイズを後から変更するにはどのような方法があります？
フリーで探し手いるのですが、minitool や aomei無料版は非対応のようで。り

XFS & F2FS Changes Are Tame For Linux 6.1
https://www.phoronix.com/news/Linux-6.1-XFS-F2FS

Linux 6.2 Aims To Ship Updated Zstd Implementation
https://www.phoronix.com/news/Linux-6.2-Newer-Zstd

Zstd with Btrfs transparent file-system compression performance the decompression speed was "a small win across the board" and at lower compression levels the compression speed and compression ratio were both better than the prior kernel code.

暗号化鍵ってみなさんどう読み込ませてますか？
手入力だと強さに限界や起動時コンソール前にいる必要があると思うのと、何より面倒。。
かといって同じマシンに置くと平文になると思うので。

システムパーティションは暗号化せずにおいといて、盗まれたら困るデータだけ別のパーティションにおいてそこは暗号化している
起動したらSSH（SSHのサーバー鍵は「盗まれたら困る」には当たらない）して手でパスフレーズ入れて復号化
手入力の場合の強さの限界は、ストレッチングで多少は緩和される。

BitTorrent File System (BTFS)
https://www.bittorrent.com/token/bittorrent-file-system/

なんだこれは・・・たまげたなあ

これが本当の分散ファイルシステム

概念的には昔からあるが今のインターネットじゃいろんな部分の性能保証がないから実用性がね

赤帽エンジニアブログ
2022-12-01
XFSで使った以上に容量が減るナゾ

リンク貼れんかったので

ファイルシステム関連のドキュメントはBtrfsもxfsもOracle Linux のが親切だな。
https://docs.oracle.com/en/operating-systems/oracle-linux/9/

Oracleは宗教上の理由でちょっと……

https://www.phoronix.com/news/Linux-6.2-Btrfs-EXT4
6.2からbtrfs raid5の信頼性が上がるらしい

zstdもアップデートされて高速化されるみたいだし6.2は重要なアップデートになるな

exfatも6.2で速くなるみたいだな

6.1 が重要そうで、Debian のコードフリーズに間に合って喜んでいたんだけど...
カーネルだけならアップデートしてもほとんど失敗しないし、別にいいんだけど。

昔はshutdown -rFでfsck走ったけどbtrfsは気にしなくていいの？
VMシャットダウンした時とかに気になって。

shutdownコマンドは古くて問題があったので廃止されてる
systemctlを使おう

使ってるのだが...

今は大抵shutdownとかもsystemctlへのリンクになってるやろ

ホントだ
shutdownとして呼ばれると適切に読み替えてくれるんかな?
# shutdown -r now
# shutdown -h now

普通にpoweroffかrebootが1語で済んで簡単で良い

ファイル名の長さ制限なんとかならん?

前は制限あったけど、今もあるっけ？

ファイルのダウンロード中にLinuxのext4ファイルシステムが突然クラッシュしてOSが動かなくなった。
保存先のディレクトリのファイルがすべて操作不能、削除不可能状態になった。
物理的な衝撃とかもまったくなく、突如として起こったトラブル。

再起動したらLinuxはうまく立ち上がらず、セーフモードに。
けっきょく再インストールするハメになったが、インストールに失敗する。
いろんなディストリを試したが、どのディストリでもインストール中にエラーが出て止まる。
インストールメディアの破損もなければ、HDDの破損もない。
DVDドライブも普通に焼くことができるのに。

こんなことがあるんだね。安定しているファイルシステムはなんだろうか。

>>621
無制限なのはパス名の長さで、ファイル名はほとんどのファイルシステムで長さに制限があるはず

>>624
>>622
安価ミス

>>623

> こんなことがあるんだね。

ビジネスだと物珍しいレベルではないかな。
最近は出荷前検査の精度が上がってて初期不良減ってるから物珍しいレベルになりつつあるけど。

症状的には CPU/マザボ 故障が疑わしい。 その次はメモリ。
ドライブもファイルシステムも無罪だと思うわ。

つうか、ext4 ってまともなメンテナ居るのか？
ドライブ故障のトレンドに追随できてないファイルシステムは使うべきではないよ。

>>623
ZFSならsnapshotからロールバックで戻せるんじゃない？