ファイルシステム総合スレ その19

● 前スレ
ファイルシステム総合スレ その18
https://mao.5ch.net/test/read.cgi/linux/1514472651/l50

● 関連スレ
ジャーナリングファイルシステム
https://mevius.5ch.net/test/read.cgi/unix/979408065/l50

OpenSolaris/Illumos (OpenIndiana, etc.) 6
https://mevius.5ch.net/test/read.cgi/unix/1337411922/l50

FS関連スレ
https://medaka.5ch.net/test/read.cgi/os/1137387538/l50
過去スレ, 関連リンクは >>2-10 あたりで.

>>744
Hackintoshで使ってるOpenZFS for macos2.1.6
一種のゲーム的な面白さがあるのよ　

このフォルダはほぼ開かないから
圧縮設定強めにzstandard で高圧縮してコピーだとか
このデータベースだけSSDに多く食わせようとか　

xp時代のHDD先頭パテ切ってキャッシュにしたりするような
あれの延長上的な攻略的なゲームに
macOSの整理整頓軽の面白さが混じってて面白い
Spotlight面白すぎる

special vdevでメタデータとSmall BlockをべつSSDにする方法はないのか

返答の御礼も書かなかったバチが当たったようです


メインでWindows機を使っていて、USBケースで海門6TB(NTFS)使っていました。
1週間ほど放置したらノートPCの電池が切れてNTFSが飛び、chkdsk /f /rも無駄に。

無礼な行為、申し訳ございませんでした。

ええんやで

今時のファイルシステムって停電ぐらいで壊れる？

停電に見せかけたHDDの障害かもしれんんやで。
同じロットのHDD積んでいるんだろうな、と思われるものでマシンのが同時期に壊れるとか。

ある時からぶっ壊れ状態となったが電源を切るまでは動き続け、
電源を切ったら再始動できなくなるというのはHDDの障害としてはありがち。

大分昔の職場で大型連休の度に全PCの電源を落としていたが
連休明けとかに何回か再起動を繰り返さないと立ち上がらないHP-UXが近くの部署にあった
開発な癖にそんな危なっかしい機体を放置してる部署もどうかとは思ってはいたがそれはともかく
一回スピンアップに成功すると正常に使えるように見えるって奴とかな

回転系の家電を叩くと治るというのもこれ

フリーソフトで、mp3の音楽ファイルが5つくらい復旧しました。
wmvファイルは、何故か全てが「信長の野望　戦国群雄伝 for Windows」からリッピングしたwmaファイルの断片群に化けていました…

chkdskなんて掛けないでUbuntuか何かのLive USBメモリで起動してマウントすべきだったのかも

バックアップ取ってから操作しようね

>>757
最後が違う。「マウント」しないのが正解。まず、OSを起動する前にBIOS/UEFIで問題のHDDが
表示されていれば認識しているので、Linuxを起動し、"/dev/sdX"とdevice fileとしてのみ
認識している(umountされた)状態で、以下の2つの方法を取ると、file復活の可能性が高まる。

・TestDisk (NTFSのMFT修復等のHDDの整合性修復。案外これで直ることも多い)
・GNU ddrescue (HDDの起動音から瀕死に近い場合。patition imageを別のdeviceに作成、
このimageをmountしてfile抽出を行う。物理破損がないHDDに多くの業者が取る方法がこれ)

ワイでもできそう

突然の電源断に対してはchkdskはそこまでおかしい選択肢ではない
一方でWindowsのコマンドラインのchkdskは、最近はほぼ放置状態（MSが改良を試みていない）という説もある

>>753が指摘しているように、本当に「突然の電源断」なのかっていうところもある
普通はノートPCはバッテリーが切れそうになったら休止状態とかに入るものじゃないのか
なのにHDD破損に至ってるのは、最初にHDDが故障して、OSも停止してスリープや休止に入れなくなり、バッテリーを使い果たしたのではないか？

chkdsk /f /r
の実行自体がダメだったのでしょうか
実行前にddrescue実行必須？？

>>761
OSはm.2 SSDに入っていて、今も問題なく起動できています。
SEAGATE ST6000DM003をケースに入れてUSB接続したまま放置したらNTFSが死んでいて、Windows 11のディスク管理画面ではrawという認識となっていました。

>>762
マウントすると I/O Error 起こすセクタに当たった時にそこを読もうとして
延々エラーを繰り返すので I/O Error を読み飛ばす系の dd (ddrescue とか)
や chkdsk/fsck かが必要。

ddrescue は操作している間にディスクが完全にお亡くなりになるリスクへの対策。

今回の場合ディスクが完全お亡くなりになってない(ファイルが５個サルベージ
できた)ので ddrescue してもしなくても同じだった可能性が高い。

なので chkdsk は判断としては正解だった(chkdsk の前の段階で手の施しようが
なかったんだ)と思う(個人の感想です)。

単なる不意の電源断がその場であって
ダーティフラグ立ってるだけと確証があるなら
chkdskかける判断はおかしくないけど
大原則として論理的な障害ではなく物理障害が
少しでも疑わしいと思えたらその時点で
そのハードウェアに触れるのは
必要最低限に留めてかつ迅速に行うべきで
理想的にはddrescueなりで出来るだけ完全(に近い)複製を安全な場所に取ってから
そのイメージやらファイルやらだけを相手に作業をすべき

壊れたハードウェアの上でパーティション情報やファイルシステムの論理的なチェックや修正をかけても
まずその操作で余計に状況を悪化させてトドメ刺すだけだから少しでも疑わしければ安易にやっちゃいかん

ttps://wiki.archlinux.jp/index.php/%E3%83%95%E3%82%A1%E3%82%A4%E3%83%AB%E3%83%AA%E3%82%AB%E3%83%90%E3%83%AA

そこまでする価値のあるデータならそうするが、大抵の場合は本人が主張するほどに大事なデータではないんだよなぁという感慨しかない

今日は私の宝物をご紹介しましょう。将棋の駒。何の変哲もないように見えますけど実はここに血痕が付いてるんです。

>>766
そもそも壊れたストレージごとき相手に
奮闘してまでサルベージしないといけない時点で普段から予算も手間も割いてないのは明らかだからな
そこまで必死になるほど真に大事ならバックアップコピーでもRAIDミラーリングでも
なんでもいいから冗長化していて然るべきなわけでさ

btrfs、破損とかは今のところ無いが
謎のフリーズの問題やディスク書き込み量の増加に悩まされた
ZFSに変えようかな

フリーズはまあ分かるけど書き込み増加はなんだ？

RedHatが匙を投げたファイルシステムを使うんだからその辺りは覚悟すべき

>>770
cowじゃね？

>>772
CoWは逆に書き込み減るのでは

defrag じゃね？

CoWで書込減るのってどんなケース？？

100MBのファイルをcpする場合
本来なら100MBの書き込みが発生するけれど
COWできれば共有で100MBの書き込みが省略されるので
本来の書き込み量に比べて実際の書き込み量は減るという意味なのでは

変更されるまで実際には書き込まない
スナップショット的な動作を想定してるなら
CoWには限らない

ext4でcpしたら普通に書き込むやろ

なるほど。そういえばreflinkオプションあったのを忘れてた。

btrfsはやっぱりなんかあるのかな。
突然あるディレクトリ配下だけが全部サイズ0になってアクセスできなくなった。
でも、rootだと普通にアクセスできたから、とりあえずは復旧できた。
なんか気持ちが悪いんよね。
圧縮とサブボリュームが便利で気に入っているんだけど。

マウントの設定が書き換わってそう

Btrfsを使うならカーネルは常に新しくしておかなきゃね
古いカーネルでフォーマットしたBtrfsは不具合があるとかなんとか

カーネルに変えた時古いカーネルでフォーマットしたものはどうすればいいの

そのまま使えばいいんじゃない？
新しいカーネルなら過去の問題は適宜検出してwarning出してくれると思うので。

そんな便利機能はないぞ
データを待避して再フォーマットするのが無難

RAID6やZFS Z2がブッ壊れたときみたいらな

Btrfsを使うなら
FedoraかUbuntuの非LTSかローリングリリース系のディストリのどれかを使いたいね
それ以外だとしたらカーネルだけ最新にするキメラしないと厳しい

カーネルの再構築ごときをキメラって…

極端に古いカーネルじゃなきゃなんともねぇぜ

Ubuntuなら新しいカーネル使えなかったっけ

Linux カーネルならどのディストリビューションでも簡単に最新にできるだろ。
バニラカーネルでコンパイルエラーになる事無い気がする。

Btrfsはカーネル上げてもいいけど戻すのはリスキーだから
公式で新しいカーネルを提供しているディストリのほうがいいよ

最近バニラカーネル触ってないから知らんけど、BuildPreReq情報は同梱ドキュメントに必ず書かれてたぜ
外す理由がないから、今もあるはず

>>792
aptならholdしておけば良い

sudo dnf exclude <パッケージ名>
でどうにか出来るみたい
arch系は知らん

btrfsの話ならディスク上の基本フォーマットは長らく変わってないし
カーネルバージョン間での非互換機能はあるけどそれも使うと個別に非互換検出ビットが立つから
古いボリューム相手でも(後から操作できる物なら)新機能は問題なく使えるし
もし新しいカーネルのみの機能を持つボリューム相手に
古いカーネルでマウントしようとしてもroのみあるいはマウント不可になるので安全

実際にzstd圧縮やspace_cache=v2が入る以前の4.4(ルーター)と6.3(PC)の間で
compress=lzo,space_cache=v1で双方にマウントしたり戻したりしてるけど何の問題もないよ

最近のTwitterで顕著だけど故意にフェイクニュース流してる奴結構いるよな
『騙されてやんの～』という◯ナ二―の一種なんかね

あとはオンボロSSDやSDカードでssdオプション有効にすると動作怪しくなるのと
ライトホール問題絡んでくるRAIDが怖いがそれらの点以外は便利なんだよなbtrfs
VMゲストしたときの性能についてはあきらめてLVM等使うかvirtiofsの今後に期待するって話で落ち着きそうだし

でもサブボリューム単位で透過圧縮やCoWの有無切り替えられないのは誰か何とかしてほしい
（ボリューム分けるって方法もあるが単一ボリュームで気軽にマルチデバイスできるのが本来の強みなのだし）

www.phoronix.com/news/XFS-Maintainer-Steps-Down

> XFS File-System Maintainer Stepping Down

XFSのメンテナが辞任

> Nowadays, people working on XFS seem to spend most of their time
> on distro kernel backports and dealing with AI-generated corner
> case bug reports that aren't user reports. Reviewing has become a
> nightmare...

AI生成のバグレポに延々対処する仕事か
まさに悪夢

疲れただけにも読めるけどAIが悪い？

AIがバグレポって何だろね
有意義なレポートじゃないなら選別AIで対抗だ

ランダムに変な負荷かけたり
1秒間に1000回マウントとアンマウントを繰り返したりするんだろう多分
時代はBtrfsなのにやってられんよな

スタックトレースで分類したら実質数個じゃないのかね

ファジングテストの事でしょ…と思ったが多少違うっぽいな
AIが生成しまくるコーナーケースのバグレポートに疲弊したって話っぽい
まぁXFSは赤帽の生命線なんだから問題起きても赤帽がなんとかしてくれるんじゃない？

修正パッチもAI生成出来るようになるまであと一歩

>>803
なんかJFSがいいよ、っという神の声が聞こえた気がした。
ext4 と比較して利点も欠点もないはずたが、Linux での採用例が少ないという大きな欠点。

ext4でいいがな

>>805
Linux Developers Eye Orphaning The JFS File-System

www.phoronix.com/news/Linux-Possible-Orphan-JFS

もう使ってる人いないしJFS捨てようみたいな話が出てる

マイナーなファイルシステムってマトモにメンテされてないし不具合あっても報告されないし使わないほうがいいよ

AIX, OS/2 では動いていて30年前はいいもの感もあったはず...

RHELで採用されてないということはメンテされていないということに等しい

FacebookってCentOSで動いてるらしいけどファイルシステムはbtrfsなんだよな

ext4もオワコンなのTT

>>810
そう考えるとRHは凄いんだな、と思いました。

Btrfsは事実上facebookがメンテしてるからね
自社でメンテしてるファイルシステムだから採用しやすい

>>812
オワコンというよりいい具合に枯れきった
ファイルシステムになった感じ
先進性より安定性が必要な用途でお呼びがかかる
老兵っぽいイメージ

SUSEもbtrfs使ってるぞ

もちろん頼もしいのが第一だが、
逆に言えば現メタ（だけじゃないが）の使用してるユースケースに沿わない使い方に関しては中々進歩しないのが弱点だと思う
RAID56が長い間ダメダメだったのやFS単品での暗号化や階層キャッシュが望めないのもDCでbtrfs使ってる処がそういう機能に興味もってないからだろうし

RAID5/6 でのバグは直ったのか？
家庭用では無い構成だから関係ないと思ってはいたけど。

治るもクソも根本的なライトホール問題があって、ディスク追加の扱いが悪い意味で柔軟なBtrfsは対処が難しいからメンテ側が乗り気じゃないって話じゃないかな
現状は最新カーネルかつメタデータのraid構成を別にすれば良いけど実績も脳死で使える安心感も皆無だし

とはいえ主流のハードウェアraidはデータ化けに弱いんだからチェックサム有りfsで安心して使えるraidがもっと一般化してほしいお気持ちもある

Btrfsのディスク構成の緩さは異常。なんでもかんでもストレージプールに合体できる

自分はbtrfs嫌いじゃないから不満はないがSSD最適化とか将来的なZonedStorage対応考えるとほかに選択肢なくなっていきそうなのは真剣にどうかと思う

ストレージプール使うと遅くならない？
5400rpm のHDDが悪いのかもしれんし、比較で測定もしてないけど。

bcachefs

HAMMERって広まらないな。

bcachefsの作者を毎月支援してたんだけど、Btrfsがすっかり良くなって支援止めちゃった

OSSって上位互換が登場すると一瞬で廃れるから辛いよね
VSCodeが登場してエディタ系が全滅しちゃったような事がいつでも起こり得る
有料製品みたいに価格で対抗することもできないし

bcachefsは機能的にはBtrfsと差別化できてると思うが
これからメインライン入りしてガンガン開発者集めて安定させないといけないのにlinux6.5マージ失敗のMLのレスバからして雲行き怪しいからどうなるやら

プロプラに言うのはアホだと分かってはいるが
それでもGPFSがフリーで使えたらなあって思う
あれクラスタリングがメインだから勘違いしてる人多いけど
CephやRustreと違ってローカル使いにも適してると思うんだよなあ
使ってるZFS全部捨ててGPFSに乗り換えたいと思うぐらいには

juicefsとか使ってみたら
現代技術の分散ファイルシステムって感じだ

GlusterFS面白いな。
簡単な手順で組める。
我が家のはストライピング構成だから怖いけどw

特殊なRAIDを組まない限りは全部Btrfsで成立する時代になった

Redhatがまたbtrfsに戻ってくるってある？

Fedoraでbtrfs使ってるしRHEL10のデフォルトに採用しても驚かない

顧客の要望があれば導入するでしょ
RHELにとっての一番の顧客ってどこなのか知らんが

RHELも将来的にはcow/cor対応のFS導入するだろうけど
自前の製品群がXFSに特化してそうだから簡単には変えられないだろうしまずはGPLの取り扱いの件何とかすべきだろうなあ

今の Red Hat は Spectrum Scale (GPFS) 販売している IBM が上にいるから
フリーのファイルシステムに積極的には投資はしないでしょ。
メンテに金のかかる多機能なFSじゃなくてXFSを細々とメンテするだけじゃないかな。

IBMがJFS押し付けてきたりして

Btrfsはパフォーマンスがちょっとね。
現状BtrfsはZFSにもボロ負けだからな。
Linux6.5でどの程度改善されるか。
あと、暗号化機能がずっと先送りされたまま。

暗号化は導入するだけでなく高度なセキュリティ検証が必要だからハードルは高いよ
ZFSの暗号化は第三者機関でセキュリティ検証してるのかな

GFS入れたけど遅いw
設定は簡単だからVM置き場ではなく普通のストレージにしたよ。
やっぱ専用機が一番だな。

一口に暗号化っつーてもh/w込みなのかデバイス単位なのかボリューム単位なのかで勝手違うからこういうのは特定の製品持ってる企業がガンガン進めないときついところある
しかし今時ノートpcみたいな要件だと流石に外せない要素になりつつあるからぼくのかんがえたさいきょうのソリューションが欲しいんだよ

暗号化LVM使えば暗号化自体は可能だし
セキュリティ関係で厳密なテストが必要な重い作業の割には
新規に何かを実現できるわけでもないから優先順位は低いでしょう

一度導入したら最後、脆弱性がでるたびに最優先で修正が必要になるし

ZFS mirror、SATAケーブルの差し込み不良でエラー出たけどちゃんと一基で動作して再起動も無停止。
ケーブル直したら変更分だけresilverしてすぐ復旧。今更だけど感動。

ReiserFS Officially Declared "Obsolete"

www.phoronix.com/news/ReiserFS-Obsolete

R.I.P.

再インストールの機会があったのでここ見てcompress-force=zstd:1にしてみた
だいたい良好だけども、m属性やproperty set compression noneも無視して圧縮するかどうかはzstdの判断のみなんだな

bcachefsメインライン入り諦めたっぽい？
作者も開発リソース不足や取り巻きの礼賛で冷静さ失ってそうだし、10年とは言わず数年後くらいに平穏な形で再チャレンジ出来るといいなぁ

TPM-backed Full Disk Encryption is coming to Ubuntu

https://ubuntu.com/blog/tpm-backed-full-disk-encryption-is-coming-to-ubuntu

UbuntuがWindowsのbitlockerみたいなTPM使ったディスク暗号化やるみたい