ファイルシステム総合スレ その21

● 前スレ
ファイルシステム総合スレ その19
https://mao.5ch.net/test/read.cgi/linux/1592027147/l50
ファイルシステム総合スレ その20
https://mao.5ch.net/test/read.cgi/linux/1722312892/l50

● 関連スレ
ジャーナリングファイルシステム
https://mevius.5ch.net/test/read.cgi/unix/979408065/l50

OpenSolaris/Illumos (OpenIndiana, etc.) 6
https://mevius.5ch.net/test/read.cgi/unix/1337411922/l50

FS関連スレ
https://medaka.5ch.net/test/read.cgi/os/1137387538/l50
過去スレ, 関連リンクは >>2-10 あたりで.

最近btrfs導入してHDDがCMRかSMRかを気にするようになった
SMRだと十数秒固まることがまちまちある

それhdd休んでるんじゃね？

7200回転のHDD使ってないだけちゃうか？
5000回転と比べて3倍位速くなったぞ

>>255
え！回転数でそんなに変わるの？

>>256
完全フォーマットの時間が
7200で8h
5000が24h
位違った
サイズは8Tだったかな
メーカも違うが..

仕組みが全く分かってないんだが3倍ってどこから出るんだろうね

7200.0 / 5000 = 1.44
1.44 x 1.44 = 2.0736 おお! 割合を2乗すると2倍になるのか...

うーん
誰かおせーて

キャッシュじゃないの

"Linux HDD SMR 運用" でググったら AI さんが

絶対避けるべき運用 → OS インスト/DB/VM/P2P/RAID
ファイルシステム → EXT4=無難, XFS=悪くないが特化した設定が必要,
Btrfs/ZFS=CoW方式なので断片化が激しく起こり速度急落

とのこと

あとSMRタイプのHDDはSSDみたいにTrimが必要なんだけど
機種によってはTrimの機能実装がなくて
んでTrim機能が無い場合アクセスしたタイミングでガベージコレクトが
発動してストール発生、とかなんとからしい

3倍なのは古い5400rpmのHDDで断片化が進んでいた+Trim機能なし
だった可能性があるな

SMR ダメすぎて 10TB ぐらいより上のモデル以降では各ベンダー CMS に戻してるんだよな
あきらめて新しいHDD買いなよ
なおまだ店にはSMRが並んでいる模様

>>260
両方新品やね
最初は完全フォーマット教なので必ず全域舐めてから使うんよ
なぜ3倍も差が出たのかはわからん

OMV（Debian）にMDRAID5+VDO+xfsを入れようと苦戦中。

①OMV GUI：raid5ボリュームmd0作成
②ssh：物理ボリューム作成
③ssh：ボリュームグループ作成
④ssh：VDOモジュール作成
⑤OMV GUI：xfsファイルシステム作成
→lsblkでmd0下にVDOの階層構造を確認

ここで再起動してlsblkするとmd0以下のエントリがすべて消え、md0だけになるw

ぬわぜた？

あうあうあー
うちの数年前に買った6TBもなんか書き込み時にアクセスLED付きっぱで
処理が帰って来ない事あるなと思ってたが、よくよく型番確認したら
SMRだった
なるほどだから容量の割に安かったのか

ちなみにファイルシステムはext4だけど、btrfsとかにしてたらもっと
悲惨な事になってたんね…

>>263
RHEL5 の頃に LVM だったか Soft RAID だったか、そういうのなしで
OSインストールした環境に LVM?/Soft RAID 作って同じような症状でたことあるわ
その時の対策は initramfs 再作成だったよ

>>265
ありがとう。昨晩RAID5作ってリシンク終わるまで放置してるので、今晩試してみます。

>>264
btrfsはチェックサムがあるんでどっちがマシかはわからんよ
もちろん検出できるだけマシという考え方も、データが壊れたら終わりには変わらないので書き込みの絶対量が少ないext4がマシという考え方もどちらもあり

ところでフラッシュメモリいたわり用に作られたものの他の媒体でもそれなりに効果発揮することが知られてるf2fsさんはどうだろうね

Ext4っていまだにbit rot対策無いじゃんヤダー

>>263 です。
なんとかうまく行きました。まとめ終わったら報告します

>>268
SDカードにインストールしたLinuxで使ってるけど他のfsより確実に破損しにくい
まあ中華ノーブランドのゴミみたいなやつだからそれでもたまに壊れるんだけど

OMV8（Debian13）でraid5+VDO+xfsに失敗した原因
→OS起動時にVDOカーネルモジュール読み込み（dm-vdo：kvdoはもう使われていない）や LVM のスキャンが間に合わず、マウントエラーでシステムが停止する。
これを防ぐため/etc/modules、/etc/initramfs-tools/modulesにdm-vdoモジュールを追加し、正しい起動順序を /etc/fstabに追記しないとダメ
#以下手順　
# パッケージのインストール
sudo apt update
sudo apt install mdadm lvm2 vdo xfsprogs
①raid5作成
mdadm --create --verbose /dev/md0 --level=5 --raid-devices=n（nは対象hddの台数） /dev/sda /dev/sdb /dev/sdc
#mdadm.conf更新
sudo mdadm --detail --scan | sudo tee -a /etc/mdadm/mdadm.conf
②物理ボリューム、ボリュームグループ、論理ボリューム作成
pvcreate /dev/md0
vgcreate vg_storage /dev/md0
lvcreate --type vdo -l 100%FREE -n lv_vdo vg_strage
③xfsファイルシステム作成
mkfs.xfs -f /dev/vg_storage/lv_vdo
mkdir -p /srv/storage（マウント先ディレクトリ）
④起動時にdm-vdoを自動でロードするように設定
sudo modprobe dm-vdo
echo "dm-vdo" | sudo tee -a /etc/modules
⑤initramfsへdm-vdoモジュールを追加
echo "dm-vdo" | sudo tee -a /etc/initramfs-tools/modules
設定を反映させるために initramfs を更新
sudo update-initramfs -u -k all
⑥ /etc/fstabに以下を追記
/dev/vg_storage/lv_vdo /srv/storage xfs defaults,x-systemd.requires=vdo.service,_netdev,noatime 0 2
⑦論理ボリュームの自動マウント
mount -a

>>272
vdo.service って結構前(kvdo廃止時？)に無くなったみたいなんだが...

そもそもローカルディスクのファイルシステムなのに _netdev オプションとか
存在しないサービスの依存関係で解決っておかしい

debian では update-initramfs を dracut ベースのラッパースクリプトにする
プロジェクトが進んでいるらしいが、それってつまり update-initramfs が
もうまともにメンテできない状態になってるって事じゃないかな

update-initramfs が作る initramfs では vdo のカーネルイメージのロードと
lvm の初期化の実行タイミングが正確に記述できていない懸念があるわ

>> 273
コミュはvdoをlvmに統合しようとしてるけど、Debian13を指定してAI検索してもdm-vdoではなくvdoコマンドやkvdoを使った解決方法や、initramfsの記載のない結果が普通に出てくる。
まだ導入数が少ないのかな。

メモリ使用量もOMV込みで6GGB前後で、zfsの惨状を考えると素晴らしい。読み出しにも解凍のタイムラグを全く感じない。

でも構築の面倒臭さを考えると、重複排除に目をつぶり、BTRFSのraid5+zstd:3圧縮も捨てがたいかな。

xfs＋LVM運用で何か問題あるか？

>>275
rsyncでlvm-vdoのOMV（Ryzen3700x 64GB、CMR HDD2TB x8）に1.3TBのデータをコピー。ネットワークは2.5Gbit（iperf3で280MB/s出る）

でもコピー速度は70GB/時しか出ない。
CPUの使用率がほぼゼロなので、重複排除でHDDの処理待ちが多発してほぼ止まってる状態だと思う。

マザボがx370 taichiで m.2スロットにnvmeを挿してもSATAが排他にならない。1GBのCrucialのnvmeを追加して書き込みキャッシュにする。予定。

書き込みキャッシュにbcacheを使う説と、lvmのdm-cacheを使う説があり、まだまだ悩ましい（汗）

他にもチューニング項目が多く、泣いてます。

チップセット的にサーバー用機器で組んでないようだから多分ストレージコントローラか
ネットワークコントローラが発熱か電力不足でしょっちゅうオーバーヒートで低速化
もしくはコントローラレベルでリブートしてるとかじゃないか？

それ以外にも途中のハブや対向の機器の熱とかも可能性があるが

一旦HDDx2でやり直した方が良いと思う

そうじゃなければ中小企業向けのストレージ製品検討するべきといいたいところだが
騒音と排熱で家庭で導入はお勧めできない

>>276 です
1GBのnvme ssd上で圧縮と重複排除を行い、/dev/md0に書き込むように設定しました。課題だった転送速度も5倍～6倍出ています。
電源断でvg/lvをマウントできない原因は
/etc/lvm/lvm-confのevent_activation = 0にしていたためです。デフォルトは1なのでいじらなければとっくに成功してましたw

>>278
1GB? 1TB ではなく？ それとも 1GB のパーティション切ってキャッシュにしている？

>>279
1TB（931GB）てす。すんません。
①md0とnvmeにpv作成
②2つのpvを含んだvg作成
③nvmeに900GのWriteBack vdo作成（option多数）
④md0にlv作成
⑤③を④に適用する
⑥⑤をxfsでフォーマット
⑦OMV8のGUIでマウント
コピー速度はHDDに作ったvdoの約5倍、3700x （8コア16スレッド）でCPU使用率は5～9%程度です。

転送書込速度は 100MB/s ぐらい？
rsync を４並列ぐらいで実行すれば iperf の値までは上がりそうな気はする

>>281
watch+duで書込み先の容量を眺めると、rsyncのコピー速度は60～200MB/sでバラつきますが、平均で100MB/s以上は出ています。（HDDのみで構成したvdoは20MB/s）
データは写真や動画、音楽、ISOなど圧縮しにくいものばかりですが、vdostats ---huでの圧縮率は16%です。
Crucial CT1000P3PSSD8が220TBWなので、何年使えるか相当危ういのがw

nvmeをraid1にしました。
22.4GB 13,371file のコピー結果（iperf3 281MB/sec）
btrfs raid5 zstd:3：135sec 166MB/sec
raid5 nvme-vdo xfs：90sec 248MB/sec
メモリ使用量：4GB前後
CPU使用率：4～8%
速度的には使い物になりそうです。
コピー先のフォルダをリネームしてもう一度コピーしたら、ひとつのファイルもコピーされませんでした。重複排除すげえw

rsyncよりfpsyncを使ったほうが良いと思うの

fpsync→rsyncのラッパーどすか。
チェックしてみます。ありが㌧

nvme-vdoの次にborgbackupのテストを開始しました。明らかにスレチなので、希望があればレポします。