RAID総合スレッド No.5

Linuxでも標準でソフトウェアRAIDが可能となってきました。
マターリとLinuxのRAIDやその周辺技術、設定等について情報交換しましょう

スレ 1 http://pc5.2ch.net/test/read.cgi/linux/1013875908/
スレ 2 http://pc10.2ch.net/test/read.cgi/linux/1111348512/
スレ 3 http://pc11.2ch.net/test/read.cgi/linux/1168487758/
スレ 4 http://pc11.2ch.net/test/read.cgi/linux/1208263754/

Linux RAID 一般
ttp://linas.org/linux/raid.html
ttp://www.linux.or.jp/JF/JFdocs/The-Software-RAID-HOWTO.html
ttp://linas.org/linux/Software-RAID/Software-RAID.html
Adaptec Japan
ttp://www.adaptec.com/ja-JP/_common/os_support/linux/

Linux EVMS 一般
ttp://evms.sourceforge.net/

Adaptec Japanのアドレス修正。EVMSに関するIBMのサイトが404で見つからないので削除。
... あと続けてくらさい。

自作板にはすでにRAIDカードのスレがあるよ。

RAIDカードあれこれ 43枚目
ttp://hibari.2ch.net/test/read.cgi/jisaku/1303039530/

総合スレなんだから総合らしくやればいいだけのこと

ハードウエアRAIDでアレイ構築してるのにlinux板のRAIDスレで何聞くんだろ？

ドライバ関係とかツールのインストール関係とか
Linux依存の話はいろいろあると思うが

次スレ談議は950あたりでやればいいよ。

>>434-436
異方式での互換？「藁人形論法」なんて幼稚な事しなさんな。

ソフトウェアRAID込みでRAID共通化の提言は確かインテル主導で
（アンド、mdadmの人も入ってる）だいぶ前からあるはずだけど、
はたしてまとまるのかねえ。

>>432
ではその事例を挙げるべし。教えてもらえると助かるよ。

>>445
dmraidがあるんだから、語ればいいと思う。

アホは放置の方向で

なんだ、反論できないからアホ呼ばわりかｗ

mdraidのsuperblockを修正するツールのraidzapについてなんだけど。
これって、superblock1.0にも対応してる？
先日、謎の瞬断で四本のディスクで構成していたraid5アレイが崩壊してしまい修復を図っているところなんだけど、ツールだとno superblockとかなってしまう。
でも、mdadm --exmineだとちゃんと表示されるんだよな〜。
1.0系と0.9系のsuperblockでは書き込まれている場所が違うからなんじゃないかと思っているんだけど。
ソースみても読み込み位置を指定する部分がよくわからない。。。

>>454
対応していない

0.9と1.xではsuperblockの構造体が違う
raidzapは0.9系の構造体使ってる

位置は末尾決め打ち

>>454
なるほど、ありがとう。

だが･･･困ったなぁ。。。
md.cに何かヒントないかな。

455へのレスだった･･･ごめんなす。

>>454
mdadm -A -l<level> dev dev...
とかやって無理やりassembleしてもだめだった?

>>458
--forceとかつけてやってみたんだけど、ダメだった。。。
# cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4]
md1 : inactive sdb1[1](S) sdd1[5](S) sda1[4](S) sdc1[2](S)
7813690476 blocks super 1.2

全部、なぜかスペア扱いwwww

ちょっと情報が少なかったので補足。
・もともと、sd[abcd]1でRAID5を構築していた。
・東京電力が謎の瞬断。
・ログを見ると、sdaとsddが外れていた。
・assembleかけてみたが、なぜかスペアで組み込まれてしまう。。。

ログを見ると、(ほとんど差は無いが)時間的にはsda、sddの順で外れていたので、
復旧の方向性としては、まずなんとかsddを組み込んで縮退状態での起動を
目指す…でいいよね？

RAID組んでるならUPSぐらい……

# 今まで日本は恵まれていたんだよ。これからは海外並みにUPSが当たり前。

>>460
-A sd[bcd]1が無理なら--createする時に縮退で組めば
resyncが発生せずにメタデータ上書きだけでデータ本体はそのまま残る。
--createするときはチャンクサイズとかレイアウトとかも要設定。
まずは仮想マシンで手順とか確認。

>>461
まぁ、それを言われちゃうと申し訳ないとしか言えないが…
計画停電もあったし、アキバで中古のUPS買おうとは思ってたんだけどなぁ。

>>462
createは最後にやってみようと思う。
おそらく、そこは失敗すると二度と戻れない手順ですよね。
もう少し、Faultyフラグを書き換える方法をいろいろ調べてみます。
ちなみにcreateする場合、自分の場合だと構成デバイスはsddだけにして、missing にsd[abc]入れる感じ？

>>463
各ボリュームがどこの位置にあったのかは-E /dev/ボリュームのDeviceRoleでわかる
Device Role : Active device 0
Array State : AAAA ('A' == active, '.' == missing)

createする時のdevicesは--detailのRaidDevice順になるからアレイから見て抜きたいところにmissing入れる
なので元々dev.No = sda.0/sdb.1/sdc.2/sdd.3
となっていてsddがDevice Role=3で新規アレイの3の位置に戻して-Cするなら
-C (中略) -l5 -n4 missing missing missing /dev/sdd
になる。dev.noは上のままと仮定して0抜きの1/2/3で縮退-Cでstartする場合のdevicesは
missing /dev/sdb /dev/sdc /dev/sdd
になる
失敗してもアレイのメタデータが飛ぶだけでLVM/PVに使っていてもそのメタデータが
破損する亊はないけどその状態で書くと多分死ぬ
各アレイの頭4096 sectorsずつくらいddでコピーして仮想マシンで試すとかいうのも手

>>464
まじですごい！！！
createで復活したよ！！！
いくら、礼を言っても足りないくらいだ。
最初、lvmがinactiveになっていてactivateする必要はあったけど、見事に復活しました。
mount直後にext4の自動修正が走ったので、多少はデータに欠損があったのかもしれないが、いまのところ壊れたファイルは無さそうです。

これは素晴らしいノウハウなので、復旧した流れををちょっと書き記します。
ちょっとログが流れてしまったので、一部記憶を頼りに書いています。

> 各ボリュームがどこの位置にあったのかは-E /dev/ボリュームのDeviceRoleでわかる
> Device Role : Active device 0
> Array State : AAAA ('A' == active, '.' == missing)
# mdadm -E /dev/sd[abcd]1 | grep Role
Device Role : Active device 0
Device Role : Active device 1
Device Role : Active device 2
Device Role : Active device 3

# mdadm -E /dev/sd[abcd]1 | grep State
Array State : AAA. ('A' == active, '.' == missing)
Array State : AAA. ('A' == active, '.' == missing)
Array State : AAA. ('A' == active, '.' == missing)
Array State : .AA. ('A' == active, '.' == missing)

> createする時のdevicesは--detailのRaidDevice順になるからアレイから見て抜きたいところにmissing入れる
# mdadm --detail /dev/md1
(中略)
Layout : left-symmetric
Chunk Size : 512K
(中略)
Number Major Minor RaidDevice State
4 8 1 0 failure
1 8 17 1 active sync /dev/sdb1
2 8 33 2 active sync /dev/sdc1
3 8 49 3 failure
5 ? ? ? spare /dev/sda1
6 ? ? ? spare /dev/sdd1

# mdadm -C /dev/md1 -c512 -l5 --layout=left-symmetric -n4 missing /dev/sdb1 /dev/sdc1 /dev/sdd1
以下、復活後の確認
# cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4]
md1 : active raid5 sdd1[3] sdc1[2] sdb1[1]
ちょっと怖いが、sdaも瞬断で外れただけで、壊れていないと判断してスペアに組み込んだ。
# mdadm --detail /dev/md1
Version : 1.2
Creation Time : Sun May 29 02:46:23 2011
Raid Level : raid5
Array Size : 5860267008 (5588.79 GiB 6000.91 GB)
Used Dev Size : 1953422336 (1862.93 GiB 2000.30 GB)
Raid Devices : 4
Total Devices : 4
Persistence : Superblock is persistent
Update Time : Sun May 29 03:29:10 2011
State : clean, degraded, recovering
Active Devices : 3
Working Devices : 4
Failed Devices : 0
Spare Devices : 1
Layout : left-symmetric
Chunk Size : 512K
Rebuild Status : 6% complete
Name : sa22c:1 (local to host sa22c)
UUID : edb063f2:f934a5bb:1bf36d16:54d746ca
Events : 7
Number Major Minor RaidDevice State
4 8 1 0 spare rebuilding /dev/sda1
1 8 17 1 active sync /dev/sdb1
2 8 33 2 active sync /dev/sdc1
3 8 49 3 active sync /dev/sdd1

それにしてもHDDは、まだ買ってから3〜4ヶ月のWD20EARSなのに外れなのかなぁ。。。
5本買って、1週間で1本ぶっ飛んで交換してもらったというのに。
とりあえず、sdaとsddの2本は心配なので早急に換装を検討します。

もう、WDは買わない。

あらためて、464には本当にお世話になりました。
有難うございました！

WD20EARS 5本を常用してる私が来ましたよ。
454さんのような復旧時にはresync必須だけど、その逆で。

create/assemble 時に state:clean にして sync を省くオプション。
--assume-clean

xfs@64bit がスタック問題で固まってた頃に多用しました。

こうやって問題が解決したときに結果を報告してくれる人ってのはすばらしいと思う

お疲れ様＆情報ありがとう。

https://raid.wiki.kernel.org/index.php/Initial_Array_Creation
そういやどっかのPerl MongerがRAID5構築時に無責任に--assume-clean勧めてたっけ

無責任艦長

タイラー！！！

RAID10のリビルドはRAID6と比べて早いのではと想像しているのですが、
この考えは正しいでしょうか?

全部同一の2TBディスクを使ってのLinuxソフトウェアRAIDですが、
・6本でRAID6
を、
・8本でRAID10
に変更した場合、容量がざっくりレベルで同じになってリビルドが早くなるなら
変更したいと考えています。
現状のRAID6だと故障からリビルド完了までに丸2日近くかかっています。
構成は、Pen4マザーにPCI-SATAカード4枚刺しにしてディスクを分散して
います。この構成を変えずにリビルド時間を短縮するのが目的です。
アドバイスお願いします。

補足ですが、データは全て別マシンにフルバックアップがあります。
変更といいつつアレイががっさり再構築になることは理解しています。

>>474
その「リビルド」とやらを、一体システムの何が律速してるのか調べろよ。

ちょっと考えるだけでも

・パリティ計算を行うCPU
・SATAコントローラがぶら下がるPCIバスの帯域幅
・SATAコントローラ自体の性能
・SATAの帯域幅
・ハードディスクの速度

あたりが律速する要因だろう、と見当はつくだろ。
CPUが律速してないのにRAIDの構成いじってもあまり意味は無いぞ。

あと、Linuxのmdアレイはリビルドだけでマシンパワーを使い切らないようにリミッターが
かかってるから、その辺もありうるな。

>>474
他にもボトルネックになっている可能性はあるけど、PCIバスが確実にボトルネックになるので
構成変えずに頑張っても大して効果はない。
ちなみにうちの2TBx5(RAID5)でのリビルドは、半日はかからなかったはず。

ちょっと質問です
>RAID5はRAIDボリュームクラッシュ時に手の打ちようがない
>RAID10の方がまだマシだからRAID10にしておいた方が良い
と言う話を聞いた事があるんだけど、RAIDボリュームクラッシュ時からの
回復率ってRAID5(RAID6,RAID-Z等含む)とRAID10で変わるのかな？

>>478
簡単に計算してみる。
RAID5は10台中2台以上破損で回復できない。
RAID10は10台中6台以上破損で回復できない。

>>479
A-A'
B-B'
C-C'
D-D'
E-E'

A-A'が同時に壊れる可能性もあるわけだ。
そう考えると簡単な計算すら難しくなりそう。
ちなみに、俺には計算出来ない。数学は高一で放棄したから

RAID6＋スペア2台で任意の4台までOKですよ(リビルト中に壊れない限り)
スペア2台は一台目死亡時点でで気づく様な仕組みにしておけよ、と思ってしまうけど

>>481
つauto rebuild

HDD4 RAID6 / Hot Spare 6

そうそう壊れないだろｗ

アレイのI/Fが2つ以上に分かれていて
そのうち1つのI/F死ぬとコロっといくかもな

それはどのRAIDでも言えること

初心者です。質問させて下さい。
HDD2台でRaid0を組んだ場合のバックアップの取り方なんですが、どのようにされていますか？
Raid対応のバックアップソフトが市販されてますが、やはりバックアップ用のHDDも2台必要なのでしょうか。
できれば費用を節約して１台に集約したいのですが。

・・・

>>486
1GB HDD×2のものを2GB×1にバックアップしたいって意味?


…じゃなさそうだな…

>>488
いえ、その通りです。
2台のHDDにストライピングしたデータを1台のHDDでバックアップしたいのです。

そんなの、十分な容量のバックアップ先にコピーでも何でも好きにすりゃいいんじゃない？
その容量なら、その辺で売ってる安いUSBメモリでも間に合うぜ？

>>490
それは単位間違いじゃないか。
そもそも、1GBうんぬんは質問者の >>486 が言っているわけじゃなく、>>488 のコメントだし。

>>486
このスレだと、RAID"0" はバックアップいらないデータの置き場所っていう感じあるからなぁ。
1台で容量足りないならバックアップ先も RAID 組むしか無い。
そもそも RAID0 でバックアップもとりたいなら RAID10 組むことが多い気がする。

ところで、ubuntu 道場で NAS の話が出ていて、
ttp://ascii.jp/elem/000/000/619/619406/index-4.html
RAID 組んだら定期的に dd of=/dev/null if=/dev/sda とかでデータなめておいた方が
いいとかあるんだけど、結構常識だったりする?
はじめて聞いたんだけど。

その理由を書いていないのでオカルト。
そもそもddでなくてもmdにアレイの整合性をチェックさせて
問題があればエラーを吐かせる為のメソッドがsysfsに用意されてるし

>>491

>>486で質問した者です。
十分な容量のHDDさえ用意できれば１台でバックアップ取れるのでしょうか？つまり、
ストライピングでHDD２台に分散させたデータを通常の形のデータ（Raid0構成でないシステムでも読めるデータ）に戻してHDD1台に保存できるのでしょうか？

いや普通にバックアップとればいいんじゃないの？
何悩んでるかしらんが

>>494
RAIDを実際に使ったことないの?

使えば分かるがRAIDってのは大雑把に言って
「複数のHDDを一つのHDDとして扱う技術」だ。
OSからはまとめて一つのHDDに見えてるんだから
扱いとしてはHDD 1対1のコピーと何も変わらんぞ。
むしろ構成してる物理HDD別々にバックアップをする方が大変。

>>495
>>496
まだ実際にRaidで組んだことがないもので・・。アホな質問で申し訳ありませんでした。
普通にできるんですね。
どうもありがとうございました。

RAIDに詳しい人が多いようなので質問します。
今、センチュリーのCRIB35EU3という外付ケースを利用してRAID5を組んでいるのですが
先日、バックアップをとろうと電源を入れ、アクセスしようとすると
フォーマットされていませんというメッセージが表示されるようになりました。
おそらく論理障害だと思いますが、簡単に直す方法などありますでしょうか?
※FINALDATAでは中身を見ることができました。ただいまバックアップをとっています。

板名音読しろ

OK牧場かYahoo痴恵袋行け

Ubuntu初心者板でも匙投げられたのでどうかご教授お願いします

【初心者スレ】Ubuntu Linux 67
http://hibari.2ch.net/test/read.cgi/linux/1311389692/351

> 恐れ入ります
> 私のマシンは少し構成が入り組んでいるのですが、Ubuntuをどのような手順で入れればいいでしょうか
> 特に4ポートのRAIDボードが邪魔をして、この間もWindowsXPとのデュアルブートを試みたのですが
> ブートドライブにインストールされないで、他のRAID1を破壊するだけの結果におわりました
> ご指導よろしくお願いします
>
> マザーボード：P7P55D-E
> メモリ：2Gbyte×2
>
> 現在オンボードはIDEモードでSATA→eSATA変換ブラケットで2台HDDが外付けになっている
> ただし、それらはブートドライブには使わない
>
> PCI及びPCI-exスロットの並び
> 1：HighPoint Rocket RAID 3120（それにHDD2台でRAID1）→ブートドライブ
> 2：玄人志向 GF210-LE512HD（ｎＶｉｄｉａグラフィックボード）
> 3：玄人志向GbE-PCIe（LANボード）
> 4：カノープスMTV1200FX（使用禁止にする予定）
> 5：空き（SATA→eSATA変換ブラケット×2にて2台ハードウェアRAIDを装着中）
> 6：CMI8738-4CHPCI（サウンドボード）
> 7：HighPoint Rocket RAID 2300（それにHDD4台でRAID1×2セット）→データドライブメインとバックアップ
>
> 音も鳴るのにどうしてこうなった…orz
>
厳密には3120がハードウェアRAIDボードで2300はソフトウェアRAIDボードなのにUbuntu板ではそう思っていないようです

そう思っていないとは、どう思っているのかがその文からは全然わからん

ブートに使うドライブだけ付けて OS をインストールして、
インストールが終わったら順番に付けろ。
そもそも OS インストールを助けるスレじゃねぇぞ。と。

>>501
> Ubuntu板ではそう思っていないようです
すでに手放して久しいんだが、RocketRAID(めんどくさいから以下RR)2300はHighPointのドライバ入れないと
「Marvell製コントローラを搭載したnon-RAIDなSATAアダプタ」として認識されるんじゃなかったかな？
今でもそうだったら、Ubuntuスレが正しい。

RR3120のアレイにインストールできないのはよく知らん。
HighPointのサイト見たら「Ubuntu 8.10以降ならカーネルにRR3120のドライバ入ってます」とかゆってるけど。

RAID童貞です。Windowsなんですけどここでいいですか？
いいとして質問します。もし他に適当なスレがあれば誘導してください。

現在データは全て外付けHDDに入れて、もう1台の外付けHDDにバックアップソフトで
定期的にミラーリングしています。
それだとちょっと面倒なのでRAID1でミラーリングしたいです。
ちなみにこれを使う予定です。
http://buffalo.jp/product/hdd/external/hd-wlu3_r1/

本文が長すぎると2chに怒られたので分割します。

続き

質問１
RAID1を構成した2台のHDDは、PCからは1台のHDDとして見えるとのことですが、
他のPCに繋いでも同じように動作するのでしょうか。

質問2
RAID1を構成した2台のどちらか一方または両方を、後でRAIDではなく普通の
外付けHDDとして読み書き削除したり、それを再度RAID化したりできるのでしょうか。

質問3
一方のHDDが壊れてももう一方が生きていればそのまま問題なく使えるのはいいのですが、
壊れたことはどうやって知るのでしょうか。

質問4
RAID1の2台のHDDをTrueCryptで暗号化した場合、ヘッダは2台共通でしょうか、別々でしょうか。
また、壊れた場合の復旧も含めて、暗号化しない場合と全てにおいてまったく同じように使えるのでしょうか。
それとも何か制限があるのでしょうか。


以上初歩的な質問で申し訳ありませんがよろしくお願いいたします。

Linux板で
>Windowsなんですけどここでいいですか？
とか、ネタなら笑いどころがわからないし、本気なら人生やり直しが必要

>>506
回答1-4
HDD買って自分で全て試してから質問しろ
まあがんばれ

(1)YES
(2)NO　(参考：ttp://www.touki.info/howto/howtoReadRAID1.html)
(3)外付けならBEEPが鳴ったり、付属ツールで知ります (HW RAID I/F の場合は、それら機能はカード側に有り)
(4)仮想ドライブの実態はファイルです(これで意味が分からなければ TrueCrypt は使わないほうが良いかな？)

>>509
ブロックデバイスそのものをTruecryptで暗号化できるぞ。その上でext3,4なりxfsなりでフォーマット可能

>>509
何か問題が生じたときに面倒そうですね。
やっぱり私にはRAIDは敷居が高そうなので、今まで通り、暗号化したHDD2台を
手動でちまちまミラーリングすることにします。
ありがとうございました。

手動バックアップできるならそのほうがいいよ。
操作ミスで消してしまってもバックアップから戻せるし。
RAIDだと両方同時に消えちゃうんだぜ。

highpoint RR2740で起こっている症状なんですが、おしえてください。
RAID5
windows7　ultimate64　2TBX4　アレイ3個で運用していたのですが
増設して3TBX4のアレイを追加したのですが
再起動するとアレイが消滅してlegacy　の表示になっていました。
2740のwindowsドライバをアップデートしたらアレイが消滅することはなくなったのですが
bios画面では相変わらずlegacyの単独ドライブが２個表示される異常な状態
でも、windows 上ではアレイが認識されて使用出来ます。
3TBはまだ完全に対応しきってない、ということなのでしょうか？

板違いだつってんだろクソが

>>513
1.ハードディスクを窓から投げ捨てる
2.RR2740を電子レンジで30秒ほどチンする
3.Linuxに入れ替えてからこのスレを再訪する

これで君を悩ます諸問題は解決だ。おめでとう。

ZFSで運用した場合、トランザクション管理されるため、
RAID 5書き込みホールの問題は起こらないという認識で間違いないですか？

Native ZFS for Linux
ってもう使ってる人多いのかな?

>>513　ですがぼーっとしてた　ごめん。

>>509
質問2はRAIDカードによるよね？

RAIDカードによらずともマウントする際に色々パラメータ弄ってやればマウントはどれも可能なはず

mdraidは最初は対応してなかったraid6に対応したみたいに、raidZ対応したりしないのかな
それだとext4であと5年は戦えるきがするんだ
resize2fs(resize4fs?)が16Tの壁乗り越えてくれればだけど

mdadmで構成したHDD4台のRAID5アレイでhdd側に障害が発生。
一時的に構成しているHDDが通電していない状態になったようなのですが、
瞬断と思い電源コネクタを付け直してサーバの再起動をしました。

すると/proc/mdstat上で構成しているHDD4台全てが
[S]が付いて全台スペアディスクになってしまっているようです。
おそらくこれが原因でmdadm.confに記入していても自動で起動できず inactive　の状態からアレイを起動できません。
強制的にアレイの起動をかけても、 no superblock assembly のエラーを吐いてしまう状態です。

スペアディスクの属性をクリアできればよいような気がするのですが、ここからの復旧方法についてアドバイスいただけないでしょうか。

詳細1

# cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10]
md126 : inactive sdh1[4](S) sdg1[2](S) sde1[1](S) sdb1[0](S)
7814049792 blocks super 1.2

md127 : active raid5 sdd1[3] sdc1[0] sdf1[1]
5860528128 blocks super 1.2 level 5, 512k chunk, algorithm 2 [3/3] [UUU]

unused devices: <none>

詳細2
# mdadm --examine /dev/sdb1
/dev/sdb1:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x0
Array UUID : 234703b1:5d4cfec5:95fc05bb:78160d2f
Name : ubuntu:0 (local to host ubuntu)
Creation Time : Sun Jul 24 23:50:32 2011
Raid Level : raid5
Raid Devices : 4

Avail Dev Size : 3907024896 (1863.01 GiB 2000.40 GB)
Array Size : 11721071616 (5589.04 GiB 6001.19 GB)
Used Dev Size : 3907023872 (1863.01 GiB 2000.40 GB)
Data Offset : 2048 sectors
Super Offset : 8 sectors
State : active
Device UUID : 8c8ddf45:f164c9ed:a130b98c:2d811627

Update Time : Sun Sep 4 23:10:41 2011
Checksum : fdf9230e - correct
Events : 83

Layout : left-symmetric
Chunk Size : 512K

Device Role : Active device 0
Array State : AAAA ('A' == active, '.' == missing)

詳細3
# mdadm --examine /dev/sde1
/dev/sde1:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x0
Array UUID : 234703b1:5d4cfec5:95fc05bb:78160d2f
Name : ubuntu:0 (local to host ubuntu)
Creation Time : Sun Jul 24 23:50:32 2011
Raid Level : raid5
Raid Devices : 4

Avail Dev Size : 3907024896 (1863.01 GiB 2000.40 GB)
Array Size : 11721071616 (5589.04 GiB 6001.19 GB)
Used Dev Size : 3907023872 (1863.01 GiB 2000.40 GB)
Data Offset : 2048 sectors
Super Offset : 8 sectors
State : active
Device UUID : 5198bcfd:a5d03642:14c34e0b:06a622d4

Update Time : Sun Sep 4 23:14:18 2011
Checksum : 35e6562b - correct
Events : 1234

Layout : left-symmetric
Chunk Size : 512K

Device Role : Active device 1
Array State : .AAA ('A' == active, '.' == missing)

詳細4
# mdadm --examine /dev/sdg1
/dev/sdg1:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x0
Array UUID : 234703b1:5d4cfec5:95fc05bb:78160d2f
Name : ubuntu:0 (local to host ubuntu)
Creation Time : Sun Jul 24 23:50:32 2011
Raid Level : raid5
Raid Devices : 4

Avail Dev Size : 3907024896 (1863.01 GiB 2000.40 GB)
Array Size : 11721071616 (5589.04 GiB 6001.19 GB)
Used Dev Size : 3907023872 (1863.01 GiB 2000.40 GB)
Data Offset : 2048 sectors
Super Offset : 8 sectors
State : active
Device UUID : 256bfd77:421f8083:95a02e33:19164d06

Update Time : Sun Sep 4 23:14:18 2011
Checksum : 4b7ac530 - correct
Events : 1234

Layout : left-symmetric
Chunk Size : 512K

Device Role : Active device 2
Array State : .AAA ('A' == active, '.' == missing)

詳細5
# mdadm --examine /dev/sdh1
/dev/sdh1:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x0
Array UUID : 234703b1:5d4cfec5:95fc05bb:78160d2f
Name : ubuntu:0 (local to host ubuntu)
Creation Time : Sun Jul 24 23:50:32 2011
Raid Level : raid5
Raid Devices : 4

Avail Dev Size : 3907024896 (1863.01 GiB 2000.40 GB)
Array Size : 11721071616 (5589.04 GiB 6001.19 GB)
Used Dev Size : 3907023872 (1863.01 GiB 2000.40 GB)
Data Offset : 2048 sectors
Super Offset : 8 sectors
State : active
Device UUID : e81fc343:3e114959:003c90b1:e8d210c6

Update Time : Sun Sep 4 23:14:18 2011
Checksum : 2b2ec42c - correct
Events : 1234

Layout : left-symmetric
Chunk Size : 512K

Device Role : Active device 3
Array State : .AAA ('A' == active, '.' == missing)

おそらくは/dev/sdb1のみが
Array State : AAAA ('A' == active, '.' == missing)
と成っていてHDD4台ともActiveと認識しているのに対し
残り3台は
Array State : .AAA ('A' == active, '.' == missing)
となっているあたりが原因のような気がしています。

ﾅﾙﾎﾄﾞ('A'

>>528
Update Timeから、/dev/sdb1が真っ先にアクセス不能になったのは分かるけど、
spareになるのは想像つかん

superblockのフォーマット↓
ttps://raid.wiki.kernel.org/index.php/RAID_superblock_formats
dev_rolesが0xFFFFになってるのがスペア

異常なDiskと正常(?)なDiskのsuperblockを見比べて見ると何か分かるかも
# dd if=/dev/sdb1 count=10 2>/dev/null | od -tx -Ax -v | grep -A17 a92b4efc
# dd if=/dev/sde1 count=10 2>/dev/null | od -tx -Ax -v | grep -A17 a92b4efc

>>530
アドバイスありがとうございます。実行してみました。

# dd if=/dev/sdb1 count=10 2>/dev/null | od -tx -Ax -v | grep -A17 a92b4efc
001000 a92b4efc 00000001 00000000 00000000
001010 b1034723 c5fe4c5d bb05fc95 2f0d1678
001020 6e756275 303a7574 00000000 00000000
001030 00000000 00000000 00000000 00000000
001040 4e2c3138 00000000 00000005 00000002
001050 e8e07400 00000000 00000400 00000004
001060 00000000 00000000 00000000 00000000
001070 00000000 00000000 00000000 00000000
001080 00000800 00000000 e8e07800 00000000
001090 00000008 00000000 00000000 00000000
0010a0 00000000 00000000 45df8d8c edc964f1
0010b0 8cb930a1 2716812d 00000000 00000000
0010c0 4e6386e1 00000000 00000053 00000000
0010d0 00000000 00000000 fdf9230e 00000180
0010e0 00000000 00000000 00000000 00000000
0010f0 00000000 00000000 00000000 00000000
001100 00010000 fffe0002 fffe0003 fffefffe
001110 fffefffe fffefffe fffefffe fffefffe

# dd if=/dev/sde1 count=10 2>/dev/null | od -tx -Ax -v | grep -A17 a92b4efc
#

/dev/sdb1　側にのみ　a92b4efc　が存在しているようです。

>>531
sde1のsuperblock飛んでる？
だとするとmdadm --examineで表示されるのが変なんだけど

同様に↓は？
# dd if=/dev/sdg1 count=10 2>/dev/null | od -tx -Ax -v | grep -A17 a92b4efc
# dd if=/dev/sdh1 count=10 2>/dev/null | od -tx -Ax -v | grep -A17 a92b4efc

>>532
大変失礼しました。　#　も含めてコピペしてコメント扱いになっているだけでした。残り3台分の実行結果です。

# dd if=/dev/sde1 count=10 2>/dev/null | od -tx -Ax -v | grep -A17 a92b4efc
001000 a92b4efc 00000001 00000000 00000000
001010 b1034723 c5fe4c5d bb05fc95 2f0d1678
001020 6e756275 303a7574 00000000 00000000
001030 00000000 00000000 00000000 00000000
001040 4e2c3138 00000000 00000005 00000002
001050 e8e07400 00000000 00000400 00000004
001060 00000000 00000000 00000000 00000000
001070 00000000 00000000 00000000 00000000
001080 00000800 00000000 e8e07800 00000000
001090 00000008 00000000 00000000 00000000
0010a0 00000001 00000000 fdbc9851 4236d0a5
0010b0 0b4ec314 d422a606 00000000 00000000
0010c0 4e6387ba 00000000 000004d2 00000000
0010d0 00000000 00000000 35e6562b 00000180
0010e0 00000000 00000000 00000000 00000000
0010f0 00000000 00000000 00000000 00000000
001100 0001fffe fffe0002 fffe0003 fffefffe
001110 fffefffe fffefffe fffefffe fffefffe

# dd if=/dev/sdg1 count=10 2>/dev/null | od -tx -Ax -v | grep -A17 a92b4efc
001000 a92b4efc 00000001 00000000 00000000
001010 b1034723 c5fe4c5d bb05fc95 2f0d1678
001020 6e756275 303a7574 00000000 00000000
001030 00000000 00000000 00000000 00000000
001040 4e2c3138 00000000 00000005 00000002
001050 e8e07400 00000000 00000400 00000004
001060 00000000 00000000 00000000 00000000
001070 00000000 00000000 00000000 00000000
001080 00000800 00000000 e8e07800 00000000
001090 00000008 00000000 00000000 00000000
0010a0 00000002 00000000 77fd6b25 83801f42
0010b0 332ea095 064d1619 00000000 00000000
0010c0 4e6387ba 00000000 000004d2 00000000
0010d0 00000000 00000000 4b7ac530 00000180
0010e0 00000000 00000000 00000000 00000000
0010f0 00000000 00000000 00000000 00000000
001100 0001fffe fffe0002 fffe0003 fffefffe
001110 fffefffe fffefffe fffefffe fffefffe

# dd if=/dev/sdh1 count=10 2>/dev/null | od -tx -Ax -v | grep -A17 a92b4efc
001000 a92b4efc 00000001 00000000 00000000
001010 b1034723 c5fe4c5d bb05fc95 2f0d1678
001020 6e756275 303a7574 00000000 00000000
001030 00000000 00000000 00000000 00000000
001040 4e2c3138 00000000 00000005 00000002
001050 e8e07400 00000000 00000400 00000004
001060 00000000 00000000 00000000 00000000
001070 00000000 00000000 00000000 00000000
001080 00000800 00000000 e8e07800 00000000
001090 00000008 00000000 00000000 00000000
0010a0 00000004 00000000 43c31fe8 5949113e
0010b0 b1903c00 c610d2e8 00000000 00000000
0010c0 4e6387ba 00000000 000004d2 00000000
0010d0 00000000 00000000 2b2ec42c 00000180
0010e0 00000000 00000000 00000000 00000000
0010f0 00000000 00000000 00000000 00000000
001100 0001fffe fffe0002 fffe0003 fffefffe
001110 fffefffe fffefffe fffefffe fffefffe

superblock上ではスペアになっているDISKは無い
/proc/mdstatで"(S)"になってるのは起動時のチェックで
エラーがあったからだと思う
起動時のログに何かエラー出てない？

あと、↓は実行出来る？
# mdadm --detail /dev/md126

sdb1外して再起動すれば復活するような気がするんだけど

>>536
度々ありがとうございます。　/var/log/dmesg　上のログ全ては出し切れないので怪しそうな部分の抜粋です。

↓/dev/md127に関するログは当然あるが、　/dev/md126に関するログが何も出ていない（エラー系のものも含めて）

[ 6.544320] sd 1:0:5:0: [sdg] Attached SCSI disk
[ 6.593606] md: bind<sdf1>
[ 6.597609] md: bind<sdc1>
[ 6.606304] md: bind<sdb1>
[ 6.612664] md: bind<sde1>
[ 6.619733] md: bind<sdd1>
[ 6.622390] bio: create slab <bio-1> at 1
[ 6.622417] md/raid:md127: device sdd1 operational as raid disk 2
[ 6.622420] md/raid:md127: device sdc1 operational as raid disk 0
[ 6.622423] md/raid:md127: device sdf1 operational as raid disk 1
[ 6.622951] md/raid:md127: allocated 3230kB
[ 6.623015] md/raid:md127: raid level 5 active with 3 out of 3 devices, algorithm 2
[ 6.623019] RAID conf printout:
[ 6.623021] --- level:5 rd:3 wd:3
[ 6.623024] disk 0, o:1, dev:sdc1
[ 6.623026] disk 1, o:1, dev:sdf1
[ 6.623028] disk 2, o:1, dev:sdd1
[ 6.623064] md127: detected capacity change from 0 to 6001180803072
[ 6.639598] EXT4-fs (sda1): mounted filesystem with ordered data mode. Opts: (null)
[ 6.651689] md: bind<sdg1>
[ 6.662636] md127: p1
[ 6.674039] md: bind<sdh1>
[ 6.963670] ses 1:0:7:0: Attached Enclosure device
[ 38.039547] Adding 1325356k swap on /dev/sda5. Priority:-1 extents:1 across:1325356k

気になるログその2　ATA14のHDDでエラー。こいつが今件の初発の原因？？

[ 5.680895] /build/buildd/linux-2.6.38/drivers/scsi/mvsas/mv_sas.c 1388:found dev[6:5] is gone.
[ 5.685621] ata14.00: ATA-8: WDC WD20EARS-00MVWB0, 51.0AB51, max UDMA/133
[ 5.685624] ata14.00: 3907029168 sectors, multi 0: LBA48 NCQ (depth 31/32)
[ 5.689622] ata14.00: configured for UDMA/133
[ 5.689676] scsi 1:0:5:0: Direct-Access ATA WDC WD20EARS-00M 51.0 PQ: 0 ANSI: 5
[ 5.693872] /build/buildd/linux-2.6.38/drivers/scsi/mvsas/mv_sas.c 1388:found dev[7:5] is gone.

[ 39.559395] ata14: translated ATA stat/err 0x01/04 to SCSI SK/ASC/ASCQ 0xb/00/00
[ 39.559400] ata14: status=0x01 { Error }
[ 39.559403] ata14: error=0x04 { DriveStatusError }
[ 39.564298] ata14: translated ATA stat/err 0x51/04 to SCSI SK/ASC/ASCQ 0xb/00/00
[ 39.564303] ata14: status=0x51 { DriveReady SeekComplete Error }
[ 39.564307] ata14: error=0x04 { DriveStatusError }
[ 39.564735] ata14: translated ATA stat/err 0x01/04 to SCSI SK/ASC/ASCQ 0xb/00/00
[ 39.564739] ata14: status=0x01 { Error }
[ 39.564742] ata14: error=0x04 { DriveStatusError }

あと、以前も試して同じ結果でしたが
# mdadm --detail /dev/md126
mdadm: md device /dev/md126 does not appear to be active.
でした。

正常に動作しているmd127は、/dev/md/以下に別名のアレイ名称のシンボリックリンクが作成されていますが
md126については、シンボリックリンクは作成されていませんが、 /dev/md126　自体は生成されている状態になっています。

復旧を継続して試みていますが、　sdb1　のHDDを取り外して起動しなおしても状況は変わりませんでした。
# mdadm -D /dev/md126
/dev/md126:
Version : 1.2
Creation Time : Sun Jul 24 23:50:32 2011
Raid Level : raid5
Used Dev Size : 1953511936 (1863.01 GiB 2000.40 GB)
Raid Devices : 4
Total Devices : 3
Persistence : Superblock is persistent

Update Time : Sun Sep 4 23:14:18 2011
State : active, degraded, Not Started
Active Devices : 3
Working Devices : 3
Failed Devices : 0
Spare Devices : 0

Layout : left-symmetric
Chunk Size : 512K

Name : ubuntu:0 (local to host ubuntu)
UUID : 234703b1:5d4cfec5:95fc05bb:78160d2f
Events : 1234

Number Major Minor RaidDevice State
0 0 0 0 removed
1 8 65 1 active sync /dev/sde1
2 8 97 2 active sync /dev/sdg1
4 8 113 3 active sync /dev/sdh1

sdb1のHDDを

Number Major Minor RaidDevice State
0 0 0 0 removed
1 8 65 1 active sync /dev/sde1
2 8 97 2 active sync /dev/sdg1
4 8 113 3 active sync /dev/sdh1

のremovedの位置に認識させられればアレイを起動できる状態になりそうなのですが、
一旦sdb1のsuperblockを飛ばすなり、パーティションを作成しなおしてからでないとスペアとして組み込めないのですかね・・・？

>>540
取り外したDISKがremovedになってるのは当然

これの↓実行結果は？
# cat /sys/block/md126/md/array_state

あと、/proc/mdstatでまだ"(S)"付いてる？

なんとか　sdb1　をスペアに組み込むところまではたどり着きました。
再起動を何回か実施しているので、　md126　が　md127　に入り繰りになってます。

# cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10]
md126 : active raid5 sdd1[3] sdf1[1] sdc1[0]
5860528128 blocks super 1.2 level 5, 512k chunk, algorithm 2 [3/3] [UUU]

md127 : inactive sdg1[2] sdh1[4] sde1[1] sdb1[5](S)
7814049792 blocks super 1.2

# mdadm --detail /dev/md127
/dev/md127:
Version : 1.2
Creation Time : Sun Jul 24 23:50:32 2011
Raid Level : raid5
Used Dev Size : 1953511936 (1863.01 GiB 2000.40 GB)
Raid Devices : 4
Total Devices : 4
Persistence : Superblock is persistent

Update Time : Sun Sep 4 23:14:18 2011
State : active, degraded, Not Started
Active Devices : 3
Working Devices : 4
Failed Devices : 0
Spare Devices : 1

Layout : left-symmetric
Chunk Size : 512K

Name : ubuntu:0 (local to host ubuntu)
UUID : 234703b1:5d4cfec5:95fc05bb:78160d2f
Events : 1234

Number Major Minor RaidDevice State
0 0 0 0 removed
1 8 65 1 active sync /dev/sde1
2 8 97 2 active sync /dev/sdg1
4 8 113 3 active sync /dev/sdh1

5 8 17 - spare /dev/sdb1

>>541
# cat /sys/block/md127/md/array_state
inactive

mdstatの各HDについていた　(S)　は無くなりました。

ただ、この状態からでもアレイの起動はできずの状態です。
# mdadm -R /dev/md127
mdadm: failed to run array /dev/md127: Input/output error

>>544
sdbって新品？
元々使ってた奴なら、アレイに追加する前に単体で読み書きテストした？

とりあえず、強制的にactive
# echo active > /sys/block/md127/md/array_state

ttp://lxr.linux.no/#linux+v3.0.4/drivers/md/md.c#L3354