Linuxでも標準でソフトウェアRAIDが可能となってきました。
マターリとLinuxのRAIDやその周辺技術、設定等について情報交換しましょう
スレ 1 http://pc5.2ch.net/test/read.cgi/linux/1013875908/
スレ 2 http://pc10.2ch.net/test/read.cgi/linux/1111348512/
スレ 3 http://pc11.2ch.net/test/read.cgi/linux/1168487758/
スレ 4 http://pc11.2ch.net/test/read.cgi/linux/1208263754/
Linux RAID 一般
ttp://linas.org/linux/raid.html
ttp://www.linux.or.jp/JF/JFdocs/The-Software-RAID-HOWTO.html
ttp://linas.org/linux/Software-RAID/Software-RAID.html
Adaptec Japan
ttp://www.adaptec.com/ja-JP/_common/os_support/linux/
Linux EVMS 一般
ttp://evms.sourceforge.net/
Adaptec Japanのアドレス修正。EVMSに関するIBMのサイトが404で見つからないので削除。
... あと続けてくらさい。
RAID総合スレッド No.5
■ このスレッドは過去ログ倉庫に格納されています
2009/09/16(水) 23:34:35ID:JK/kMdkU
412385
2011/05/14(土) 20:03:03.74ID:eKhgKtI/ >>411
15年前のPC(メモリ192MB)には残酷です すでにGUIインスト・起動もできなくなるほどの老体ですので・・
15年前のPC(メモリ192MB)には残酷です すでにGUIインスト・起動もできなくなるほどの老体ですので・・
413385
2011/05/14(土) 20:13:54.14ID:eKhgKtI/ >>390
基本となるログ確認を忘れていました。
dmesgだとタイムスタンプが表示されないので、syslog経由で/var/log/dmesgに記録するようにしました
が、すみません
387のようにhdd7をmd0に参加させてアクティブにして、3/3構成になっていることを確認後、
shutdownし、その後のdmesgを確認しようとしたのですが、
なぜか起動する時点で、
RAID5に必要なデバイスが2個しかないので/dev/md0の作成ができない、
だからfsckできない
/dev/md0開けない、スーバーブロックの〜〜がおかしい
とかエラーになって起動に失敗するようになりました。
朝はちゃんとできていたんですけど・・やったといえば空の/etc/mdadm.confを削除したぐらい?
/etc/mdadm.confはいる子なんですかね。
基本となるログ確認を忘れていました。
dmesgだとタイムスタンプが表示されないので、syslog経由で/var/log/dmesgに記録するようにしました
が、すみません
387のようにhdd7をmd0に参加させてアクティブにして、3/3構成になっていることを確認後、
shutdownし、その後のdmesgを確認しようとしたのですが、
なぜか起動する時点で、
RAID5に必要なデバイスが2個しかないので/dev/md0の作成ができない、
だからfsckできない
/dev/md0開けない、スーバーブロックの〜〜がおかしい
とかエラーになって起動に失敗するようになりました。
朝はちゃんとできていたんですけど・・やったといえば空の/etc/mdadm.confを削除したぐらい?
/etc/mdadm.confはいる子なんですかね。
2011/05/14(土) 20:42:06.54ID:x6YKLIxD
>>413
手でmdadm.confを書いて再起動してみ。
手でmdadm.confを書いて再起動してみ。
2011/05/14(土) 20:54:54.56ID:VCCnnm+r
mdadm.conf
名前からして mdadm の設定ファイル
そりゃ無くしちゃ駄目だろうw
名前からして mdadm の設定ファイル
そりゃ無くしちゃ駄目だろうw
416385
2011/05/14(土) 21:01:22.65ID:eKhgKtI/ 今回の件に関してリビルドという書き込みがあるのですが、
>>402 にもあるように、
�@/dev/hda2をFにすると、予備の/dev/hdd6がアクティブとなりデータが復元される
それを/proc/mdstatで完了したことを確認し、さらに/dev/hdd1をFにする
このときはすでに予備のディスクが無いので/proc/mdstatでは、3/2表示
�A/dev/hdd7をmd0に参加させて、/dev/hdd7にデータが復元される
/proc/mdstatで確認すると3/3の状態に戻っている
この�@、�Aのときに起こっていることがRAID5でのリビルド(再構築)ではないのですか?
>>402 にもあるように、
�@/dev/hda2をFにすると、予備の/dev/hdd6がアクティブとなりデータが復元される
それを/proc/mdstatで完了したことを確認し、さらに/dev/hdd1をFにする
このときはすでに予備のディスクが無いので/proc/mdstatでは、3/2表示
�A/dev/hdd7をmd0に参加させて、/dev/hdd7にデータが復元される
/proc/mdstatで確認すると3/3の状態に戻っている
この�@、�Aのときに起こっていることがRAID5でのリビルド(再構築)ではないのですか?
2011/05/14(土) 23:23:21.58ID:Wn3DLmQA
?なこと
RAID5 4台構成+スペア1
RAID5 4台構成のうち2台外す
RAID5は2台外したら機能しないよ
2台外した後に1台スペア追加したからって再構築もできないよ
スペア有る状態で構築してある2台外す→データあぼーん
やるなら、
スペア有る状態で構築してある1台外す→スペアを使って再構築→もう1台外す→データ生きてる
って感じじゃないのか?
RAID5 4台構成+スペア1
RAID5 4台構成のうち2台外す
RAID5は2台外したら機能しないよ
2台外した後に1台スペア追加したからって再構築もできないよ
スペア有る状態で構築してある2台外す→データあぼーん
やるなら、
スペア有る状態で構築してある1台外す→スペアを使って再構築→もう1台外す→データ生きてる
って感じじゃないのか?
2011/05/15(日) 02:02:46.54ID:KURhrqN1
2011/05/20(金) 22:03:27.94ID:Hx10u45z
スレ違いも甚だしいのだけど、
ttp://nttxstore.jp/_II_HP13476513
の「メーカ HP(旧コンパック)」の(旧コンパック)表記は未だに必要なのだろうか、と疑問に思ったw
ttp://nttxstore.jp/_II_HP13476513
の「メーカ HP(旧コンパック)」の(旧コンパック)表記は未だに必要なのだろうか、と疑問に思ったw
2011/05/21(土) 02:16:43.53ID:MIbSZT6Q
(1) OS (例えば CentOS 5.5) インストール時に RAID5 で Array 作成
(2) 作った Array にとりあえず色々ファイル書き込む
(3) OS の入ったディスクをわざと消して、OS (例えば CentOS 5.6) を再インストール
Linux のソフトウェア RAID は、こんな風に OS が入れ替わっても Array の入ってた
ディスクの設定とかを弄らなければ普通に認識してくれるもんなんでしょうか?
(2) 作った Array にとりあえず色々ファイル書き込む
(3) OS の入ったディスクをわざと消して、OS (例えば CentOS 5.6) を再インストール
Linux のソフトウェア RAID は、こんな風に OS が入れ替わっても Array の入ってた
ディスクの設定とかを弄らなければ普通に認識してくれるもんなんでしょうか?
2011/05/21(土) 02:19:02.64ID:jo2LkPkL
>>420
何がRAIDをコントロールしているかを考えれ・・・・・・。
何がRAIDをコントロールしているかを考えれ・・・・・・。
2011/05/21(土) 10:46:47.58ID:/ULFXKmI
RAIDで使ったHDDの一片をUSBに持っていったり
一片を別なPCに付けてiSCSIで接続しても元に戻るよ
一片を別なPCに付けてiSCSIで接続しても元に戻るよ
2011/05/21(土) 11:05:29.19ID:MIbSZT6Q
戻らねぇよカスw
2011/05/21(土) 11:15:10.45ID:/ULFXKmI
やってみるといいよカス
2011/05/21(土) 20:16:06.77ID:H1P/c5OE
>>420
使用したOS内蔵のソフトウェアRAIDに互換性があれば再認識させる事はできる。
USBだろうがiSCSIだろうがRAID構成に使用できるデバイスとして見えるなら元のアレイを取り戻す事はできる。
その気になればRAIDを構成するディスクすべてをそれぞれ別のマシンのiSCSIターゲットから提供してもらって構築する事もできる。
もちろんCentOSでできるかどうかは自分で調べてくれ。
使用したOS内蔵のソフトウェアRAIDに互換性があれば再認識させる事はできる。
USBだろうがiSCSIだろうがRAID構成に使用できるデバイスとして見えるなら元のアレイを取り戻す事はできる。
その気になればRAIDを構成するディスクすべてをそれぞれ別のマシンのiSCSIターゲットから提供してもらって構築する事もできる。
もちろんCentOSでできるかどうかは自分で調べてくれ。
2011/05/21(土) 21:06:15.97ID:/nyg0oy0
横から失礼
LinuxのSoftwareRAIDって結構柔軟なんですね。
構成に必要な設定はそれぞれのHDDに含まれてて、ディスクが揃えば構成は元に戻る。
って事なんかな?
それともmdadm.confが残ってること(また自力でなんとか書き起こせた場合)が前提?
LinuxのSoftwareRAIDって結構柔軟なんですね。
構成に必要な設定はそれぞれのHDDに含まれてて、ディスクが揃えば構成は元に戻る。
って事なんかな?
それともmdadm.confが残ってること(また自力でなんとか書き起こせた場合)が前提?
2011/05/21(土) 22:53:08.25ID:cuk2hA/s
>>422
ソフトウエアRAIDだと戻りそうだが、ハードウエアRAIDだと戻らないだろうね
ソフトウエアRAIDだと戻りそうだが、ハードウエアRAIDだと戻らないだろうね
2011/05/21(土) 23:10:09.49ID:cuk2hA/s
>>426
以前オレがやったこと。
その1
マザー4ポートとRAIDカード4ポートにHDDを接続してソフトウエアRAIDで構築
↓
RAIDカード8ポートのものに交換
↓
何も考えずHDD8台接続
↓
起動したらそのまま使えた
その2
OSドライブにUSBメモリを使い debian 5.0 lennyでソフトウエアRAID組んで運用
↓
OSドライブを交換するため、USBメモリを外すと同時にソフトウエアRAIDを組んでたドライブを全部外す
↓
HDDに交換 debian 6.0 squeeze クリーンインスコ
↓
ソフトウエアRAID組んでたドライブを取り付ける
↓
再構築
↓
マウントしたら、データ残ってて普通に使えた
以前オレがやったこと。
その1
マザー4ポートとRAIDカード4ポートにHDDを接続してソフトウエアRAIDで構築
↓
RAIDカード8ポートのものに交換
↓
何も考えずHDD8台接続
↓
起動したらそのまま使えた
その2
OSドライブにUSBメモリを使い debian 5.0 lennyでソフトウエアRAID組んで運用
↓
OSドライブを交換するため、USBメモリを外すと同時にソフトウエアRAIDを組んでたドライブを全部外す
↓
HDDに交換 debian 6.0 squeeze クリーンインスコ
↓
ソフトウエアRAID組んでたドライブを取り付ける
↓
再構築
↓
マウントしたら、データ残ってて普通に使えた
2011/05/22(日) 01:24:19.56ID:mz99SHzs
ふむふむ
てことは、Linuxから認識が出来て、
パーティションをいじらない限りは
普通に使えそうですね。
てことは、Linuxから認識が出来て、
パーティションをいじらない限りは
普通に使えそうですね。
2011/05/22(日) 17:17:48.63ID:UuMWPsxa
2011/05/22(日) 17:24:17.90ID:UuMWPsxa
追記。
「変なトラブル」の大半は、RAIDボリュームの一部なのに他と合わないので
RAID構成から外すとかRAIDの方も停止状態にした、というもの。
各ディスクには出来上がったRAIDボリュームのUUIDと動作状態の
チェックサムも記録されているので、偶然の一致は無い。
「変なトラブル」の大半は、RAIDボリュームの一部なのに他と合わないので
RAID構成から外すとかRAIDの方も停止状態にした、というもの。
各ディスクには出来上がったRAIDボリュームのUUIDと動作状態の
チェックサムも記録されているので、偶然の一致は無い。
2011/05/22(日) 19:03:12.62ID:2Faawrj0
2011/05/22(日) 20:09:37.56ID:GBnvxDPM
>>432
無知乙
無知乙
2011/05/23(月) 00:19:26.19ID:7v6SLhKz
>>433
無知とか何とかって話ではなく、
この話がそもそも >420 からの続きだってこと
理解してるのか?
つか一言でハードウェアRAIDったって
例えば3wareとRocketRAIDじゃ
全然違うだろうに
更に言えば機種後との互換性すら
メーカーごとに全然扱いが違うんだが
無知とか何とかって話ではなく、
この話がそもそも >420 からの続きだってこと
理解してるのか?
つか一言でハードウェアRAIDったって
例えば3wareとRocketRAIDじゃ
全然違うだろうに
更に言えば機種後との互換性すら
メーカーごとに全然扱いが違うんだが
2011/05/23(月) 01:49:04.69ID:8su/jpd5
2011/05/23(月) 01:57:47.85ID:+Ld7qqz/
その「しるし」がハード固有だって事ぐらい分かるだろ?
それを挙げ足取りみたいにして喜んでさ、根暗だよね〜。
それを挙げ足取りみたいにして喜んでさ、根暗だよね〜。
437login:Penguin
2011/05/23(月) 07:51:45.28ID:WeXZ1aBl >>434-435
ここまで頭のわるいやつらだったとは
ここまで頭のわるいやつらだったとは
2011/05/23(月) 10:38:53.40ID:b7qa5pVu
2011/05/23(月) 20:49:21.35ID:T2qGWxDH
2011/05/23(月) 22:21:48.36ID:BzlQ03Y+
次スレ案
【ハードも】RAID総合スレッド No.6【ソフトも】
【ハードも】RAID総合スレッド No.6【ソフトも】
2011/05/23(月) 22:25:37.02ID:JXT2n+qb
2011/05/23(月) 22:35:49.44ID:BzlQ03Y+
次スレ案2
【ソフトでも】Linux de RAIDスレ No.6【ハードでも】
【ソフトでも】Linux de RAIDスレ No.6【ハードでも】
2011/05/23(月) 22:39:06.68ID:LESgUC77
ハードウェアRAIDの最低ラインはMegaSASにしようぜ(w
2011/05/23(月) 23:16:44.85ID:c0/6JENF
2011/05/23(月) 23:19:26.81ID:c0/6JENF
2011/05/24(火) 09:57:13.61ID:uNp2NbCh
自作板にはすでにRAIDカードのスレがあるよ。
RAIDカードあれこれ 43枚目
ttp://hibari.2ch.net/test/read.cgi/jisaku/1303039530/
RAIDカードあれこれ 43枚目
ttp://hibari.2ch.net/test/read.cgi/jisaku/1303039530/
2011/05/24(火) 12:37:53.94ID:rRC5sbA8
総合スレなんだから総合らしくやればいいだけのこと
2011/05/24(火) 21:39:57.63ID:3OuK7Gis
ハードウエアRAIDでアレイ構築してるのにlinux板のRAIDスレで何聞くんだろ?
2011/05/25(水) 03:45:59.14ID:3S9STLoJ
ドライバ関係とかツールのインストール関係とか
Linux依存の話はいろいろあると思うが
Linux依存の話はいろいろあると思うが
2011/05/25(水) 10:35:24.97ID:61mBVb84
次スレ談議は950あたりでやればいいよ。
451430
2011/05/26(木) 13:11:33.96ID:WzPNJ81w2011/05/26(木) 15:18:08.67ID:Vlfbg01s
アホは放置の方向で
2011/05/26(木) 23:10:45.61ID:2O6Wds09
なんだ、反論できないからアホ呼ばわりかw
2011/05/27(金) 21:26:08.03ID:SK+T648j
mdraidのsuperblockを修正するツールのraidzapについてなんだけど。
これって、superblock1.0にも対応してる?
先日、謎の瞬断で四本のディスクで構成していたraid5アレイが崩壊してしまい修復を図っているところなんだけど、ツールだとno superblockとかなってしまう。
でも、mdadm --exmineだとちゃんと表示されるんだよな〜。
1.0系と0.9系のsuperblockでは書き込まれている場所が違うからなんじゃないかと思っているんだけど。
ソースみても読み込み位置を指定する部分がよくわからない。。。
これって、superblock1.0にも対応してる?
先日、謎の瞬断で四本のディスクで構成していたraid5アレイが崩壊してしまい修復を図っているところなんだけど、ツールだとno superblockとかなってしまう。
でも、mdadm --exmineだとちゃんと表示されるんだよな〜。
1.0系と0.9系のsuperblockでは書き込まれている場所が違うからなんじゃないかと思っているんだけど。
ソースみても読み込み位置を指定する部分がよくわからない。。。
2011/05/27(金) 23:34:46.71ID:LfJimWf2
2011/05/28(土) 02:11:28.82ID:DR8xEqFb
2011/05/28(土) 02:12:55.99ID:DR8xEqFb
455へのレスだった・・・ごめんなす。
2011/05/28(土) 13:01:46.86ID:17piUe8k
459454
2011/05/28(土) 15:22:38.14ID:DR8xEqFb >>458
--forceとかつけてやってみたんだけど、ダメだった。。。
# cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4]
md1 : inactive sdb1[1](S) sdd1[5](S) sda1[4](S) sdc1[2](S)
7813690476 blocks super 1.2
全部、なぜかスペア扱いwwww
--forceとかつけてやってみたんだけど、ダメだった。。。
# cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4]
md1 : inactive sdb1[1](S) sdd1[5](S) sda1[4](S) sdc1[2](S)
7813690476 blocks super 1.2
全部、なぜかスペア扱いwwww
460454
2011/05/28(土) 15:34:46.55ID:DR8xEqFb ちょっと情報が少なかったので補足。
・もともと、sd[abcd]1でRAID5を構築していた。
・東京電力が謎の瞬断。
・ログを見ると、sdaとsddが外れていた。
・assembleかけてみたが、なぜかスペアで組み込まれてしまう。。。
ログを見ると、(ほとんど差は無いが)時間的にはsda、sddの順で外れていたので、
復旧の方向性としては、まずなんとかsddを組み込んで縮退状態での起動を
目指す…でいいよね?
・もともと、sd[abcd]1でRAID5を構築していた。
・東京電力が謎の瞬断。
・ログを見ると、sdaとsddが外れていた。
・assembleかけてみたが、なぜかスペアで組み込まれてしまう。。。
ログを見ると、(ほとんど差は無いが)時間的にはsda、sddの順で外れていたので、
復旧の方向性としては、まずなんとかsddを組み込んで縮退状態での起動を
目指す…でいいよね?
2011/05/28(土) 17:00:28.23ID:o/JG/Ps/
RAID組んでるならUPSぐらい……
# 今まで日本は恵まれていたんだよ。これからは海外並みにUPSが当たり前。
# 今まで日本は恵まれていたんだよ。これからは海外並みにUPSが当たり前。
2011/05/28(土) 17:48:01.24ID:17piUe8k
>>460
-A sd[bcd]1が無理なら--createする時に縮退で組めば
resyncが発生せずにメタデータ上書きだけでデータ本体はそのまま残る。
--createするときはチャンクサイズとかレイアウトとかも要設定。
まずは仮想マシンで手順とか確認。
-A sd[bcd]1が無理なら--createする時に縮退で組めば
resyncが発生せずにメタデータ上書きだけでデータ本体はそのまま残る。
--createするときはチャンクサイズとかレイアウトとかも要設定。
まずは仮想マシンで手順とか確認。
463454
2011/05/28(土) 22:41:58.42ID:DR8xEqFb2011/05/28(土) 23:42:14.88ID:17piUe8k
>>463
各ボリュームがどこの位置にあったのかは-E /dev/ボリュームのDeviceRoleでわかる
Device Role : Active device 0
Array State : AAAA ('A' == active, '.' == missing)
createする時のdevicesは--detailのRaidDevice順になるからアレイから見て抜きたいところにmissing入れる
なので元々dev.No = sda.0/sdb.1/sdc.2/sdd.3
となっていてsddがDevice Role=3で新規アレイの3の位置に戻して-Cするなら
-C (中略) -l5 -n4 missing missing missing /dev/sdd
になる。dev.noは上のままと仮定して0抜きの1/2/3で縮退-Cでstartする場合のdevicesは
missing /dev/sdb /dev/sdc /dev/sdd
になる
失敗してもアレイのメタデータが飛ぶだけでLVM/PVに使っていてもそのメタデータが
破損する亊はないけどその状態で書くと多分死ぬ
各アレイの頭4096 sectorsずつくらいddでコピーして仮想マシンで試すとかいうのも手
各ボリュームがどこの位置にあったのかは-E /dev/ボリュームのDeviceRoleでわかる
Device Role : Active device 0
Array State : AAAA ('A' == active, '.' == missing)
createする時のdevicesは--detailのRaidDevice順になるからアレイから見て抜きたいところにmissing入れる
なので元々dev.No = sda.0/sdb.1/sdc.2/sdd.3
となっていてsddがDevice Role=3で新規アレイの3の位置に戻して-Cするなら
-C (中略) -l5 -n4 missing missing missing /dev/sdd
になる。dev.noは上のままと仮定して0抜きの1/2/3で縮退-Cでstartする場合のdevicesは
missing /dev/sdb /dev/sdc /dev/sdd
になる
失敗してもアレイのメタデータが飛ぶだけでLVM/PVに使っていてもそのメタデータが
破損する亊はないけどその状態で書くと多分死ぬ
各アレイの頭4096 sectorsずつくらいddでコピーして仮想マシンで試すとかいうのも手
465454
2011/05/29(日) 03:09:04.90ID:HSES09fA >>464
まじですごい!!!
createで復活したよ!!!
いくら、礼を言っても足りないくらいだ。
最初、lvmがinactiveになっていてactivateする必要はあったけど、見事に復活しました。
mount直後にext4の自動修正が走ったので、多少はデータに欠損があったのかもしれないが、いまのところ壊れたファイルは無さそうです。
まじですごい!!!
createで復活したよ!!!
いくら、礼を言っても足りないくらいだ。
最初、lvmがinactiveになっていてactivateする必要はあったけど、見事に復活しました。
mount直後にext4の自動修正が走ったので、多少はデータに欠損があったのかもしれないが、いまのところ壊れたファイルは無さそうです。
466454
2011/05/29(日) 03:34:13.70ID:HSES09fA これは素晴らしいノウハウなので、復旧した流れををちょっと書き記します。
ちょっとログが流れてしまったので、一部記憶を頼りに書いています。
> 各ボリュームがどこの位置にあったのかは-E /dev/ボリュームのDeviceRoleでわかる
> Device Role : Active device 0
> Array State : AAAA ('A' == active, '.' == missing)
# mdadm -E /dev/sd[abcd]1 | grep Role
Device Role : Active device 0
Device Role : Active device 1
Device Role : Active device 2
Device Role : Active device 3
# mdadm -E /dev/sd[abcd]1 | grep State
Array State : AAA. ('A' == active, '.' == missing)
Array State : AAA. ('A' == active, '.' == missing)
Array State : AAA. ('A' == active, '.' == missing)
Array State : .AA. ('A' == active, '.' == missing)
> createする時のdevicesは--detailのRaidDevice順になるからアレイから見て抜きたいところにmissing入れる
# mdadm --detail /dev/md1
(中略)
Layout : left-symmetric
Chunk Size : 512K
(中略)
Number Major Minor RaidDevice State
4 8 1 0 failure
1 8 17 1 active sync /dev/sdb1
2 8 33 2 active sync /dev/sdc1
3 8 49 3 failure
5 ? ? ? spare /dev/sda1
6 ? ? ? spare /dev/sdd1
ちょっとログが流れてしまったので、一部記憶を頼りに書いています。
> 各ボリュームがどこの位置にあったのかは-E /dev/ボリュームのDeviceRoleでわかる
> Device Role : Active device 0
> Array State : AAAA ('A' == active, '.' == missing)
# mdadm -E /dev/sd[abcd]1 | grep Role
Device Role : Active device 0
Device Role : Active device 1
Device Role : Active device 2
Device Role : Active device 3
# mdadm -E /dev/sd[abcd]1 | grep State
Array State : AAA. ('A' == active, '.' == missing)
Array State : AAA. ('A' == active, '.' == missing)
Array State : AAA. ('A' == active, '.' == missing)
Array State : .AA. ('A' == active, '.' == missing)
> createする時のdevicesは--detailのRaidDevice順になるからアレイから見て抜きたいところにmissing入れる
# mdadm --detail /dev/md1
(中略)
Layout : left-symmetric
Chunk Size : 512K
(中略)
Number Major Minor RaidDevice State
4 8 1 0 failure
1 8 17 1 active sync /dev/sdb1
2 8 33 2 active sync /dev/sdc1
3 8 49 3 failure
5 ? ? ? spare /dev/sda1
6 ? ? ? spare /dev/sdd1
2011/05/29(日) 03:37:10.10ID:HSES09fA
# mdadm -C /dev/md1 -c512 -l5 --layout=left-symmetric -n4 missing /dev/sdb1 /dev/sdc1 /dev/sdd1
以下、復活後の確認
# cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4]
md1 : active raid5 sdd1[3] sdc1[2] sdb1[1]
ちょっと怖いが、sdaも瞬断で外れただけで、壊れていないと判断してスペアに組み込んだ。
# mdadm --detail /dev/md1
Version : 1.2
Creation Time : Sun May 29 02:46:23 2011
Raid Level : raid5
Array Size : 5860267008 (5588.79 GiB 6000.91 GB)
Used Dev Size : 1953422336 (1862.93 GiB 2000.30 GB)
Raid Devices : 4
Total Devices : 4
Persistence : Superblock is persistent
Update Time : Sun May 29 03:29:10 2011
State : clean, degraded, recovering
Active Devices : 3
Working Devices : 4
Failed Devices : 0
Spare Devices : 1
Layout : left-symmetric
Chunk Size : 512K
Rebuild Status : 6% complete
Name : sa22c:1 (local to host sa22c)
UUID : edb063f2:f934a5bb:1bf36d16:54d746ca
Events : 7
Number Major Minor RaidDevice State
4 8 1 0 spare rebuilding /dev/sda1
1 8 17 1 active sync /dev/sdb1
2 8 33 2 active sync /dev/sdc1
3 8 49 3 active sync /dev/sdd1
以下、復活後の確認
# cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4]
md1 : active raid5 sdd1[3] sdc1[2] sdb1[1]
ちょっと怖いが、sdaも瞬断で外れただけで、壊れていないと判断してスペアに組み込んだ。
# mdadm --detail /dev/md1
Version : 1.2
Creation Time : Sun May 29 02:46:23 2011
Raid Level : raid5
Array Size : 5860267008 (5588.79 GiB 6000.91 GB)
Used Dev Size : 1953422336 (1862.93 GiB 2000.30 GB)
Raid Devices : 4
Total Devices : 4
Persistence : Superblock is persistent
Update Time : Sun May 29 03:29:10 2011
State : clean, degraded, recovering
Active Devices : 3
Working Devices : 4
Failed Devices : 0
Spare Devices : 1
Layout : left-symmetric
Chunk Size : 512K
Rebuild Status : 6% complete
Name : sa22c:1 (local to host sa22c)
UUID : edb063f2:f934a5bb:1bf36d16:54d746ca
Events : 7
Number Major Minor RaidDevice State
4 8 1 0 spare rebuilding /dev/sda1
1 8 17 1 active sync /dev/sdb1
2 8 33 2 active sync /dev/sdc1
3 8 49 3 active sync /dev/sdd1
468454
2011/05/29(日) 03:47:51.48ID:HSES09fA それにしてもHDDは、まだ買ってから3〜4ヶ月のWD20EARSなのに外れなのかなぁ。。。
5本買って、1週間で1本ぶっ飛んで交換してもらったというのに。
とりあえず、sdaとsddの2本は心配なので早急に換装を検討します。
もう、WDは買わない。
あらためて、464には本当にお世話になりました。
有難うございました!
5本買って、1週間で1本ぶっ飛んで交換してもらったというのに。
とりあえず、sdaとsddの2本は心配なので早急に換装を検討します。
もう、WDは買わない。
あらためて、464には本当にお世話になりました。
有難うございました!
2011/05/31(火) 14:33:41.81ID:XlrTIdtB
WD20EARS 5本を常用してる私が来ましたよ。
454さんのような復旧時にはresync必須だけど、その逆で。
create/assemble 時に state:clean にして sync を省くオプション。
--assume-clean
xfs@64bit がスタック問題で固まってた頃に多用しました。
454さんのような復旧時にはresync必須だけど、その逆で。
create/assemble 時に state:clean にして sync を省くオプション。
--assume-clean
xfs@64bit がスタック問題で固まってた頃に多用しました。
2011/05/31(火) 17:32:00.62ID:t1HBdX4P
こうやって問題が解決したときに結果を報告してくれる人ってのはすばらしいと思う
お疲れ様&情報ありがとう。
お疲れ様&情報ありがとう。
2011/05/31(火) 20:30:44.98ID:IpyDmIcQ
https://raid.wiki.kernel.org/index.php/Initial_Array_Creation
そういやどっかのPerl MongerがRAID5構築時に無責任に--assume-clean勧めてたっけ
そういやどっかのPerl MongerがRAID5構築時に無責任に--assume-clean勧めてたっけ
2011/06/01(水) 20:11:08.58ID:68ZL2HmJ
無責任艦長
2011/06/01(水) 22:36:50.36ID:pRX2jIbT
タイラー!!!
474login:Penguin
2011/07/02(土) 09:21:27.65ID:Gf0bFLPz RAID10のリビルドはRAID6と比べて早いのではと想像しているのですが、
この考えは正しいでしょうか?
全部同一の2TBディスクを使ってのLinuxソフトウェアRAIDですが、
・6本でRAID6
を、
・8本でRAID10
に変更した場合、容量がざっくりレベルで同じになってリビルドが早くなるなら
変更したいと考えています。
現状のRAID6だと故障からリビルド完了までに丸2日近くかかっています。
構成は、Pen4マザーにPCI-SATAカード4枚刺しにしてディスクを分散して
います。この構成を変えずにリビルド時間を短縮するのが目的です。
アドバイスお願いします。
この考えは正しいでしょうか?
全部同一の2TBディスクを使ってのLinuxソフトウェアRAIDですが、
・6本でRAID6
を、
・8本でRAID10
に変更した場合、容量がざっくりレベルで同じになってリビルドが早くなるなら
変更したいと考えています。
現状のRAID6だと故障からリビルド完了までに丸2日近くかかっています。
構成は、Pen4マザーにPCI-SATAカード4枚刺しにしてディスクを分散して
います。この構成を変えずにリビルド時間を短縮するのが目的です。
アドバイスお願いします。
475474
2011/07/02(土) 09:24:02.18ID:Gf0bFLPz 補足ですが、データは全て別マシンにフルバックアップがあります。
変更といいつつアレイががっさり再構築になることは理解しています。
変更といいつつアレイががっさり再構築になることは理解しています。
2011/07/09(土) 11:02:10.07ID:Zeh7W9MH
>>474
その「リビルド」とやらを、一体システムの何が律速してるのか調べろよ。
ちょっと考えるだけでも
・パリティ計算を行うCPU
・SATAコントローラがぶら下がるPCIバスの帯域幅
・SATAコントローラ自体の性能
・SATAの帯域幅
・ハードディスクの速度
あたりが律速する要因だろう、と見当はつくだろ。
CPUが律速してないのにRAIDの構成いじってもあまり意味は無いぞ。
あと、Linuxのmdアレイはリビルドだけでマシンパワーを使い切らないようにリミッターが
かかってるから、その辺もありうるな。
その「リビルド」とやらを、一体システムの何が律速してるのか調べろよ。
ちょっと考えるだけでも
・パリティ計算を行うCPU
・SATAコントローラがぶら下がるPCIバスの帯域幅
・SATAコントローラ自体の性能
・SATAの帯域幅
・ハードディスクの速度
あたりが律速する要因だろう、と見当はつくだろ。
CPUが律速してないのにRAIDの構成いじってもあまり意味は無いぞ。
あと、Linuxのmdアレイはリビルドだけでマシンパワーを使い切らないようにリミッターが
かかってるから、その辺もありうるな。
2011/07/09(土) 11:17:58.17ID:6cpMxatu
>>474
他にもボトルネックになっている可能性はあるけど、PCIバスが確実にボトルネックになるので
構成変えずに頑張っても大して効果はない。
ちなみにうちの2TBx5(RAID5)でのリビルドは、半日はかからなかったはず。
他にもボトルネックになっている可能性はあるけど、PCIバスが確実にボトルネックになるので
構成変えずに頑張っても大して効果はない。
ちなみにうちの2TBx5(RAID5)でのリビルドは、半日はかからなかったはず。
2011/07/10(日) 06:14:38.03ID:pX9rtczw
ちょっと質問です
>RAID5はRAIDボリュームクラッシュ時に手の打ちようがない
>RAID10の方がまだマシだからRAID10にしておいた方が良い
と言う話を聞いた事があるんだけど、RAIDボリュームクラッシュ時からの
回復率ってRAID5(RAID6,RAID-Z等含む)とRAID10で変わるのかな?
>RAID5はRAIDボリュームクラッシュ時に手の打ちようがない
>RAID10の方がまだマシだからRAID10にしておいた方が良い
と言う話を聞いた事があるんだけど、RAIDボリュームクラッシュ時からの
回復率ってRAID5(RAID6,RAID-Z等含む)とRAID10で変わるのかな?
2011/07/11(月) 23:29:52.79ID:OOaET+Az
2011/07/11(月) 23:36:04.41ID:48uiNmM9
>>479
A-A'
B-B'
C-C'
D-D'
E-E'
A-A'が同時に壊れる可能性もあるわけだ。
そう考えると簡単な計算すら難しくなりそう。
ちなみに、俺には計算出来ない。数学は高一で放棄したから
A-A'
B-B'
C-C'
D-D'
E-E'
A-A'が同時に壊れる可能性もあるわけだ。
そう考えると簡単な計算すら難しくなりそう。
ちなみに、俺には計算出来ない。数学は高一で放棄したから
2011/07/12(火) 00:40:57.00ID:2zy6hBSr
RAID6+スペア2台で任意の4台までOKですよ(リビルト中に壊れない限り)
スペア2台は一台目死亡時点でで気づく様な仕組みにしておけよ、と思ってしまうけど
スペア2台は一台目死亡時点でで気づく様な仕組みにしておけよ、と思ってしまうけど
2011/07/12(火) 01:02:43.08ID:LDQ+b/Dh
>>481
つauto rebuild
つauto rebuild
2011/07/12(火) 01:23:02.33ID:bzOh2LuE
HDD4 RAID6 / Hot Spare 6
そうそう壊れないだろw
そうそう壊れないだろw
2011/07/12(火) 01:35:42.33ID:KnVTEP27
アレイのI/Fが2つ以上に分かれていて
そのうち1つのI/F死ぬとコロっといくかもな
そのうち1つのI/F死ぬとコロっといくかもな
2011/07/12(火) 03:30:30.00ID:bzOh2LuE
それはどのRAIDでも言えること
2011/07/16(土) 23:21:39.73ID:RQME3r/e
初心者です。質問させて下さい。
HDD2台でRaid0を組んだ場合のバックアップの取り方なんですが、どのようにされていますか?
Raid対応のバックアップソフトが市販されてますが、やはりバックアップ用のHDDも2台必要なのでしょうか。
できれば費用を節約して1台に集約したいのですが。
HDD2台でRaid0を組んだ場合のバックアップの取り方なんですが、どのようにされていますか?
Raid対応のバックアップソフトが市販されてますが、やはりバックアップ用のHDDも2台必要なのでしょうか。
できれば費用を節約して1台に集約したいのですが。
2011/07/16(土) 23:42:33.24ID:pf3M1bS/
・・・
2011/07/17(日) 00:09:54.21ID:l0XJkxsN
2011/07/17(日) 02:07:20.16ID:O6oORdmv
2011/07/17(日) 02:21:53.74ID:T2Qdi5fJ
そんなの、十分な容量のバックアップ先にコピーでも何でも好きにすりゃいいんじゃない?
その容量なら、その辺で売ってる安いUSBメモリでも間に合うぜ?
その容量なら、その辺で売ってる安いUSBメモリでも間に合うぜ?
2011/07/17(日) 09:40:59.84ID:8HtPnhxy
2011/07/17(日) 09:44:41.92ID:8HtPnhxy
ところで、ubuntu 道場で NAS の話が出ていて、
ttp://ascii.jp/elem/000/000/619/619406/index-4.html
RAID 組んだら定期的に dd of=/dev/null if=/dev/sda とかでデータなめておいた方が
いいとかあるんだけど、結構常識だったりする?
はじめて聞いたんだけど。
ttp://ascii.jp/elem/000/000/619/619406/index-4.html
RAID 組んだら定期的に dd of=/dev/null if=/dev/sda とかでデータなめておいた方が
いいとかあるんだけど、結構常識だったりする?
はじめて聞いたんだけど。
2011/07/17(日) 11:07:52.82ID:euYEF6jy
その理由を書いていないのでオカルト。
そもそもddでなくてもmdにアレイの整合性をチェックさせて
問題があればエラーを吐かせる為のメソッドがsysfsに用意されてるし
そもそもddでなくてもmdにアレイの整合性をチェックさせて
問題があればエラーを吐かせる為のメソッドがsysfsに用意されてるし
2011/07/17(日) 12:31:49.13ID:O6oORdmv
2011/07/17(日) 12:52:44.01ID:C0QOi8+q
いや普通にバックアップとればいいんじゃないの?
何悩んでるかしらんが
何悩んでるかしらんが
2011/07/17(日) 17:24:13.10ID:sAxoGETv
>>494
RAIDを実際に使ったことないの?
使えば分かるがRAIDってのは大雑把に言って
「複数のHDDを一つのHDDとして扱う技術」だ。
OSからはまとめて一つのHDDに見えてるんだから
扱いとしてはHDD 1対1のコピーと何も変わらんぞ。
むしろ構成してる物理HDD別々にバックアップをする方が大変。
RAIDを実際に使ったことないの?
使えば分かるがRAIDってのは大雑把に言って
「複数のHDDを一つのHDDとして扱う技術」だ。
OSからはまとめて一つのHDDに見えてるんだから
扱いとしてはHDD 1対1のコピーと何も変わらんぞ。
むしろ構成してる物理HDD別々にバックアップをする方が大変。
2011/07/17(日) 17:50:22.73ID:O6oORdmv
2011/07/19(火) 14:08:40.91ID:YOk0NYds
RAIDに詳しい人が多いようなので質問します。
今、センチュリーのCRIB35EU3という外付ケースを利用してRAID5を組んでいるのですが
先日、バックアップをとろうと電源を入れ、アクセスしようとすると
フォーマットされていませんというメッセージが表示されるようになりました。
おそらく論理障害だと思いますが、簡単に直す方法などありますでしょうか?
※FINALDATAでは中身を見ることができました。ただいまバックアップをとっています。
今、センチュリーのCRIB35EU3という外付ケースを利用してRAID5を組んでいるのですが
先日、バックアップをとろうと電源を入れ、アクセスしようとすると
フォーマットされていませんというメッセージが表示されるようになりました。
おそらく論理障害だと思いますが、簡単に直す方法などありますでしょうか?
※FINALDATAでは中身を見ることができました。ただいまバックアップをとっています。
2011/07/19(火) 14:28:35.01ID:EEEP93x/
板名音読しろ
2011/07/19(火) 14:39:11.43ID:9QgtZQ/U
OK牧場かYahoo痴恵袋行け
501 【東電 67.6 %】 忍法帖【Lv=31,xxxPT】
2011/08/01(月) 19:05:41.74ID:ddnJTrg6 Ubuntu初心者板でも匙投げられたのでどうかご教授お願いします
【初心者スレ】Ubuntu Linux 67
http://hibari.2ch.net/test/read.cgi/linux/1311389692/351
> 恐れ入ります
> 私のマシンは少し構成が入り組んでいるのですが、Ubuntuをどのような手順で入れればいいでしょうか
> 特に4ポートのRAIDボードが邪魔をして、この間もWindowsXPとのデュアルブートを試みたのですが
> ブートドライブにインストールされないで、他のRAID1を破壊するだけの結果におわりました
> ご指導よろしくお願いします
>
> マザーボード:P7P55D-E
> メモリ:2Gbyte×2
>
> 現在オンボードはIDEモードでSATA→eSATA変換ブラケットで2台HDDが外付けになっている
> ただし、それらはブートドライブには使わない
>
> PCI及びPCI-exスロットの並び
> 1:HighPoint Rocket RAID 3120(それにHDD2台でRAID1)→ブートドライブ
> 2:玄人志向 GF210-LE512HD(nVidiaグラフィックボード)
> 3:玄人志向GbE-PCIe(LANボード)
> 4:カノープスMTV1200FX(使用禁止にする予定)
> 5:空き(SATA→eSATA変換ブラケット×2にて2台ハードウェアRAIDを装着中)
> 6:CMI8738-4CHPCI(サウンドボード)
> 7:HighPoint Rocket RAID 2300(それにHDD4台でRAID1×2セット)→データドライブメインとバックアップ
>
> 音も鳴るのにどうしてこうなった…orz
>
厳密には3120がハードウェアRAIDボードで2300はソフトウェアRAIDボードなのにUbuntu板ではそう思っていないようです
【初心者スレ】Ubuntu Linux 67
http://hibari.2ch.net/test/read.cgi/linux/1311389692/351
> 恐れ入ります
> 私のマシンは少し構成が入り組んでいるのですが、Ubuntuをどのような手順で入れればいいでしょうか
> 特に4ポートのRAIDボードが邪魔をして、この間もWindowsXPとのデュアルブートを試みたのですが
> ブートドライブにインストールされないで、他のRAID1を破壊するだけの結果におわりました
> ご指導よろしくお願いします
>
> マザーボード:P7P55D-E
> メモリ:2Gbyte×2
>
> 現在オンボードはIDEモードでSATA→eSATA変換ブラケットで2台HDDが外付けになっている
> ただし、それらはブートドライブには使わない
>
> PCI及びPCI-exスロットの並び
> 1:HighPoint Rocket RAID 3120(それにHDD2台でRAID1)→ブートドライブ
> 2:玄人志向 GF210-LE512HD(nVidiaグラフィックボード)
> 3:玄人志向GbE-PCIe(LANボード)
> 4:カノープスMTV1200FX(使用禁止にする予定)
> 5:空き(SATA→eSATA変換ブラケット×2にて2台ハードウェアRAIDを装着中)
> 6:CMI8738-4CHPCI(サウンドボード)
> 7:HighPoint Rocket RAID 2300(それにHDD4台でRAID1×2セット)→データドライブメインとバックアップ
>
> 音も鳴るのにどうしてこうなった…orz
>
厳密には3120がハードウェアRAIDボードで2300はソフトウェアRAIDボードなのにUbuntu板ではそう思っていないようです
2011/08/01(月) 19:18:25.37ID:MoOsZ/eN
そう思っていないとは、どう思っているのかがその文からは全然わからん
2011/08/01(月) 20:22:31.58ID:LMFTrc05
ブートに使うドライブだけ付けて OS をインストールして、
インストールが終わったら順番に付けろ。
そもそも OS インストールを助けるスレじゃねぇぞ。と。
インストールが終わったら順番に付けろ。
そもそも OS インストールを助けるスレじゃねぇぞ。と。
2011/08/02(火) 23:14:34.99ID:10Xubh93
>>501
> Ubuntu板ではそう思っていないようです
すでに手放して久しいんだが、RocketRAID(めんどくさいから以下RR)2300はHighPointのドライバ入れないと
「Marvell製コントローラを搭載したnon-RAIDなSATAアダプタ」として認識されるんじゃなかったかな?
今でもそうだったら、Ubuntuスレが正しい。
RR3120のアレイにインストールできないのはよく知らん。
HighPointのサイト見たら「Ubuntu 8.10以降ならカーネルにRR3120のドライバ入ってます」とかゆってるけど。
> Ubuntu板ではそう思っていないようです
すでに手放して久しいんだが、RocketRAID(めんどくさいから以下RR)2300はHighPointのドライバ入れないと
「Marvell製コントローラを搭載したnon-RAIDなSATAアダプタ」として認識されるんじゃなかったかな?
今でもそうだったら、Ubuntuスレが正しい。
RR3120のアレイにインストールできないのはよく知らん。
HighPointのサイト見たら「Ubuntu 8.10以降ならカーネルにRR3120のドライバ入ってます」とかゆってるけど。
2011/08/09(火) 10:03:24.01ID:hTCbJlvG
RAID童貞です。Windowsなんですけどここでいいですか?
いいとして質問します。もし他に適当なスレがあれば誘導してください。
現在データは全て外付けHDDに入れて、もう1台の外付けHDDにバックアップソフトで
定期的にミラーリングしています。
それだとちょっと面倒なのでRAID1でミラーリングしたいです。
ちなみにこれを使う予定です。
http://buffalo.jp/product/hdd/external/hd-wlu3_r1/
本文が長すぎると2chに怒られたので分割します。
いいとして質問します。もし他に適当なスレがあれば誘導してください。
現在データは全て外付けHDDに入れて、もう1台の外付けHDDにバックアップソフトで
定期的にミラーリングしています。
それだとちょっと面倒なのでRAID1でミラーリングしたいです。
ちなみにこれを使う予定です。
http://buffalo.jp/product/hdd/external/hd-wlu3_r1/
本文が長すぎると2chに怒られたので分割します。
2011/08/09(火) 10:04:52.77ID:hTCbJlvG
続き
質問1
RAID1を構成した2台のHDDは、PCからは1台のHDDとして見えるとのことですが、
他のPCに繋いでも同じように動作するのでしょうか。
質問2
RAID1を構成した2台のどちらか一方または両方を、後でRAIDではなく普通の
外付けHDDとして読み書き削除したり、それを再度RAID化したりできるのでしょうか。
質問3
一方のHDDが壊れてももう一方が生きていればそのまま問題なく使えるのはいいのですが、
壊れたことはどうやって知るのでしょうか。
質問4
RAID1の2台のHDDをTrueCryptで暗号化した場合、ヘッダは2台共通でしょうか、別々でしょうか。
また、壊れた場合の復旧も含めて、暗号化しない場合と全てにおいてまったく同じように使えるのでしょうか。
それとも何か制限があるのでしょうか。
以上初歩的な質問で申し訳ありませんがよろしくお願いいたします。
質問1
RAID1を構成した2台のHDDは、PCからは1台のHDDとして見えるとのことですが、
他のPCに繋いでも同じように動作するのでしょうか。
質問2
RAID1を構成した2台のどちらか一方または両方を、後でRAIDではなく普通の
外付けHDDとして読み書き削除したり、それを再度RAID化したりできるのでしょうか。
質問3
一方のHDDが壊れてももう一方が生きていればそのまま問題なく使えるのはいいのですが、
壊れたことはどうやって知るのでしょうか。
質問4
RAID1の2台のHDDをTrueCryptで暗号化した場合、ヘッダは2台共通でしょうか、別々でしょうか。
また、壊れた場合の復旧も含めて、暗号化しない場合と全てにおいてまったく同じように使えるのでしょうか。
それとも何か制限があるのでしょうか。
以上初歩的な質問で申し訳ありませんがよろしくお願いいたします。
2011/08/09(火) 10:21:30.30ID:8OkAJdZz
Linux板で
>Windowsなんですけどここでいいですか?
とか、ネタなら笑いどころがわからないし、本気なら人生やり直しが必要
>Windowsなんですけどここでいいですか?
とか、ネタなら笑いどころがわからないし、本気なら人生やり直しが必要
2011/08/09(火) 10:24:12.41ID:NGWTHhbE
2011/08/09(火) 10:25:09.82ID:dChPzCWQ
(1)YES
(2)NO (参考:ttp://www.touki.info/howto/howtoReadRAID1.html)
(3)外付けならBEEPが鳴ったり、付属ツールで知ります (HW RAID I/F の場合は、それら機能はカード側に有り)
(4)仮想ドライブの実態はファイルです(これで意味が分からなければ TrueCrypt は使わないほうが良いかな?)
(2)NO (参考:ttp://www.touki.info/howto/howtoReadRAID1.html)
(3)外付けならBEEPが鳴ったり、付属ツールで知ります (HW RAID I/F の場合は、それら機能はカード側に有り)
(4)仮想ドライブの実態はファイルです(これで意味が分からなければ TrueCrypt は使わないほうが良いかな?)
2011/08/09(火) 11:03:22.91ID:NGWTHhbE
>>509
ブロックデバイスそのものをTruecryptで暗号化できるぞ。その上でext3,4なりxfsなりでフォーマット可能
ブロックデバイスそのものをTruecryptで暗号化できるぞ。その上でext3,4なりxfsなりでフォーマット可能
511506
2011/08/09(火) 19:01:28.28ID:hTCbJlvG >>509
何か問題が生じたときに面倒そうですね。
やっぱり私にはRAIDは敷居が高そうなので、今まで通り、暗号化したHDD2台を
手動でちまちまミラーリングすることにします。
ありがとうございました。
何か問題が生じたときに面倒そうですね。
やっぱり私にはRAIDは敷居が高そうなので、今まで通り、暗号化したHDD2台を
手動でちまちまミラーリングすることにします。
ありがとうございました。
■ このスレッドは過去ログ倉庫に格納されています
ニュース
- なぜコンビニは「外国人店員」だらけになったのか? 大手3社で8万人超…元セブン社員が明かす「日本人が集まらなくなった」現場の実情★5 [♪♪♪★]
- 【沖縄】「許せない」「基地を返せ」 強盗殺人事件、沖縄に怒りの声 ★2 [ぐれ★]
- 【MLB】ドジャース戦の中継で疑問の声「ガラガラじゃない?」 地区S初戦なのに…発表5万人超も「何が起きてる」 [jinjin★]
- 【消費税国会】今日開会 野党対案は現金給付、10兆円ありきの論争へ [蚤の市★]
- 【調査】都道府県魅力度ランキング2026、残念ながらワースト1位は…? ★2 [ぐれ★]
- 【中日】新監督有力候補に工藤公康氏浮上 地元出身、ソフトバンクで日本一5度の“優勝請負人” [征夷大将軍★]
- 【高市超絶悲報】満州での阿片製造や関東軍をテーマにした「満州アヘンスクワッド」アニメ化… 岸信介 [165981677]
- 「HOKA」、ガチで流行りまくる。外に出たらHOKA履いてる人しかいない。なんでダサいのに流行ってるの? [838847604]
- 「昭和」「平成」「令和」で一番幸せだった時代wwwwwwwwwwwwwww
- AIのAA生成がここまですごくなった
- はっきり言う。子どもとセックスしたい。 [769931615]
- 【二次】どの女の子と動物なかよししたい!?wwwwwwwwwwwwwwwwwwwwwwwwwwww