Linux iSCSI 友の会

貧乏人でもiSCSIが使用可能なLinux-iSCSIについて語ろう。

FreeNASよりも高速、クラスタ対応のファイルシステムを使えば共有も可能。
NFSよりも圧倒的に高速です。

The iSCSI Enterprise Target Project
http://iscsitarget.sourceforge.net/

devfsが主流になったことがかつてあったか？

>>231
>>228の背景知識と時間感覚（おそらくBSDユーザ）から
何（寝ぼけたこといってんの）？
くらいの意

>> 233

ホウ！惜しいとこついてますね。けっこう長いことSolarisユーザです。
(Solarisユーザだからdevfsとかudevというわけではないけど)

Solarisの場合はsdaやsdbじゃなく，iqnなんか(?)から拾ってくる情報で
/dev/rdsk/c2t6090A01890CEBE312884042502156873d0
みたいなデバイスを作ってくれて，仮にOS再インストールしても
iSCSIを一度オフラインにしても再び同じデバイス名を拾ってくれるので便利ですたよ。

LinuxだとiSCSIの疑似障害起こすだけでsdaが消えてsdbになったり，
それに伴いRAID1のmdadmからsda外そうとしても「そんなデバイスありません」
と言われるから，いちいちMAKEDEV sdaしてmdadm -rしなきゃいけないとかで
ちょっと面倒なわけですよ。

>>234
udev使え
ttp://gentoo-wiki.com/HOWTO_iscsi

> LinuxだとiSCSIの疑似障害起こすだけでsdaが消えてsdbになったり，
> それに伴いRAID1のmdadmからsda外そうとしても「そんなデバイスありません」
> と言われるから，いちいちMAKEDEV sdaしてmdadm -rしなきゃいけないとかで
> ちょっと面倒なわけですよ。
DRBD使った方がいいんじゃない？
RAIDにしたブロックデバイスをiscsiでマウントすることはあっても、
iscsiでブロックデバイスとして認識させたものでRAID組むなんて
やらないと思うぞJK

>>234
> Solarisの場合はsdaやsdbじゃなく，iqnなんか(?)から拾ってくる情報で
> /dev/rdsk/c2t6090A01890CEBE312884042502156873d0

つ /dev/disk/by-id/
つ /dev/disk/by-path/
つ /dev/disk/by-uuid/

>>235
BuffaloのiSCSI機器3台の構成でRAID5とかどう？
RAID5+5みたいな感じ。
Buffaloって丸ごと死んじゃう事があるんで、
RAID5+5で安心感得られるかな、とか思うんだけど。

まずBuffaloをやめるのが先だな

>>237
CPU負荷がすごそう

>> 235

> DRBD使った方がいいんじゃない？

予算無かったりパフォーマンスそれほど気にしない場合はdrbdも選択肢ですが
drbdだと超パフォーマンス落ちますがな。

> RAIDにしたブロックデバイスをiscsiでマウントすることはあっても、
> iscsiでブロックデバイスとして認識させたものでRAID組むなんて
> やらないと思うぞJK

ぇー。HAクラスタの世界では、一方のストレージが丸ごと落ちた場合用に
筐体間ミラーさせるのがJKじゃないのー。少なくともSunClusterとか
Veritas Clusterはそういう想定で作られてると思いますよん。

>> 236

そうそう，あれから調べてby-uuidなんかで引っかけるようにしてるのですが、結局うまくいかず。

障害を想定して、一方のiSCSI Boxを止めて/dev/md0に書き込み、再び
iSCSI Boxを有効にすると当然/proc/mdstatでFault。でもこの状態で
/dev/uuid名にアクセスすることができない。

KERNEL=="sd*", BUS=="scsi", PROGRAM="/etc/udev/scripts/iscsidev.sh %b",SYMLINK+="iscsi/%c-part%n"

みたいなルール作っても，結局/proc/mdstatにはカーネルが最初に
認識したsdaやらsdbやらが書いてあるので、それが原因かと。
(/dev/sdaは障害時に消えて無くなって、iSCSI再接続後には/dev/sddみたいな新しい名前で
カーネルに認識されるがmdstatはsdaという古い情報をずっと握っている)
オペレーション面倒ですが、毎回MAKEDEVすることにしましたよ。
仕様と理解して自己完結したつもり。

そんなアフォ仕様でうちに持ってこないでね

>>241
大丈夫、おまえんとこの予算じゃ折り合わん。

予算最小限なら>>237みたいな構成も
良いんでは？
単品２０万以下で手配出来るし。
リビルド負荷がヒデー事になるかもしれんか。

>>241の会社には予算的に手が出ないのかもしれないけど、この書き方だと初めて見た人が
「筐体間ミラー」＝「アフォ」って勘違いするじゃん。

電源やコントローラ冗長化してても、共有部品やらファーム、オペミスやらが原因で
1台のボリューム丸ごとぶっ飛んだらどうすんのさ。君の会社は金融系に提案するときも
筐体間ミラーする必要ないほどの超人的な機械選んでるの？
って、俺釣られてる？

このスレで質問することじゃないと思うけど、
もし良かったら教えてほしい。

OCFS2(OCFS)ってのは、

共有ブロックデバイスを使用して共有ファイルシステムを実現する為のファイルシステムで、
iSCSI等で1つの領域を複数のホストでブロックデバイスとして接続し、
そのブロックデバイスを各ホストでOCFS2でmountすることにより動作・実現する。

ってことで合ってる？


各ホスト毎に専用の領域をブロックデバイスで用意し、
複数のホストでRAID(0/1/5)的に接続して、コヒーレンシを確保するファイルシステム
ではないよな？

夏厨湧いたと思って教えてくれると助かる。

>>245
最初ので合ってる、と思う。
つかGFSしか知らなかったから調べてしまった・・・。

でも、よくよく考えてみたら、
「共有ファイルシステムを実現する為のファイルシステム」
なので、やっぱり合ってるよ。・・・多分。

自信なくてゴメン。

他にスレがないのでここで聞きます。

Microsoft iSCSI Targetって、仮想ディスクイメージしか使えない？
物理ディスクをそのまま仮想デバイス化するのは無理っすか？

>>247
iSCSIはIP over SCSIであって、(i)SCSIの先にあるデバイスは不問だよ。

MS iSCSI Targetへデバイスを供給するのはInitiatorの仕事なので、
Initiatorがどのようなデバイスを利用、供給できるかが問題。

>>248
TargetとInitiatorを逆に理解してない？

>>247
Windows Storage Server 2003 + Microsoft Software iSCSI Target
ってことですよね？仮想ディスクイメージしか使えなかった気がする。

なんかWindowsのBOOT可能版イニシエータがConnect参加なしでOKになったな。
ttp://www.microsoft.com/downloads/details.aspx?familyid=12CB3C1A-15D6-4585-B385-BEFD1319F825&displaylang=en

これは、盆休みのうちにXPでiSCSIブートやってみろってことか？

って、ふと思ったんだが、
PXEで流し込むブートストラップどうするんだろ

とりあえずマニュアル・ドキュメント読むか

>>252
WindowsをiSCSIからブートしたいなら、WinBoot/iを買うか、
gPXEを使う必要があるよ。
gPXEからのWindowsブートは試したことないけど、結構大変そう。

いっそ

　PXEbootするようにする
　→ NFSrootなLinuxで一旦起動
　→ VirtualBoxのiSCSIブートでWindows実行

でLinux最小構成分の32MB程度失うだけでiSCSI+Windowsを
簡単にできなくね？

WindowsがInitiatorやらない以上iSCSIにこだわる必要性が全くないぞ

とりあえずターゲットを用意して、Windowsからtargetとして認識するところまではできたけど
これって、ドライバインストール用FDとか無いし、
nLiteとかで統合しても、ターゲットへの接続の設定がレジストリに入ってて面倒な気がするし、
結局、HDDにインストールして、HDDイメージを吸い出してtargetにしないと、起動HDD作れないんだろうか

MSのマニュアルには、ややこしい手順が書かれてるけど、
MS鯖でDHCPとtarget賄う時の必要事項とごっちゃになってるし、
ACPI3.0のiBFTで接続設定情報をBIOSからバケツリレーで引き渡すなんて、
ACPI2.0/1.0の切り替えがある程度のPCではできるわけもなく・・・・

ハードル高ぇわ

>>235
> RAIDにしたブロックデバイスをiscsiでマウントすることはあっても、
> iscsiでブロックデバイスとして認識させたものでRAID組むなんて
> やらないと思うぞJK

ｳﾁでやってる
CPU負荷の低さ・I/O性能・ﾃｽﾄした感触での信頼性、どれも想像以上で満足している

DRBDはテストしていないのだが、iSCSI + Software RAIDだと
3つ以上のﾎｽﾄ間でのﾐﾗｰﾘﾝｸﾞができたり
mdadmが柔軟なおかげで障害起こった後の復旧方法の選択肢が多いところが利点だと思われ
ﾎｯﾄﾘﾋﾞﾙﾄﾞとかﾎｯﾄﾘﾑｰﾌﾞとかｲｲ

メルコだけど、RAID0 iscsiターゲットx4をNTサーバ側でSoftRAID5として扱う事例が紹介してあった。
ttp://buffalo.jp/products/catalog/storage/ts-igl_r5/#jirei

あのね安全性でWindowsのソフトRAIDに勝るRAIDシステムはいまんとこ無いよ

ハードRAIDの場合ハード壊れたらアウト
カード買い直しで済めばいいけど復帰の望みは薄い
でもWindowsのソフトRAIDは外付けだろうがなんだろうが一度構成してしまえば
Windowsであれば2000だろうと2003だろと2008でもRAID構成がそのまま使えて認識する

これってすごい事なんだよ
当然RAID5はServerじゃないとサポートしてないのでXPでRAID5できないのは当然としても
他のWindowsマシンでRAID構成がそのまま復旧できて、
ハードトラブルに強く、外付けですら構成可能ってのは他に例がない

UNIXのソフトRAIDも3wareの高級RAIDカードもこれは無理

劣るのは速度だけで、それ以外のRAID本来の常用性・継続性では「最も理想的なRAID」だよ
さらに、UNIXのようにディスク管理のスキルもそれほど要らないし、
コンピューター管理のディスク管理画面さえ開いてしまえば、
壊れてれば▲マークでるし、他システムのRAIDなら1クリックで認識してしまう

馬鹿にできないんだよWindowsのRAIDは

>>259
システム入れない前提だろうけど、一部暗号化しちゃうとダメじゃね？
ちぅか、RAID5まで入れる必要あるなら、コントローラまで多重化するっしょ。

コピペに反応するなよ

>>261
おぉ確かにコピペだ。過疎スレにようこそ。

すみません、こっちで質問させて下さい。

CentOS5にIETを入れて問題なく使えることを確認したんで、junkのNICを買って
来たんですよ。BCM5708の。

で、買った後でなんとなく気が付いたんですが、TOEやiSCSI boot使う場合って
更に別途ライセンスを購入しないとダメなんでしょうか？
タダで気前良く使わせてくれるのはPRO/1000 PTだけ？

ついでに、PRO/1000 PT使ってる方がいたら教えて頂きたいんですが、iSCSIboot
に興味が無く、単に外付けHDD代わりにiSCSIを使いたい場合って、PRO/1000は
winからはSCSIアダプタとして認識されるんですか？

> SCSIアダプタとして認識
いいえ。

TOEはともかくiSCSI Bootはライセンスなしでできるだろ

と知ったか君が仰っていますｗ

ISOEと勘違いしてるに一票

某メーカー鯖のファーム更新でBCM5708のiSCSIbootが有効になったけど、
鯖メーカーがiSCSI機器売るために払ってる可能性もあるし、無料かどうかは知らん

あと、Windowsだと、どっちにしろ、いろいろと苦労する罠

>>267
某D社の鯖は、オンボで5708が載ってる場合しかiSCSI使えない。
某H社の鯖の場合は、ちゃんとライセンスパックが別売されてる。

某I社のオプションカードも多分iSCSIは使えない。


5708のオプションカードでiSCSIは使えないってことで＜結論

>>268
某I社ってなんだ？
ｲｿﾃﾙ?

>>269
Big Blue

>>270
OH! 忘れてたぜ！

れのぼですね、わかります

↑
わかります、って言う香具師に限って実は分かってないという罠ｗ

分かってないんじゃなくてわざと誤解したように書いてるだけだろｗ

何かボケるわけでもなく、「ボク知ってるもんね」をアピールしたいだけ

ああ、わかります。

USBブートできて、iSCSIがすぐ使えるディス鳥ないですか？

ESXiとか、VMWare Serverの管理OS部分に組み込んでたりされてると嬉しいな。

FREE NASでUSBブートするやつがあればいいのか・・・。

クライアントがWindowsの環境で、SMB/CIFSとiSCSIでの
速度比較を行っているページとかないものでしょうか？

iSCSIで繋ぐRAMディスクBOXとか出ないもんかな。
i-RAMのネットワーク版みたいの。

>>280
>>278

ちょっとスレ違いかもしれないけど。
IETをターゲットにして、PXE+iSCSI Root+Multipathな
CentOS５.２を構築してみたんですが、
OSをシャットダウンするとき、NICをdownさせた直後に
当然iSCSIの通信が出来なくなってハングってしまいます。
ファイルシステムをアンマウントしないで電源落とすの
怖いんですが、正常にシャットダウン出来ている人いますか？

自己解決しました。
/etc/rc.[0|1|6]/K90networkを_K90networkとかにリネームして、NICを
落とさないようにしたら正常終了・再起動できました。
調べたらNFS Rootとかでは良く使う手みたいですね。

>>282
心配ならsync後shutdownだろｊｋ

11gでiSCSIは厳しぃ！！！
鯖部屋からCat5e引っ張ってもらう工事してもらおうかな。

FreeNASでiSCSIターゲットを立ててみたけど
iSCSIって、CPUパフォーマンス要るんだな (;´Д｀)
余ってたC3機では、全然スピードでないorz
ディスクペンチ走らせると、CPU usage 100%に張り付きだ。

NICは?

カニだな。。。

いやまて、ディスクペンチなのがダメな原因じゃないか？

>>287
NICはGbE-PCI2で、M/Bは625EMP800(C3 800MHz)、DDR400 512MB*2。
FreeNASは0.69b3。イニシエータ側はWinXPの自作機(環境省略)
って、ここまで書いて気付いたが、スマン 板違いだった。
一応、続き書いとくと、
HDDはIDEの200GB(ST3200822A)に、iSCSIの領域を10GBほど確保。
で、ログインしてNTFSでフォーマット、CrystalDiskMark2.2を走らせてみると

(iSCSI／CIFSの順。単位はMB/s)
Sequential Read : 19.814／28.176
Sequential Write : 16.542／15.025
Random Read 512KB : 18.508／26.024
Random Write 512KB : 14.271／15.415
Random Read 4KB : 6.025／9.663
Random Write 4KB : 1.745／2.955
Test Size : 500 MB

という具合だった。
試しにExploreで数GBのファイルをコピーしてみたけど
iSCSI/CIFS共々、概ねSequential Writeと同じくらいの速度だったよ。

パフォーマンス求めるなら断然HBAだね。

>>290
Windowsのクライアントから見たシーケンシャルは、
NTFSとUFS(2)の仕様上、FreeNAS側でスラッシングの嵐なんじゃね？

SCSIはバースト転送だし、NIC性能というより、
イニシエータ、クライアントサイドは、HDDのバッファと同等か、
それ以上のバッファが必要かと思える。

CentOS 5.2でRTL811CがGigabitでリンクしない場合
ttp://blog.xe.bz/archives/51074861.html

Xbench Version 1.3
System Version 10.5.5 (9F33)
Physical RAM 8192 MB
Model MacPro1,1
Drive Type IET VIRTUAL-DISK

Disk Test 26.34
Sequential 33.25
Uncached Write 24.06 14.77 MB/sec [4K blocks]
Uncached Write 27.77 15.71 MB/sec [256K blocks]
Uncached Read 28.77 8.42 MB/sec [4K blocks]
Uncached Read 125.38 63.01 MB/sec [256K blocks]

Random 21.81
Uncached Write 6.80 0.72 MB/sec [4K blocks]
Uncached Write 30.63 9.81 MB/sec [256K blocks]
Uncached Read 1194.61 8.47 MB/sec [4K blocks]
Uncached Read 352.22 65.36 MB/sec [256K blocks]

iSCSIターゲット ubuntu 8.04 1GB 500GBx4(RAID5)
iSCSIイニシエータ Lopard 10.5.5 Mac Pro 8GB

って感じなんだけど、 Readに比べて、Writeが遅い気がする。

Lopard→Leopard

>>294
RAID5でランダム書き込みした場合、書き込み先ドライブが分散されるとは限らないし、
調停作業だけでもオーバヘッドになるだろｊｋ

open SUSEにiSCSI targetを設定してWindowsでフォーマットしたあと再起動したらext3のfsckが走ってしまった・・・・・
気づかず-yオプションつけたら全滅ｗ

うは、オレってバカの極みｗｗｗｗｗ

>>294
参考になりました。ありがとう。
安定性やCPU負荷はどうですか？

>>298
素人なので詳しく分析出来てないですが特に問題ないです。
1TB強のデータを一日かかって転送したけど普通に使えてます。
ターゲット(Cel420)／イニシエータのCPU負荷はリード／ライトともに気にするほどでもないかなぁと。

1GBのファイルをターゲットへ一つだけコピーさせると15MB/sec。
二つ同時にコピーさせると30MB/sec出る。
三つ同時でも30MB/secだったからこれが上限かな。

やっぱりローカルライクにデータを扱えるのはいいなぁ。
itunesのディレクトリとかディレクトリ数が1000以上あってもすぐ開くし。
もう少し普及して欲しい…。

ちなみに、ネットワークはどんな条件かいな。

同じセグメントに他のホストがぶら下がってる？
それともターゲット−イニシエータ間は別系統？

書き込んだXbenchは同一セグメントにはハブ二台で計12台でぶら下がっています。
ターゲット、イニシエータは同じハブ(16ポート)で、8台がぶら下がってる状態で測定しました。
直結ではシーケンシャルが+5MB/secくらいで、ランダムは誤差程度でした。

ありゃ、ニホンゴが。
疲れてる状態で適当に書くもんじゃないですね。
ちゃんと伝わるか怪しいけど訂正。

ルーター - 8ポートハブ(4台) - 16ポートハブ(8台)
計12台ぶら下がっています。

書き込んだXbenchは16ポートハブにターゲット、イニシエータ含め8台がぶら下がってる状態で測定しました。
直結ではシーケンシャルが+5MB/secくらいで、ランダムは誤差程度でした。

おかしかったらごめんさいです。
疲れたのでもう寝ます。

ありがとう。参考になりました。
うちでもやってみたいな。

Windows Server 2008 のクラスタで要求されている
「SCSI-3 の 永続的な予約」とやらは、
iSCSI Enterprise Targetではクリアできないの？

2003ではフェイルオーバークラスタ組めたけど、
2008だとなんかうまくいかないのよ。

保守ついで

1台でXenとiSCSIターゲット(iet以外でも可)やるなら、今はどのディス鳥ｵﾇﾇﾒ?

CentOS

openSUSE

SUSEってTarget最初から入ってるの？

iscsi-targetはあってyastで設定できるけど
カーネルのupdateで必要なカーネルモジュールが落ちた気がする。

そこで颯爽とFreeNASが登場

FreeNASはインスコ先のHDDを対象にできないのが・・・。

>>311
USBメモリーとかにインスコすればいいんじゃね？

slackwareで1から作るとか

そこで颯爽とOpenFilerが登場

インターネット経由のiSCSIってありなの？
認証だけちゃんとしてたらおｋ？

>>315
ありってどのレベル？
技術レベルならできるかもってことになるが、
グローバルIP割り当てたiSCSIをそのまんま公開するのが
セキュリティ的にありかって聞かれればなし

せめてVPNを通すかってことになるが、敷居も若干高くなるね
パフォーマンス的には知らん

iSCSIを使った遠隔バックアップなんかには使えるの、、か？

ノートパソコンで使えるHBAってありますか？
普通のNICでやれってこと？

ブートさせなきゃ普通のNICでできる
ブートさせる場合でも、DHCP/tftp立てれるなら、PXE使えればできる

linux板なので、あえてwindowsは無視してみた


遠隔はVPNか、速度出そうと思ったら広域LAN（カネカカルー）
通常のダイアルアップ回線でもできないことはないけど、まぁ常識的に無い。

ギガビットで専用のネットワーク組むの薦められるくらいだし
やって出来なくはない程度じゃないかな＞広域iSCSI

さらに質問ですまないのだが
iSCSIターゲットでおすすめのRAIDありませんか？
予算は30万円ぐらいまで
バッファローは対象外です

ふと、百円をやったら次は一万円をよこせと言い出す、みたいな話を思い出した。

>>321
ML115(\13000)+WD1T(\11000)*4にCentOS5.2のRAID0にして4T近くをiscsi enter prise targetにして使ってる私がとおりますよっと。クライアントがwindowsなもんでMBR制約内の2Tに分けてるけど。
Cent(というかLinux)素人だったけど、OS標準インストールして
yum update
yum install gcc
yum install kernel-devel
yum install openssl-devel
(iet落としてきて)make install
だけで動いたような。ちなみにiptablesは当然編集、SElinuxはPermissive(無効だっけ？あと、つづりあってる？）で使ってる。
それにしても今でもCentOSでRAID5(mdadm)の使い方がわかんねぇ。。。勉強中に作ってそのままなもんで。今じゃデータ入れちゃって壊せんし・・orz

CentOSでRAID5できるなら、最低6万ちょいあれば3Tぐらい(実質2.7Tぐらい？)の『iSCSIターゲットでおすすめのRAID』ができんじゃないかな？
速度やメンテ性で”おすすめ”に見合うかはわからんけど。



正直、初心者でiSCSI-SAN手をだして、今はひどいめにあっている。
このスレ(住人さんも多分)は私には敷居たかすぎです。。。

>>323
ひどいめって何？
それだけじゃわかんないぜ。

RAID0がつくれるのにＲＡＩＤ5が作れないなんて・・・

>>324
んー iSCSI鯖をトイレで動かそうとしてるんだけどndiswrapperとかlsusbとかinsmodとかiwconfigとか苦労してるとか。
【Wireless】Linuxで無線LAN【IEEE802.11】
http://pc11.2ch.net/test/read.cgi/linux/1214318174/l50
とか見て参考にしてるけどﾀﾞﾒﾀﾞ…

>>325
ちなみにML115のBIOSでRAID5つくれるよん。多分Centからは2.7Tのボリュームで認識できるんじゃない？
＞速度やメンテ性で”おすすめ”に見合うかはわからんけど。
ってのは”オンボードRAID5でメンテしやすいか？”って言いたかった。うまく言えてなかったですわぁ



それにしてもRAIDに30万とかだせる人がｳﾗﾔﾏｼｽ…orz

30万って仕事で使うってことだろ。
あんたみたいに遊びじゃない。

遊んでｏｋ
仕事が遊びより偉いわけじゃない

うらやましいなら遊びで30万突っ込んじゃおうぜ

遊びだから30万って考え方も。

仕事だったら500万とかに・・・・

金あるエンプラさんならNetAppとか買うだろう。

俺はEMC のほうが好き。