Linux iSCSI 友の会

貧乏人でもiSCSIが使用可能なLinux-iSCSIについて語ろう。

FreeNASよりも高速、クラスタ対応のファイルシステムを使えば共有も可能。
NFSよりも圧倒的に高速です。

The iSCSI Enterprise Target Project
http://iscsitarget.sourceforge.net/

>>477
> ターゲットもイニシエータも対応した奴を用意しないとパフォーマンスが出る出ない
> 以前に通信できないってことでおｋ？
Yes、TCPは使わないです
リモートホストのメモリに直接アクセス(RDMA)するんだけど、
RDMAのRead/WriteがSCSIのRead/Writeに相当する
iSERに対応してるのは今のところ、LinuxとOpenSolarisくらいかなあ
けどiSER評価するなら、NFS/RDMA使ったほうがいいかもよ？
そろそろLinux版がGAになるし、一番簡単
RDMA使ったストレージアクセスって、iSERもSRPもNFS/RDMAも
大してパフォーマンス変わらないもの

あと、日本語ドキュメントが皆無だから頑張ってね
How toだけなら公式wikiとかバンドルされてるドキュメントで何とかなると思う
IBの日本人エンジニアなんてほんとレアだしさ
FCと同じで案件（金）が絡まないと情報出てこないのよ

情報が少なすぎて、
「試しに買ってやってみるか」にはならないんだよな

FCなら、繋いで、インターフェースのBOOTROMで設定すれば、
あとは/dev/sd?で見えるようになって使えると思ったけど。

9割がクラスタ案件だからね
入札出来るベンダも限られるし
飯のタネのノウハウは漏らさないだろうね
でもオープンな情報も多いから
英語読む気があれば色々ためせるよ

スレの本スジから外れてきちゃったね
他に行くところも無いんだけど

InfiniBandでスレ立てていいと思う。
情報が分断する気もするけど、
iSCSIとは直接関係ないしw

やっとiSCSIのスレを見つけた…

普通のPC、またはサーバ用のOS（？）で、
そのインストールしたPCをiSCSI用のストレージとして
認識させることの出来る奴の名称、誰か知ってたら教えてくださいorz

先月くらいにちょろっと見て、後で検証してみようと思ったんだが、
名前ど忘れ＋ググっても出てこないｏｒｚ

>>482
>>1 ?

>>483
ありがとう。
確かにコレでも同じ事出来るな、どこ見てんだ俺はｏｒｚ

でも名前が違ったような気がするんだよなぁ…
仕様見に行ったときもっとグラフィカルなサイトだった気がするし
とりあえず>>1を試してみる、ありがとう！

>>484
Openfilerかな？
ttp://pc11.2ch.net/test/read.cgi/mysv/1231469122/

Windowsで気軽に使えるクラスタファイルシステムマダー（・∀・ ）っ/凵 ⌒☆ﾁﾝ

>>484
sstorageかな？
http://storage.isp.jp/

次は10GbEが欲しくなる。

飽き足らずにInfinibandが欲しくなる

10GbEは意外と安くならないね

来年からIntelはオンボ10Gにするらしいけどね。
問題はL2スイッチが直ぐには安くなりそうもないこと。

iSCSI用途に限らないんだけど、今のLinuxで10Gのカードって
ノウハウ的にどこがおすすめ?

Intel,Broadcom,Chelsio,MallaoxあたりとBladeNetworksの
24portスイッチをつなげてみようかと思うんだけど。

ノウハウ的って意味が正確には判らないけど、
自分とこではChelsio買った部署があるな。
HPC屋が推してたらしい。

>>493
39s。阿鼻叫喚はとりあえず聞こえてきていないということですね。

とりあえず阿鼻叫喚は聞こえて来ないから、マトモに動かないと
いうことは無いんじゃない？
ただし、ToEはカード上で処理できるセッション数を超えた途端に
ホストCPU処理になってしまうため、用途によってはトラフィックごとに
アダプタを別けざるを得ず、ケーブリングでハマると聞いたことが
あるので、その辺は実際のワークロードをかけて幾つかの製品を
試したほうがいいと思う。
最近はCEEだ何だと言われる位なので、各社問題無くなってるのかも
しれないけど。

ToEってなに？

TOE == TCP Offloading Engine

単に"o"にツッコミたかった？

なんだTOEのことかよ

安NASでもtargetサービス有になってきてるんか
http://bb.watch.impress.co.jp/docs/news/20091104_326288.html

>>499
こんな信頼性もパフォーマンスも無さそうなTargetの
使いどころが正直判らん。
VMwareとかHyper-Vとかのライブマイグレーションの練習用？

>>500
練習だったら自分で組んだ方が早いわな。

ソフトウェアによるイニシエータ/ターゲットの存在を
知らない人も世の中にはいるんだよw

いや、マジで。

>>502
そんな人がVMwareとかHyper-Vでシステムを仮想化とか、無茶じゃないか？
一人でVMware Player使うとかいうのとはわけが違う。

>>503
> そんな人がVMwareとかHyper-Vでシステムを仮想化とか、無茶じゃないか？
> 一人でVMware Player使うとかいうのとはわけが違う。
そんなに違うか？
所詮単なる道具だぜ？

>>504の意見に賛同

>>503は勘違い選民思想チビデブハゲってことでおｋ？

>>503
文章読解力がないようだが、>>502は>>500-501に対するresだ。
つまり「信頼性もパフォーマンスもなさそうなTarget」の存在意味。
仮想化云々はまったく関係ない。

iSCSIは従来のSCSI同様
専用のHBAと専用の機器の組み合わせで使うものだ
と思い込んでる人もいる、とゆー話。

# いや、某中古サーバ専門店の店員が。
# マジ驚いたよw

ぉっと

iSCSI HBA使うメリットって今あんのかな？
8GFCのスイッチとHBAの価格が4GFCと大して変わらんくらいまで落ちてきてんだよね

あるPC（Windows7）からiSCSIでマウントしてるディスクを
別PC（XP）からSambaでファイル共有して同時に読み書きってできるのかな

iSCSIは、SCSIであって、使い方はSATAやSASとほぼ一緒

なので、iSCSIをマウントしたPC/鯖とsambaで共有すればいい。

>>510
レスありがとうございます

この例はあぼーんするが
[PC1:Win7/NTFS] <---iSCSI---> [NAS鯖:Linux/EXT3] <---iSCSI---> [PC2:Win7/NTFS]

この例は大丈夫ってことですね
[PC1:Win7/NTFS] <---Samba--->
[PC3:XP/NTFS]　 <---Samba---> [NAS鯖:Linux/EXT3] <---iSCSI---> [PC2:Win7/NTFS]
[PC4:XP/NTFS]　 <---Samba--->

どっちがどっちだ？

iSCSIはブロックデバイス、sambaはファイルシステム

ブロックデバイス(HDD)を適当なファイルシステムでフォーマットして
sambaで共有させれば、結果的にiSCSIの中にあるファイルを共有したことになる。

iSCSIのイメージをsambaで共有しても、HDDイメージファイルを共有したことにしかならない。

>>512
NAS鯖
・24h常時稼動
・iSCSI Target（物理ストレージ側）
・Sambaファイル共有サーバー

PC1〜4
・電源ON/OFFのある完全なクライアントPC
・iSCSI Initiator
・Windowsファイル共有クライアント（Windowsファイル共有サーバーの設定はせず）

他PCがマウント中のHDDイメージの中身を、NAS鯖自信ならば読み書きできると勘違いしました
あくまでHDDイメージなんですね

>>511の上の例では、
NAS鯖内に複数の異なるHDDイメージを作成して、
それぞれマウントすればあぼーんすることはないが、
同一のHDDイメージをマウントするとあぼーんするわけですね

>>511の下の例では
PC2がマウント中のHDDイメージを、NAS鯖がマウントするとあぼーんするから、
PC2をWindowsファイル共有サーバーにする方法しかないと理解しました
経路も迂回するし、PC2が電源OFFの時は読み書きできずとうまくいかないもんですね

クラスタファイルシステムでも使えばよろし。

クラスタファイルシステム何種類かあるけど一番有力なのはどれだろう
Windowsでも一つくらいサポートしてもいいような

iSCSIをocfs2で使うのと、
iSCSIをサーバのどれかがNASになってNFS/SMBで共有するのは
どちらが性能いいのかな。Linuxのみで使うとして。

ん？HDDイメージの場合、Targetとしてマウント中でも
HDDイメージそのものはそれがおいてある物理HDD上で
コピーしたりすることはできるよね？

できるけど・・・・
イメージの前半と後半でコピーした時間が違うなんてことになるぜ

>>517
ocfs2は、CPU負荷が高くなると、同期・調停信号が遅れて、
ファイル壊れるとか消えるとか色々変な事が起きる。
ので、smbで済むような用途ならsmbの方が良い。
タイムスタンプの精度が必要とか、
inodeの値まで揃える必要があるような場合だとocfs2

>>516
Windowsで使えるクラスタファイルシステムだとOCFSくらいじゃね？

認識があってるかも分からんが
linuxのkernel-stageに /fs/dst つ〜ブロックデバイスのネットワークプロトコルが入ってた
nfsの替わりもあってpohmelfsというらしい

5年後に名前が残ってるかさえわからんが…

>>518
それがやりたい人はSolaris使ってZFS pool上にiSCSI targetを構築しましょう。

LVMじゃ駄目なの？

ﾊｧ?

>>523
とりあえず、SolarisのZFS + iSCSIがどう動作しているのか
お勉強してきた方がいい

ターゲットの0.4.16と1.4.19を比べて
特に高負荷時のパフォーマンス上がってますか？

CentOS5.4(2.6.18-164.11.1.el5) + iet(1.4.19)
でターゲット構築してるんですがローカルで
iscsiam -m discovery -t sendtargets -p hogehoge
とやってもタイムアウトしてしまって、ターゲット名が表示
されません。

iscsiadm: socket 3 header read timed out
iscsiadm: Login I/O error, failed to receive a PDU

とあるので、iscsi-targetが接続要求に反応していないのではないかと
思うのです。ietd.confはデフォルトのLun 0 Path=の部分のみ書き換えて
後はそのままです。

#cat /proc/net/iet/session
tid:1 name:iqn.2001-04.com.example:storage.disk2.sys1.xyz

#cat /proc/net/iet/volume
tid:1 name:iqn.2001-04.com.example:storage.disk2.sys1.xyz
lun:0 state:0 iotype:fileio iomode:wt path:/dev/VG00/test

と出るので、IETの起動も一見正常に行われているように見えます。
ただ、この状態でservice iscsi-target stopとやると正常に停止できず、
psで見るとietadm --op deleteがうまくいっていなくて止まっているようです。

何かヒントだけでも頂けませんでしょうか？

3260番ポートを開けてない、とか?

ところで、単なる好奇心ですが
CentOS標準の tgtd ではなく
ietd を選んだのは何故でしょう?

CDNって分散fsって言っていい物?

>>528
iptablesではローカルホスト、ローカルネットワークからは全部開けてて、
一応telnetで接続するとコネクションまでは出来てるっぽいです。

わざわざietを使う理由ですけど、クライアントでMacを使ってて、
GlobalSAN iSCSI initiatorとの相性が悪くてマウントは出来るけど
書き込みが出来ないんですね。Windowsでは普通に使えるんですけど。
で、仕方なくietを使おうとしている次第でした。

まぁ、バックアップ用途なので最悪NetatalkかSAMBAで代替とします。

VMware vSphere 4を試す【第三回】
iSCSIストレージをESXiサーバーに接続する
http://enterprise.watch.impress.co.jp/docs/series/virtual/20100209_346829.html

tgtd でターゲットを作成する際、
過去に使った(既に消された) tid ってのは再利用不能なんでしょうか?

tgtadm --lld iscsi -m target -o show で何も表示されない
(ターゲットが一つも存在しない)状態でも
--tid=0 などと既に削除した ID を指定して新規作成しようとすると
tgtadm: 'tid' option is necessary と断られてしまいます。
もちろんまだ一度も使ってない ID を指定すれば作成可能なのですが、
これでは「どこまで使ったか」を別途記録しておかないといけないことになり
テストで作成/削除を繰り返した後など、非常に不便です。

これは「そういうもの」なんでしょうか?
また「既に使ったもの」はどこを見れば確認できるのでしょう?
使用 OSは CentOS 5.4です。

ietdとscstは使ったけどietdは使ったこと無いな

kernel-2.6.33 で iscsitargetを利用したいのですがpatchなどありましたら教えてください

2.6.14以降なら普通に使えると思うが
何かパッチが必要なの?

ietdの場合は一応モジュール作らないとならないんじゃなかったかな

パッチが大量に当たっているディストリのkernelだとconflictすることもあるだろう。
そういう場合はディストリ配布のパッケージ使えばいいわけだけど。

iscsitarget-1.4.19で、writeよりreadの方が圧倒的に遅いんだけど、こういうもの？
イメージではwriteの方が遅くなるよな気がしてたんだけどなぁ。
fileioでもblockioでも同じ結果。

>>534
RH系なら、rpmbuildでkmod出来るから、それを先にｲﾝｽｺすればおｋ

以前動かしていたietdでは、read/writeによる速度差は感じなかった。
どちらかのNICが送信に弱い/受信に弱いとか、なんかあるんじゃね？

そもそも、ietdも動作おかしい点がいくつもあるけど。

NICそのものかドライバが原因てのはあるかもね。
iperfだとワイヤースピード出るのに、
iometerでブロック流すとリードだけ安定しないってのは遭遇したことある。
その時はドライバ変えたら改善した。
とりあえずオフロード無効にしてみ？

>>538-539
tgtdにしてみたら嘘みたいに解消した…。
負荷的にもtgtdの方がかなり有利みたい。
Cent雄5.4 x86_64環境。

まだ詳しく検証してないから、はっきりしたことは分からんけど、
NICドライバ周りも含めて色々調べてみる予定。

今のところ、

＞ そもそも、ietdも動作おかしい点がいくつもあるけど。

これには同意せざるを得ない感じ。

ho

ze

Hyper-V2.0 Live-Migration 用に、WSFC構築時のiSCSIとして、
ietdとtgtdを使ってみました。

すったもんだあって、結局・・・OpenSolarisのZFSでiSCSI-Targetを
使って、何となくWSFCを構成していますが、クラスタ検証テストはNG、
でも、Hyper-Vのクイックマイグレーション程度なら使えるっぽいです。

最初、dladmとか使ってNICチーミングしていた時は、ごまかしごまかしで
クラスタ検証テストも警告状態でスルーしたのですが、MPIOに切り替えると
クラスタ検証テストは完全にNGで終了しました。（涙

なお、NICはIntel系×４ポート、Mem16GB、Xeon3440、SATA1TB×４：Raid-5
構成の同一ハード仕様サーバを複数台使って検証しました。
＃金出して、StoregeServerStandard以上を使えって事でしょうか？

まぁ、・・・ご参考まで。

超亀報告ですが、ietdのバグだったようで
正常に動作してなかったみたいです。1.4.20.1で
rpmパッケージを作成してインストールしてみたら、
あっさりつながった…。

IETでBlockSize使うとWindowsからまともに使えないな

冤罪だった
WindowsもIETも悪くない
VirtualBoxだ

乙

iSCSIサーバーの性能ってCPUに左右される？
昔のセレロンPCとかをサーバーにしても遅いかな。

>>548
>>462
誰もそれ以上テストしてないので結論は出てないが

>>548
左右されるよ
あとメモリ容量にもね。

まぁセレロン言ってもピンキリだから何とも言えんわな。

>>548
iSCSIのパフォーマンスは伝送路に大きく左右される。つまりNIC/ケーブル/ハブ。
さらに言えば、CPU、ノースブリッジ、サウスブリッジ、メモリ。
iSCSIで接続したHDを、他の何と比べるかによって答えは変わってくる。

ローカル接続のHDと比べると、ネットワークは、10MbpsでiSCSIは話にならない。
100Mbpsでも、常用するには使い方を割り切るか、忍耐強さが必要。
感覚的には、USB接続の外付けHD程度(但し抜き差し不可)かな。
たとえばDVD1枚分のコピーに1時間...みたいな。(もうちょい早いか?)

それなりに使おうとすれば1Gbpsは必要。
実効速度で最低でも300〜500Mbpsは出ないと辛い。
ビット毎秒をバイト毎秒に置き換えればわかると思うが、
仮にGbEを使って実効速度800Mbps出たとしても、100メガバイト毎秒。
それでやっと一昔前のパラレルATA接続のハードディスクといい勝負。

当然、GbEを活かそうと思えば、それなりのCPUに、
それなりのノースブリッジ、サウスブリッジ、それにメモリも必要になってくる。
実験や勉強なら鱈セレでも使える...っちゃあ、使えるが、
GbEを活かせないようなハードウェアなら、実用にはならないと思った方がいい。
セレロンを積んでるような奴では、かなりキツイと思う。

でも要は、何と比べるか...だと思うよ。

結論：「やってみんとわからん」

CentOS で iSCSIターゲットをデータ領域としてマウントしているのですが、
shutdown/reboot時にはこのデバイスを先にアンマウントしておかないと
Umounting file systems で止ってしまい正常に終了できません。
このアンマウントを自動的に行わせるにはどうしたらいいのでしょう?

安全を考えるとデバイスを使用している可能性のある samba等の終了より後で
アンマウントしたいところですが、かといって iscsid や network が終了した後では
(当然)正常に umount が実行されません。
(即ち、/etc/rc.d/rc[0|6].d/K?? の前でも後でも不可)
取り敢えず、現在は /etc/rc.d/init.d/iscsi の stop スクリプトの先頭に umount を
書き込んでしまいましたが、どうにも美しくありません。

皆さんはどうやって解決してますか?

CentOS は netdev 見てくれないのか?
鳥別スレで聞いみそ。

情報どうもです。
_netdevオプションで解決しました。

iSCSI導入方法紹介してるサイトでも意外とこの話出てないんですね。
いや、普段 NFS等使ってる人には常識ということなんだろうけど(汗)

>>551
そうなるとNASなんかのiSCSIはダメダメかい？
ARMとかどうよ。

そんなの用途次第だろ

>>556
モノによっては真面目にGbEに対応してるものもある。
牛のLS-XHLとか。

freenasのiscsiにchapを設定した状態で
windows7のイニシエータから接続できないんですが
非対応でしょうか。

>>559
板違い
どちらもLinuxじゃねーw

ちょっと教えてください。

Linuxにデータが入ってるNTFSフォーマットなHDDを接続して、そのドライブを
iSCSIで別のWinなマシンに見せるて事は可能でしょうか？

可能

>>562

おお、やはり出来ましたか。
最初FreeNASでやろうとしてPort Multiplier使えなくて、Openfilerでやろうとした
ら、Openfilerだとファーマット前提だったので諦めかけてました。
ちょっとCentでも入れて頑張ってみます。
ありがとうございました。

ううう、何度やっても読み書きともに9MB/sぐらいしか速度がでない・・・。なぜ！

freebsd+iscsi, freenas+iscsiやったけど全部9MB/sだ・・・。
freenasスレいってきます！

100BASEだろ？普通じゃん。

ううん、netperfで実効900Mちょいっす。結局まだ悩んでる・・・。

ターゲットはせんとくん5.5+scsi-target-utilsで、
イニシエータ側はXP+MS御製の2.08を使用。

HDDイメージの方はイニシエータ側からローカルドライブの如く見えるものの、
CDのISOが変。
1.7Gbyte位のJustSuite2010のISOだとチャンとターゲット側でマウントされて、
XP側からはローカルの光学ドライブにDVDがマウントされた状態で見えるのに、
3.4GByte程度のStella Nabigator9のISOだと、ターゲット側でマウントされない。
76.8GByte程度のISOだとなおさら。
XP側からは、空のドライブがローカルに接続された状態に見えるんだな。

こりゃ何だろか？

どこかに2Gの壁があるとか。

確かにBD用の70GByteものISOは異常かも知れなったが、
普通に二層DVDのISOがマウントできんとは..........

よっしゃ行けたXPのSANブート
せんとくん5.5では、iSCSI Enterprise targetの方だと、旨く決まるな。

だがCDイメージISOのマウントはまだまだ。

tgtdってwrite-cacheをoffにした方がSequential Write速いのな。
randomはオンの時の方が速いみたいだけど…

CentOS5.5で/dev/sdbのWD10EACSを丸々backing-storeに設定して
win7(x64)のPCから計測

オフの時：
Sequential Read : 107.801 MB/s
Sequential Write : 81.818 MB/s
Random Read 512KB : 102.682 MB/s
Random Write 512KB : 46.133 MB/s
Random Read 4KB (QD=1) : 10.972 MB/s [ 2678.6 IOPS]
Random Write 4KB (QD=1) : 1.250 MB/s [ 305.2 IOPS]
Random Read 4KB (QD=32) : 97.925 MB/s [ 23907.5 IOPS]
Random Write 4KB (QD=32) : 1.290 MB/s [ 315.0 IOPS]

オンの時：
Sequential Read : 107.513 MB/s
Sequential Write : 60.971 MB/s
Random Read 512KB : 100.259 MB/s
Random Write 512KB : 45.661 MB/s
Random Read 4KB (QD=1) : 10.226 MB/s [ 2496.7 IOPS]
Random Write 4KB (QD=1) : 2.819 MB/s [ 688.3 IOPS]
Random Read 4KB (QD=32) : 83.901 MB/s [ 20483.7 IOPS]
Random Write 4KB (QD=32) : 13.341 MB/s [ 3257.0 IOPS]

CDイメージのマウントに成功。

SCSI-Target-utilsの最新版なら、ちゃんと出来る模様ですな。
地図ソフトのインスコなどが、3昼夜掛かっていたのが、1時間半で出来る様になったぜ。

sentos5.5+tgtでLVMパーティーションをWindowsでiscsiでマウントさせて見て試してるんだけど、
初めはイニシエーター上でマウントしてWindowsでフォーマットさせて読み書きも問題無く使えるんだけど、
何かの拍子に再マウントするとこの「ＤＩＳＫはフォーマットされてません」となってしまう。
どうやらイニシエーター側でおかしな状態になるっぽい。
だれかやってみた人いませんか？

上の方で出てるiSCSIをソフトウェアRAID1にするのってスプリットブレインやデータ
の差異が起きたらどんな動作をするのだろう・・？
もし問題ないのならDRBDの盆雑さやリソース喰いすぎから開放されるんだが

煩雑、だよな？

ぼんざつｗ