Linux iSCSI 友の会

貧乏人でもiSCSIが使用可能なLinux-iSCSIについて語ろう。

FreeNASよりも高速、クラスタ対応のファイルシステムを使えば共有も可能。
NFSよりも圧倒的に高速です。

The iSCSI Enterprise Target Project
http://iscsitarget.sourceforge.net/

>>452
PCのケースを変えたらスロットの位置関係で使ってたRAIDカードが入らなくなってしまった。
仕方なく別のPCにそのRAIDカードを挿し、
そっちをiSCSIターゲットにして iSCSI経由で接続することにした。
こりゃ便利。

同じようなパターンで、家の中に一台だけ大きいのがあれば
他の小型orノートPCで簡単に大容量ストレージが使用可能になるってのは
個人レベルでも大きなメリットになるのでは。
設置コストが安いしWinからでも使えるし。

ただ、便利だけど速くはないんだよなー
サーバがLinuxに7200rpmの1.5Tx4でRAID5、クライアントがWin7RTMだけど
クライアントから見たディスクの速度はほぼローカルディスク単発程度。
可もなく不可もなく。

まあそんなもんだろ。
ギガイーサとコアオンリーなdebianにietdのみのサーバーなら結構いけるけどな。

GbEの理論最大値で125MB/secだから、そういう点では速くない
それ以上望むなら10GbEかFCかな

体感ではターゲット側のキャッシュの量でシークタイムが結構相殺されるので
HDD単発を直接繋ぐよりはいいと思うけど。

>>452

クラスタの共有ディスクに使ってる。
検証環境作る時には非常に便利。

SANは高くて買えないし、NASはSCSI Diskとして認識しないので使えない。

10GbE高いばっかりでレイテンシ大きくて遅いから
そこそこ安くなりつつあるInfinibandのがいいんじゃないかな。
ターゲット1台にイニシエータ2〜4台位なら、スイッチレス
で構成すれば高いスイッチ買わないで済む。
>>446 にある、IETでiSERだけど、サポートはされている
みたいだけど実際にやったことはない。

Intel CT DesktopAdapter をESXi4用と思って買ってきたんだけど
iSCSIutilというのでNIC firmwareを書き換えると、tftp､DHCPを用意しなくても
直接ﾊﾟﾗﾒｰﾀ指定で　iSCSI boot可能って書いてあった

またどうせiSCSI化するなら、使わなくなった100MBのHUBもあるので
OnBoard NIC = internet 接続　(100MB) / Intel NIC = iSCSI用　（GB)
に分離しようかなと思い調査中
これは今NFSでも同時に２台に転送するとGBの帯域を使い切ってしまい
ほかのPC等に影響を与えるため

>>460
それiBFTの設定だよ。
http://www.microsoft.com/japan/whdc/system/platform/firmware/ibft.mspx

>>455
ということで、ターゲット側の能力次第で速度はかなり変わる。
本当に「遅い」のかはいろいろ実験してみないとよく分からんと思う。
ターゲットPCローカルで取ったベンチマークより速い数字が出てしまったりw

つか、そもそもRAID5は速くないと思うが。
仕組みからして、特に書き込みは単体ドライブよりも遅くなるはず。

>>462
iet.confで、type= を fileio, blockio どっちにした？
fileio にすると、OSのバッファキャッシュのフラッシュの
影響を受けるのか、ベンチマーク値が安定せずに
それこそ測定の度に2桁位ふらふらした記憶がある。

>462
興味深いです

再度調査して報告していただけると嬉しいです

スレチですまんが、MPIOターゲットになれるモジュールってある？

>>464
ベンチマークのためにキャッシュ切ってどうするww
fileioで安定しないのは、OSのファイルキャッシュ使うからだよ

実際fileioは遅い。てかblockioがデフォルトではない理由が判らん。

VMwareのストレージとして使うときにfileioに変えたら
速くなったんだけど、どうなんだろうな。

メモリ多めに積んだからキャッシュがよく効いただけかも

>>468
逆だろ
ﾃﾞﾌｫがblockio
ｷｬｯｼｭ使うfileioが遅いって言うならメモリ買え

>>466
そもそもMPIO不可のiSCSIターゲットなんてあんの？
MC/Sなら対応してないのは多いけど。

マルチパス実装が中途半端でクソ扱いされてるのはイニシエータ側だっけか

ietdでblockio使ったらsambaよりは断然早いけど、CPUがプアだと
まだまだ遅いですね。

亀レスだけど
infinibandはスイッチが必須じゃない？
subnet managerが存在するスイッチネットワークが必要だと思った
でもIBスイッチ安いよ。10GEより全然コスパいい
ちなみにiSERはメモリにアクセスしてるうちは速い
前試したときは500MBpsは出てた
リード、ライトともにね

>>474
OpenIBに含まれるopensmを起動しておけばOK。
switchless infinibandでぐぐると幾つか出てくるよ。

現状は低遅延広帯域ネットワークはInfinibandがベストだね。
CEEが複数ベンダから安いアダプタとスイッチが出てくるようなら、
将来は次点になるかもしれないけど、ちょっと難しそう。

>>475
スイッチレスで組めるんだ
知らなかったよ、ありがとう
RDMAoCEEが動くようになれば10GEて選択も出てくるね
RDMAエンジン搭載のCEE NICがまだ無いけど
でもTCPベースのiSCSIにも言えることだけど、
キャッシュ同期が取れる冗長が組めないと
危なくてテンポラリな空間にしか使えないよね
商用はそこ解決してるわけだけどさ

Infinibandって10GbEより圧倒的に安いんだね
超ハイエンドかと思ったが、いつの間にか部署内のサーバ間接続用なんかに
ちょっとした経費で買えそうな位まで安くなってるので驚いた
とりあえずスイッチレスで試すのに2枚買ってみようかな

iSERってiSCSIとワイヤレベルでのプロトコルが違うんだよね？
ターゲットもイニシエータも対応した奴を用意しないとパフォーマンスが出る出ない
以前に通信できないってことでおｋ？

>>477
> ターゲットもイニシエータも対応した奴を用意しないとパフォーマンスが出る出ない
> 以前に通信できないってことでおｋ？
Yes、TCPは使わないです
リモートホストのメモリに直接アクセス(RDMA)するんだけど、
RDMAのRead/WriteがSCSIのRead/Writeに相当する
iSERに対応してるのは今のところ、LinuxとOpenSolarisくらいかなあ
けどiSER評価するなら、NFS/RDMA使ったほうがいいかもよ？
そろそろLinux版がGAになるし、一番簡単
RDMA使ったストレージアクセスって、iSERもSRPもNFS/RDMAも
大してパフォーマンス変わらないもの

あと、日本語ドキュメントが皆無だから頑張ってね
How toだけなら公式wikiとかバンドルされてるドキュメントで何とかなると思う
IBの日本人エンジニアなんてほんとレアだしさ
FCと同じで案件（金）が絡まないと情報出てこないのよ

情報が少なすぎて、
「試しに買ってやってみるか」にはならないんだよな

FCなら、繋いで、インターフェースのBOOTROMで設定すれば、
あとは/dev/sd?で見えるようになって使えると思ったけど。

9割がクラスタ案件だからね
入札出来るベンダも限られるし
飯のタネのノウハウは漏らさないだろうね
でもオープンな情報も多いから
英語読む気があれば色々ためせるよ

スレの本スジから外れてきちゃったね
他に行くところも無いんだけど

InfiniBandでスレ立てていいと思う。
情報が分断する気もするけど、
iSCSIとは直接関係ないしw

やっとiSCSIのスレを見つけた…

普通のPC、またはサーバ用のOS（？）で、
そのインストールしたPCをiSCSI用のストレージとして
認識させることの出来る奴の名称、誰か知ってたら教えてくださいorz

先月くらいにちょろっと見て、後で検証してみようと思ったんだが、
名前ど忘れ＋ググっても出てこないｏｒｚ

>>482
>>1 ?

>>483
ありがとう。
確かにコレでも同じ事出来るな、どこ見てんだ俺はｏｒｚ

でも名前が違ったような気がするんだよなぁ…
仕様見に行ったときもっとグラフィカルなサイトだった気がするし
とりあえず>>1を試してみる、ありがとう！

>>484
Openfilerかな？
ttp://pc11.2ch.net/test/read.cgi/mysv/1231469122/

Windowsで気軽に使えるクラスタファイルシステムマダー（・∀・ ）っ/凵 ⌒☆ﾁﾝ

>>484
sstorageかな？
http://storage.isp.jp/

次は10GbEが欲しくなる。

飽き足らずにInfinibandが欲しくなる

10GbEは意外と安くならないね

来年からIntelはオンボ10Gにするらしいけどね。
問題はL2スイッチが直ぐには安くなりそうもないこと。

iSCSI用途に限らないんだけど、今のLinuxで10Gのカードって
ノウハウ的にどこがおすすめ?

Intel,Broadcom,Chelsio,MallaoxあたりとBladeNetworksの
24portスイッチをつなげてみようかと思うんだけど。

ノウハウ的って意味が正確には判らないけど、
自分とこではChelsio買った部署があるな。
HPC屋が推してたらしい。

>>493
39s。阿鼻叫喚はとりあえず聞こえてきていないということですね。

とりあえず阿鼻叫喚は聞こえて来ないから、マトモに動かないと
いうことは無いんじゃない？
ただし、ToEはカード上で処理できるセッション数を超えた途端に
ホストCPU処理になってしまうため、用途によってはトラフィックごとに
アダプタを別けざるを得ず、ケーブリングでハマると聞いたことが
あるので、その辺は実際のワークロードをかけて幾つかの製品を
試したほうがいいと思う。
最近はCEEだ何だと言われる位なので、各社問題無くなってるのかも
しれないけど。

ToEってなに？

TOE == TCP Offloading Engine

単に"o"にツッコミたかった？

なんだTOEのことかよ

安NASでもtargetサービス有になってきてるんか
http://bb.watch.impress.co.jp/docs/news/20091104_326288.html

>>499
こんな信頼性もパフォーマンスも無さそうなTargetの
使いどころが正直判らん。
VMwareとかHyper-Vとかのライブマイグレーションの練習用？

>>500
練習だったら自分で組んだ方が早いわな。

ソフトウェアによるイニシエータ/ターゲットの存在を
知らない人も世の中にはいるんだよw

いや、マジで。

>>502
そんな人がVMwareとかHyper-Vでシステムを仮想化とか、無茶じゃないか？
一人でVMware Player使うとかいうのとはわけが違う。

>>503
> そんな人がVMwareとかHyper-Vでシステムを仮想化とか、無茶じゃないか？
> 一人でVMware Player使うとかいうのとはわけが違う。
そんなに違うか？
所詮単なる道具だぜ？

>>504の意見に賛同

>>503は勘違い選民思想チビデブハゲってことでおｋ？

>>503
文章読解力がないようだが、>>502は>>500-501に対するresだ。
つまり「信頼性もパフォーマンスもなさそうなTarget」の存在意味。
仮想化云々はまったく関係ない。

iSCSIは従来のSCSI同様
専用のHBAと専用の機器の組み合わせで使うものだ
と思い込んでる人もいる、とゆー話。

# いや、某中古サーバ専門店の店員が。
# マジ驚いたよw

ぉっと

iSCSI HBA使うメリットって今あんのかな？
8GFCのスイッチとHBAの価格が4GFCと大して変わらんくらいまで落ちてきてんだよね

あるPC（Windows7）からiSCSIでマウントしてるディスクを
別PC（XP）からSambaでファイル共有して同時に読み書きってできるのかな

iSCSIは、SCSIであって、使い方はSATAやSASとほぼ一緒

なので、iSCSIをマウントしたPC/鯖とsambaで共有すればいい。

>>510
レスありがとうございます

この例はあぼーんするが
[PC1:Win7/NTFS] <---iSCSI---> [NAS鯖:Linux/EXT3] <---iSCSI---> [PC2:Win7/NTFS]

この例は大丈夫ってことですね
[PC1:Win7/NTFS] <---Samba--->
[PC3:XP/NTFS]　 <---Samba---> [NAS鯖:Linux/EXT3] <---iSCSI---> [PC2:Win7/NTFS]
[PC4:XP/NTFS]　 <---Samba--->

どっちがどっちだ？

iSCSIはブロックデバイス、sambaはファイルシステム

ブロックデバイス(HDD)を適当なファイルシステムでフォーマットして
sambaで共有させれば、結果的にiSCSIの中にあるファイルを共有したことになる。

iSCSIのイメージをsambaで共有しても、HDDイメージファイルを共有したことにしかならない。

>>512
NAS鯖
・24h常時稼動
・iSCSI Target（物理ストレージ側）
・Sambaファイル共有サーバー

PC1〜4
・電源ON/OFFのある完全なクライアントPC
・iSCSI Initiator
・Windowsファイル共有クライアント（Windowsファイル共有サーバーの設定はせず）

他PCがマウント中のHDDイメージの中身を、NAS鯖自信ならば読み書きできると勘違いしました
あくまでHDDイメージなんですね

>>511の上の例では、
NAS鯖内に複数の異なるHDDイメージを作成して、
それぞれマウントすればあぼーんすることはないが、
同一のHDDイメージをマウントするとあぼーんするわけですね

>>511の下の例では
PC2がマウント中のHDDイメージを、NAS鯖がマウントするとあぼーんするから、
PC2をWindowsファイル共有サーバーにする方法しかないと理解しました
経路も迂回するし、PC2が電源OFFの時は読み書きできずとうまくいかないもんですね

クラスタファイルシステムでも使えばよろし。

クラスタファイルシステム何種類かあるけど一番有力なのはどれだろう
Windowsでも一つくらいサポートしてもいいような

iSCSIをocfs2で使うのと、
iSCSIをサーバのどれかがNASになってNFS/SMBで共有するのは
どちらが性能いいのかな。Linuxのみで使うとして。

ん？HDDイメージの場合、Targetとしてマウント中でも
HDDイメージそのものはそれがおいてある物理HDD上で
コピーしたりすることはできるよね？

できるけど・・・・
イメージの前半と後半でコピーした時間が違うなんてことになるぜ

>>517
ocfs2は、CPU負荷が高くなると、同期・調停信号が遅れて、
ファイル壊れるとか消えるとか色々変な事が起きる。
ので、smbで済むような用途ならsmbの方が良い。
タイムスタンプの精度が必要とか、
inodeの値まで揃える必要があるような場合だとocfs2

>>516
Windowsで使えるクラスタファイルシステムだとOCFSくらいじゃね？

認識があってるかも分からんが
linuxのkernel-stageに /fs/dst つ〜ブロックデバイスのネットワークプロトコルが入ってた
nfsの替わりもあってpohmelfsというらしい

5年後に名前が残ってるかさえわからんが…

>>518
それがやりたい人はSolaris使ってZFS pool上にiSCSI targetを構築しましょう。

LVMじゃ駄目なの？

ﾊｧ?

>>523
とりあえず、SolarisのZFS + iSCSIがどう動作しているのか
お勉強してきた方がいい

ターゲットの0.4.16と1.4.19を比べて
特に高負荷時のパフォーマンス上がってますか？

CentOS5.4(2.6.18-164.11.1.el5) + iet(1.4.19)
でターゲット構築してるんですがローカルで
iscsiam -m discovery -t sendtargets -p hogehoge
とやってもタイムアウトしてしまって、ターゲット名が表示
されません。

iscsiadm: socket 3 header read timed out
iscsiadm: Login I/O error, failed to receive a PDU

とあるので、iscsi-targetが接続要求に反応していないのではないかと
思うのです。ietd.confはデフォルトのLun 0 Path=の部分のみ書き換えて
後はそのままです。

#cat /proc/net/iet/session
tid:1 name:iqn.2001-04.com.example:storage.disk2.sys1.xyz

#cat /proc/net/iet/volume
tid:1 name:iqn.2001-04.com.example:storage.disk2.sys1.xyz
lun:0 state:0 iotype:fileio iomode:wt path:/dev/VG00/test

と出るので、IETの起動も一見正常に行われているように見えます。
ただ、この状態でservice iscsi-target stopとやると正常に停止できず、
psで見るとietadm --op deleteがうまくいっていなくて止まっているようです。

何かヒントだけでも頂けませんでしょうか？

3260番ポートを開けてない、とか?

ところで、単なる好奇心ですが
CentOS標準の tgtd ではなく
ietd を選んだのは何故でしょう?

CDNって分散fsって言っていい物?

>>528
iptablesではローカルホスト、ローカルネットワークからは全部開けてて、
一応telnetで接続するとコネクションまでは出来てるっぽいです。

わざわざietを使う理由ですけど、クライアントでMacを使ってて、
GlobalSAN iSCSI initiatorとの相性が悪くてマウントは出来るけど
書き込みが出来ないんですね。Windowsでは普通に使えるんですけど。
で、仕方なくietを使おうとしている次第でした。

まぁ、バックアップ用途なので最悪NetatalkかSAMBAで代替とします。

VMware vSphere 4を試す【第三回】
iSCSIストレージをESXiサーバーに接続する
http://enterprise.watch.impress.co.jp/docs/series/virtual/20100209_346829.html

tgtd でターゲットを作成する際、
過去に使った(既に消された) tid ってのは再利用不能なんでしょうか?

tgtadm --lld iscsi -m target -o show で何も表示されない
(ターゲットが一つも存在しない)状態でも
--tid=0 などと既に削除した ID を指定して新規作成しようとすると
tgtadm: 'tid' option is necessary と断られてしまいます。
もちろんまだ一度も使ってない ID を指定すれば作成可能なのですが、
これでは「どこまで使ったか」を別途記録しておかないといけないことになり
テストで作成/削除を繰り返した後など、非常に不便です。

これは「そういうもの」なんでしょうか?
また「既に使ったもの」はどこを見れば確認できるのでしょう?
使用 OSは CentOS 5.4です。

ietdとscstは使ったけどietdは使ったこと無いな

kernel-2.6.33 で iscsitargetを利用したいのですがpatchなどありましたら教えてください

2.6.14以降なら普通に使えると思うが
何かパッチが必要なの?

ietdの場合は一応モジュール作らないとならないんじゃなかったかな

パッチが大量に当たっているディストリのkernelだとconflictすることもあるだろう。
そういう場合はディストリ配布のパッケージ使えばいいわけだけど。

iscsitarget-1.4.19で、writeよりreadの方が圧倒的に遅いんだけど、こういうもの？
イメージではwriteの方が遅くなるよな気がしてたんだけどなぁ。
fileioでもblockioでも同じ結果。

>>534
RH系なら、rpmbuildでkmod出来るから、それを先にｲﾝｽｺすればおｋ

以前動かしていたietdでは、read/writeによる速度差は感じなかった。
どちらかのNICが送信に弱い/受信に弱いとか、なんかあるんじゃね？

そもそも、ietdも動作おかしい点がいくつもあるけど。

NICそのものかドライバが原因てのはあるかもね。
iperfだとワイヤースピード出るのに、
iometerでブロック流すとリードだけ安定しないってのは遭遇したことある。
その時はドライバ変えたら改善した。
とりあえずオフロード無効にしてみ？

>>538-539
tgtdにしてみたら嘘みたいに解消した…。
負荷的にもtgtdの方がかなり有利みたい。
Cent雄5.4 x86_64環境。

まだ詳しく検証してないから、はっきりしたことは分からんけど、
NICドライバ周りも含めて色々調べてみる予定。

今のところ、

＞ そもそも、ietdも動作おかしい点がいくつもあるけど。

これには同意せざるを得ない感じ。

ho

ze

Hyper-V2.0 Live-Migration 用に、WSFC構築時のiSCSIとして、
ietdとtgtdを使ってみました。

すったもんだあって、結局・・・OpenSolarisのZFSでiSCSI-Targetを
使って、何となくWSFCを構成していますが、クラスタ検証テストはNG、
でも、Hyper-Vのクイックマイグレーション程度なら使えるっぽいです。

最初、dladmとか使ってNICチーミングしていた時は、ごまかしごまかしで
クラスタ検証テストも警告状態でスルーしたのですが、MPIOに切り替えると
クラスタ検証テストは完全にNGで終了しました。（涙

なお、NICはIntel系×４ポート、Mem16GB、Xeon3440、SATA1TB×４：Raid-5
構成の同一ハード仕様サーバを複数台使って検証しました。
＃金出して、StoregeServerStandard以上を使えって事でしょうか？

まぁ、・・・ご参考まで。

超亀報告ですが、ietdのバグだったようで
正常に動作してなかったみたいです。1.4.20.1で
rpmパッケージを作成してインストールしてみたら、
あっさりつながった…。

IETでBlockSize使うとWindowsからまともに使えないな

冤罪だった
WindowsもIETも悪くない
VirtualBoxだ

乙

iSCSIサーバーの性能ってCPUに左右される？
昔のセレロンPCとかをサーバーにしても遅いかな。

>>548
>>462
誰もそれ以上テストしてないので結論は出てないが

>>548
左右されるよ
あとメモリ容量にもね。

まぁセレロン言ってもピンキリだから何とも言えんわな。

>>548
iSCSIのパフォーマンスは伝送路に大きく左右される。つまりNIC/ケーブル/ハブ。
さらに言えば、CPU、ノースブリッジ、サウスブリッジ、メモリ。
iSCSIで接続したHDを、他の何と比べるかによって答えは変わってくる。

ローカル接続のHDと比べると、ネットワークは、10MbpsでiSCSIは話にならない。
100Mbpsでも、常用するには使い方を割り切るか、忍耐強さが必要。
感覚的には、USB接続の外付けHD程度(但し抜き差し不可)かな。
たとえばDVD1枚分のコピーに1時間...みたいな。(もうちょい早いか?)

それなりに使おうとすれば1Gbpsは必要。
実効速度で最低でも300〜500Mbpsは出ないと辛い。
ビット毎秒をバイト毎秒に置き換えればわかると思うが、
仮にGbEを使って実効速度800Mbps出たとしても、100メガバイト毎秒。
それでやっと一昔前のパラレルATA接続のハードディスクといい勝負。

当然、GbEを活かそうと思えば、それなりのCPUに、
それなりのノースブリッジ、サウスブリッジ、それにメモリも必要になってくる。
実験や勉強なら鱈セレでも使える...っちゃあ、使えるが、
GbEを活かせないようなハードウェアなら、実用にはならないと思った方がいい。
セレロンを積んでるような奴では、かなりキツイと思う。

でも要は、何と比べるか...だと思うよ。

結論：「やってみんとわからん」

CentOS で iSCSIターゲットをデータ領域としてマウントしているのですが、
shutdown/reboot時にはこのデバイスを先にアンマウントしておかないと
Umounting file systems で止ってしまい正常に終了できません。
このアンマウントを自動的に行わせるにはどうしたらいいのでしょう?

安全を考えるとデバイスを使用している可能性のある samba等の終了より後で
アンマウントしたいところですが、かといって iscsid や network が終了した後では
(当然)正常に umount が実行されません。
(即ち、/etc/rc.d/rc[0|6].d/K?? の前でも後でも不可)
取り敢えず、現在は /etc/rc.d/init.d/iscsi の stop スクリプトの先頭に umount を
書き込んでしまいましたが、どうにも美しくありません。

皆さんはどうやって解決してますか?

CentOS は netdev 見てくれないのか?
鳥別スレで聞いみそ。