Linux iSCSI 友の会

貧乏人でもiSCSIが使用可能なLinux-iSCSIについて語ろう。

FreeNASよりも高速、クラスタ対応のファイルシステムを使えば共有も可能。
NFSよりも圧倒的に高速です。

The iSCSI Enterprise Target Project
http://iscsitarget.sourceforge.net/

>>428
ゆとり乙

PS5000X使ってる。複数サーバだけど。
ランダムアクセスだとGbEx3 で十分すぎる感じ。
心配なら PS6500 にするか、10Gのが出るのを待つか。
PS4000 で十分じゃないかって気がするけど。

いいなぁ
16Tで100万以内くらいになれば即買うんだけどなぁ

>>427
DELLがEqualLogicを買ったわけだけど、今のところは「EqualLogic事業部」になってて
製造・セールス・サポート等全て鯖部署と別だという話だった。
なので、鯖部署に聞いても情報持ってないオチ。
何年かかけて統合だそうで。

>430、>431
アク規制でﾚｽが（ｒｙでしたm_ _m

>ランダムアクセスだとGbEx3 で十分すぎる感じ。
結果報告ですが、PS5000XVx2にしました。6Gbpsあれば当面は十二分です。
ちなみに、もう少しするとPS6000系は10Gbpsｺﾝﾄﾛｰﾗがでるそうで、
更に少し間をおいてPS5000系でも使えるようになるとの事でした…あと10年戦える。

>16Tで100万以内くらいになれば即買うんだけどなぁ
私なら、SAS15kｘ16で1x0万くらいのキャンペーンなら即買います。
10Gbpsｺﾝﾄﾛｰﾗで将来の帯域も安堵されたりしたら
２台目以降、標準価格への特例割引で2x0万であっても
買っておいて損はないと判断しました。

>何年かかけて統合だそうで。
ぁぁああ、なんか近くでそんなお話を聞いたことがｗｗｗｗ

>>432
EqualLogiciいいなあ。
うちは金がないからMD3000iさ。ファイルサーバーと軽めのVMメインだからそんなに問題ないけど。

陰茎が硬くなって上を向いたよ

ほ

そ

く

ないもんっ！

細くないから恥ずかしくないもん！

えーっと、"ほしゅ"したかったんじゃね?
結果all rightだが。。

iSCSIのターゲットって何を使ってる？？

iSCSI Enterprise Target使うのが普通なのかな？

Windows Storage Server

CentOSのyumで入るtgtdって、MS iSCSI Boot イニシエータでマウント出来無くね？
起動出来ないイニシエータは出来るけど。

iSCSI Enterprise Target 1.4.18出てた。

http://sourceforge.net/projects/iscsitarget/files/

IETでiSER出来ている人いる？

IB?

Infinibandで

それにしても、LinuxのiSCSIっていまいち盛り上がっていない気が。
FreeBSDのiSCSIはFreeNASのiSCSI対応だとか、Solarisのように
ZFSとiSCSIとの連動とかで、それなりに盛り上がっているのに。

環境がイマイチだからじゃないか。
俺もFreeNASとかSolarisは弄ったけど、Linuxはやる気しない。
って、スレ違いか。

>>449
OpenFilerというiSCSIのターゲットになれるNASアプライアンスな
ディストロがあるけど、たしかにあまり話題に上らない。
俺も一度ダウンロードしてみたけど、仮想マシンでターゲットを作ったら満足してしまった。

個人的にはDebianベースで似たようなのないかな〜と思ってるんだけど。

個人だけど、NASはvmachineのbackup用という位置づけなので
必要なときだけNASを立ち上げNFSでつなげている

個人でどのようにiSCSIを有効活用しているのか教えて欲しい

鯖にSASでHDD30本接続
接続したHDDをiSCSIで開放
他の子鯖がiSCSIbootで起動
Windows含め、ディスクレスクライアント化

vmwareとかだと、hddをイメージファイル化するけど、
仮想マシン使わずに、リアルマシンでイメージファイル化したhddが使える

>>452
PCのケースを変えたらスロットの位置関係で使ってたRAIDカードが入らなくなってしまった。
仕方なく別のPCにそのRAIDカードを挿し、
そっちをiSCSIターゲットにして iSCSI経由で接続することにした。
こりゃ便利。

同じようなパターンで、家の中に一台だけ大きいのがあれば
他の小型orノートPCで簡単に大容量ストレージが使用可能になるってのは
個人レベルでも大きなメリットになるのでは。
設置コストが安いしWinからでも使えるし。

ただ、便利だけど速くはないんだよなー
サーバがLinuxに7200rpmの1.5Tx4でRAID5、クライアントがWin7RTMだけど
クライアントから見たディスクの速度はほぼローカルディスク単発程度。
可もなく不可もなく。

まあそんなもんだろ。
ギガイーサとコアオンリーなdebianにietdのみのサーバーなら結構いけるけどな。

GbEの理論最大値で125MB/secだから、そういう点では速くない
それ以上望むなら10GbEかFCかな

体感ではターゲット側のキャッシュの量でシークタイムが結構相殺されるので
HDD単発を直接繋ぐよりはいいと思うけど。

>>452

クラスタの共有ディスクに使ってる。
検証環境作る時には非常に便利。

SANは高くて買えないし、NASはSCSI Diskとして認識しないので使えない。

10GbE高いばっかりでレイテンシ大きくて遅いから
そこそこ安くなりつつあるInfinibandのがいいんじゃないかな。
ターゲット1台にイニシエータ2〜4台位なら、スイッチレス
で構成すれば高いスイッチ買わないで済む。
>>446 にある、IETでiSERだけど、サポートはされている
みたいだけど実際にやったことはない。

Intel CT DesktopAdapter をESXi4用と思って買ってきたんだけど
iSCSIutilというのでNIC firmwareを書き換えると、tftp､DHCPを用意しなくても
直接ﾊﾟﾗﾒｰﾀ指定で　iSCSI boot可能って書いてあった

またどうせiSCSI化するなら、使わなくなった100MBのHUBもあるので
OnBoard NIC = internet 接続　(100MB) / Intel NIC = iSCSI用　（GB)
に分離しようかなと思い調査中
これは今NFSでも同時に２台に転送するとGBの帯域を使い切ってしまい
ほかのPC等に影響を与えるため

>>460
それiBFTの設定だよ。
http://www.microsoft.com/japan/whdc/system/platform/firmware/ibft.mspx

>>455
ということで、ターゲット側の能力次第で速度はかなり変わる。
本当に「遅い」のかはいろいろ実験してみないとよく分からんと思う。
ターゲットPCローカルで取ったベンチマークより速い数字が出てしまったりw

つか、そもそもRAID5は速くないと思うが。
仕組みからして、特に書き込みは単体ドライブよりも遅くなるはず。

>>462
iet.confで、type= を fileio, blockio どっちにした？
fileio にすると、OSのバッファキャッシュのフラッシュの
影響を受けるのか、ベンチマーク値が安定せずに
それこそ測定の度に2桁位ふらふらした記憶がある。

>462
興味深いです

再度調査して報告していただけると嬉しいです

スレチですまんが、MPIOターゲットになれるモジュールってある？

>>464
ベンチマークのためにキャッシュ切ってどうするww
fileioで安定しないのは、OSのファイルキャッシュ使うからだよ

実際fileioは遅い。てかblockioがデフォルトではない理由が判らん。

VMwareのストレージとして使うときにfileioに変えたら
速くなったんだけど、どうなんだろうな。

メモリ多めに積んだからキャッシュがよく効いただけかも

>>468
逆だろ
ﾃﾞﾌｫがblockio
ｷｬｯｼｭ使うfileioが遅いって言うならメモリ買え

>>466
そもそもMPIO不可のiSCSIターゲットなんてあんの？
MC/Sなら対応してないのは多いけど。

マルチパス実装が中途半端でクソ扱いされてるのはイニシエータ側だっけか

ietdでblockio使ったらsambaよりは断然早いけど、CPUがプアだと
まだまだ遅いですね。

亀レスだけど
infinibandはスイッチが必須じゃない？
subnet managerが存在するスイッチネットワークが必要だと思った
でもIBスイッチ安いよ。10GEより全然コスパいい
ちなみにiSERはメモリにアクセスしてるうちは速い
前試したときは500MBpsは出てた
リード、ライトともにね

>>474
OpenIBに含まれるopensmを起動しておけばOK。
switchless infinibandでぐぐると幾つか出てくるよ。

現状は低遅延広帯域ネットワークはInfinibandがベストだね。
CEEが複数ベンダから安いアダプタとスイッチが出てくるようなら、
将来は次点になるかもしれないけど、ちょっと難しそう。

>>475
スイッチレスで組めるんだ
知らなかったよ、ありがとう
RDMAoCEEが動くようになれば10GEて選択も出てくるね
RDMAエンジン搭載のCEE NICがまだ無いけど
でもTCPベースのiSCSIにも言えることだけど、
キャッシュ同期が取れる冗長が組めないと
危なくてテンポラリな空間にしか使えないよね
商用はそこ解決してるわけだけどさ

Infinibandって10GbEより圧倒的に安いんだね
超ハイエンドかと思ったが、いつの間にか部署内のサーバ間接続用なんかに
ちょっとした経費で買えそうな位まで安くなってるので驚いた
とりあえずスイッチレスで試すのに2枚買ってみようかな

iSERってiSCSIとワイヤレベルでのプロトコルが違うんだよね？
ターゲットもイニシエータも対応した奴を用意しないとパフォーマンスが出る出ない
以前に通信できないってことでおｋ？

>>477
> ターゲットもイニシエータも対応した奴を用意しないとパフォーマンスが出る出ない
> 以前に通信できないってことでおｋ？
Yes、TCPは使わないです
リモートホストのメモリに直接アクセス(RDMA)するんだけど、
RDMAのRead/WriteがSCSIのRead/Writeに相当する
iSERに対応してるのは今のところ、LinuxとOpenSolarisくらいかなあ
けどiSER評価するなら、NFS/RDMA使ったほうがいいかもよ？
そろそろLinux版がGAになるし、一番簡単
RDMA使ったストレージアクセスって、iSERもSRPもNFS/RDMAも
大してパフォーマンス変わらないもの

あと、日本語ドキュメントが皆無だから頑張ってね
How toだけなら公式wikiとかバンドルされてるドキュメントで何とかなると思う
IBの日本人エンジニアなんてほんとレアだしさ
FCと同じで案件（金）が絡まないと情報出てこないのよ

情報が少なすぎて、
「試しに買ってやってみるか」にはならないんだよな

FCなら、繋いで、インターフェースのBOOTROMで設定すれば、
あとは/dev/sd?で見えるようになって使えると思ったけど。

9割がクラスタ案件だからね
入札出来るベンダも限られるし
飯のタネのノウハウは漏らさないだろうね
でもオープンな情報も多いから
英語読む気があれば色々ためせるよ

スレの本スジから外れてきちゃったね
他に行くところも無いんだけど

InfiniBandでスレ立てていいと思う。
情報が分断する気もするけど、
iSCSIとは直接関係ないしw

やっとiSCSIのスレを見つけた…

普通のPC、またはサーバ用のOS（？）で、
そのインストールしたPCをiSCSI用のストレージとして
認識させることの出来る奴の名称、誰か知ってたら教えてくださいorz

先月くらいにちょろっと見て、後で検証してみようと思ったんだが、
名前ど忘れ＋ググっても出てこないｏｒｚ

>>482
>>1 ?

>>483
ありがとう。
確かにコレでも同じ事出来るな、どこ見てんだ俺はｏｒｚ

でも名前が違ったような気がするんだよなぁ…
仕様見に行ったときもっとグラフィカルなサイトだった気がするし
とりあえず>>1を試してみる、ありがとう！

>>484
Openfilerかな？
ttp://pc11.2ch.net/test/read.cgi/mysv/1231469122/

Windowsで気軽に使えるクラスタファイルシステムマダー（・∀・ ）っ/凵 ⌒☆ﾁﾝ

>>484
sstorageかな？
http://storage.isp.jp/

次は10GbEが欲しくなる。

飽き足らずにInfinibandが欲しくなる

10GbEは意外と安くならないね

来年からIntelはオンボ10Gにするらしいけどね。
問題はL2スイッチが直ぐには安くなりそうもないこと。

iSCSI用途に限らないんだけど、今のLinuxで10Gのカードって
ノウハウ的にどこがおすすめ?

Intel,Broadcom,Chelsio,MallaoxあたりとBladeNetworksの
24portスイッチをつなげてみようかと思うんだけど。

ノウハウ的って意味が正確には判らないけど、
自分とこではChelsio買った部署があるな。
HPC屋が推してたらしい。

>>493
39s。阿鼻叫喚はとりあえず聞こえてきていないということですね。

とりあえず阿鼻叫喚は聞こえて来ないから、マトモに動かないと
いうことは無いんじゃない？
ただし、ToEはカード上で処理できるセッション数を超えた途端に
ホストCPU処理になってしまうため、用途によってはトラフィックごとに
アダプタを別けざるを得ず、ケーブリングでハマると聞いたことが
あるので、その辺は実際のワークロードをかけて幾つかの製品を
試したほうがいいと思う。
最近はCEEだ何だと言われる位なので、各社問題無くなってるのかも
しれないけど。

ToEってなに？

TOE == TCP Offloading Engine

単に"o"にツッコミたかった？

なんだTOEのことかよ

安NASでもtargetサービス有になってきてるんか
http://bb.watch.impress.co.jp/docs/news/20091104_326288.html

>>499
こんな信頼性もパフォーマンスも無さそうなTargetの
使いどころが正直判らん。
VMwareとかHyper-Vとかのライブマイグレーションの練習用？

>>500
練習だったら自分で組んだ方が早いわな。

ソフトウェアによるイニシエータ/ターゲットの存在を
知らない人も世の中にはいるんだよw

いや、マジで。

>>502
そんな人がVMwareとかHyper-Vでシステムを仮想化とか、無茶じゃないか？
一人でVMware Player使うとかいうのとはわけが違う。

>>503
> そんな人がVMwareとかHyper-Vでシステムを仮想化とか、無茶じゃないか？
> 一人でVMware Player使うとかいうのとはわけが違う。
そんなに違うか？
所詮単なる道具だぜ？

>>504の意見に賛同

>>503は勘違い選民思想チビデブハゲってことでおｋ？

>>503
文章読解力がないようだが、>>502は>>500-501に対するresだ。
つまり「信頼性もパフォーマンスもなさそうなTarget」の存在意味。
仮想化云々はまったく関係ない。

iSCSIは従来のSCSI同様
専用のHBAと専用の機器の組み合わせで使うものだ
と思い込んでる人もいる、とゆー話。

# いや、某中古サーバ専門店の店員が。
# マジ驚いたよw

ぉっと

iSCSI HBA使うメリットって今あんのかな？
8GFCのスイッチとHBAの価格が4GFCと大して変わらんくらいまで落ちてきてんだよね

あるPC（Windows7）からiSCSIでマウントしてるディスクを
別PC（XP）からSambaでファイル共有して同時に読み書きってできるのかな

iSCSIは、SCSIであって、使い方はSATAやSASとほぼ一緒

なので、iSCSIをマウントしたPC/鯖とsambaで共有すればいい。

>>510
レスありがとうございます

この例はあぼーんするが
[PC1:Win7/NTFS] <---iSCSI---> [NAS鯖:Linux/EXT3] <---iSCSI---> [PC2:Win7/NTFS]

この例は大丈夫ってことですね
[PC1:Win7/NTFS] <---Samba--->
[PC3:XP/NTFS]　 <---Samba---> [NAS鯖:Linux/EXT3] <---iSCSI---> [PC2:Win7/NTFS]
[PC4:XP/NTFS]　 <---Samba--->

どっちがどっちだ？

iSCSIはブロックデバイス、sambaはファイルシステム

ブロックデバイス(HDD)を適当なファイルシステムでフォーマットして
sambaで共有させれば、結果的にiSCSIの中にあるファイルを共有したことになる。

iSCSIのイメージをsambaで共有しても、HDDイメージファイルを共有したことにしかならない。

>>512
NAS鯖
・24h常時稼動
・iSCSI Target（物理ストレージ側）
・Sambaファイル共有サーバー

PC1〜4
・電源ON/OFFのある完全なクライアントPC
・iSCSI Initiator
・Windowsファイル共有クライアント（Windowsファイル共有サーバーの設定はせず）

他PCがマウント中のHDDイメージの中身を、NAS鯖自信ならば読み書きできると勘違いしました
あくまでHDDイメージなんですね

>>511の上の例では、
NAS鯖内に複数の異なるHDDイメージを作成して、
それぞれマウントすればあぼーんすることはないが、
同一のHDDイメージをマウントするとあぼーんするわけですね

>>511の下の例では
PC2がマウント中のHDDイメージを、NAS鯖がマウントするとあぼーんするから、
PC2をWindowsファイル共有サーバーにする方法しかないと理解しました
経路も迂回するし、PC2が電源OFFの時は読み書きできずとうまくいかないもんですね

クラスタファイルシステムでも使えばよろし。

クラスタファイルシステム何種類かあるけど一番有力なのはどれだろう
Windowsでも一つくらいサポートしてもいいような

iSCSIをocfs2で使うのと、
iSCSIをサーバのどれかがNASになってNFS/SMBで共有するのは
どちらが性能いいのかな。Linuxのみで使うとして。

ん？HDDイメージの場合、Targetとしてマウント中でも
HDDイメージそのものはそれがおいてある物理HDD上で
コピーしたりすることはできるよね？

できるけど・・・・
イメージの前半と後半でコピーした時間が違うなんてことになるぜ

>>517
ocfs2は、CPU負荷が高くなると、同期・調停信号が遅れて、
ファイル壊れるとか消えるとか色々変な事が起きる。
ので、smbで済むような用途ならsmbの方が良い。
タイムスタンプの精度が必要とか、
inodeの値まで揃える必要があるような場合だとocfs2

>>516
Windowsで使えるクラスタファイルシステムだとOCFSくらいじゃね？

認識があってるかも分からんが
linuxのkernel-stageに /fs/dst つ〜ブロックデバイスのネットワークプロトコルが入ってた
nfsの替わりもあってpohmelfsというらしい

5年後に名前が残ってるかさえわからんが…

>>518
それがやりたい人はSolaris使ってZFS pool上にiSCSI targetを構築しましょう。

LVMじゃ駄目なの？

ﾊｧ?

>>523
とりあえず、SolarisのZFS + iSCSIがどう動作しているのか
お勉強してきた方がいい

ターゲットの0.4.16と1.4.19を比べて
特に高負荷時のパフォーマンス上がってますか？

CentOS5.4(2.6.18-164.11.1.el5) + iet(1.4.19)
でターゲット構築してるんですがローカルで
iscsiam -m discovery -t sendtargets -p hogehoge
とやってもタイムアウトしてしまって、ターゲット名が表示
されません。

iscsiadm: socket 3 header read timed out
iscsiadm: Login I/O error, failed to receive a PDU

とあるので、iscsi-targetが接続要求に反応していないのではないかと
思うのです。ietd.confはデフォルトのLun 0 Path=の部分のみ書き換えて
後はそのままです。

#cat /proc/net/iet/session
tid:1 name:iqn.2001-04.com.example:storage.disk2.sys1.xyz

#cat /proc/net/iet/volume
tid:1 name:iqn.2001-04.com.example:storage.disk2.sys1.xyz
lun:0 state:0 iotype:fileio iomode:wt path:/dev/VG00/test

と出るので、IETの起動も一見正常に行われているように見えます。
ただ、この状態でservice iscsi-target stopとやると正常に停止できず、
psで見るとietadm --op deleteがうまくいっていなくて止まっているようです。

何かヒントだけでも頂けませんでしょうか？

3260番ポートを開けてない、とか?

ところで、単なる好奇心ですが
CentOS標準の tgtd ではなく
ietd を選んだのは何故でしょう?