Linux iSCSI 友の会

貧乏人でもiSCSIが使用可能なLinux-iSCSIについて語ろう。

FreeNASよりも高速、クラスタ対応のファイルシステムを使えば共有も可能。
NFSよりも圧倒的に高速です。

The iSCSI Enterprise Target Project
http://iscsitarget.sourceforge.net/

問題ない
世の中のActive/StandbyなHAクラスタはそうしてるのもいる

>>610
メインメモリ上のcache/bufferとHDDの内容が食い違っても大丈夫だと思う？

>>610
複数台から同時にアクセスしないって保証があれば大丈夫

>>613
つまりクラスタFSを使えばいいってことだね。
>>610

分散ロックマネージャだっけ？
あれNノードで共有するならN*(N-1)/2のリンクがいるんだっけ？
なんかややこしいからNFSやCIFSでよくない？

クラスタFS以外のFSを複数台でマウントしたらクラッシュするだろ

iSCSIはそうならないための制御をしてくれてるんじゃないの？
できないならNFSのほうがマシじゃん。

>>617
お前、ファイルシステムのお勉強して出直せ

>>617
NFSの後ろ二文字は何の略だと思ってるんだ?

お前が書いてるのは「HDDよりWindowsの方がマシ」みたいなもんで
本来比較対象になるものではない。
違うレイヤーの技術だ。

NFSは複数からの接続もokだろ？
NFSの先がext3でもいいんじゃなかったのか？
iSCSIはそれがだめなんだろ？？

いやだから、NFSの場合はネットワークを飛び交うデータは（ものすごく大雑把に言うと）

「このファイルを開け、シーク、読め。ディレクトリエントリに新規ファイル追加しろ」

といったファイルシステムの操作であって、iSCSIの場合は

「ブロック（セクタ）○番のデータを読め、書け」

というブロック操作そのもの。全くレイヤが違って、どっちの機能が欲しいかによるということ。
通常、サーバーのファイルシステムをクライアントから共有したいのであれば、基本的には前者が向いている。
NFSで十分なことを、わざわざiSCSI + クラスタファイルシステムにするのは無駄。
じゃ、なぜiSCSIのようなものが必要とされているかは、答えが一つじゃないので自分で調べてくれ。

もうアホはほっとけよ

>617
まぁ言葉の説明で分からなければ
実際にiSCSI targetにlogonしてみると良いよ。
未formatのUSB-HDDつないだような感覚なんだ。

だな
判らないなら試して理解した方が早い

>>625
それができないターゲットソフトウェアなんてまずない。
少なくともSTGTとSCSTではできた。
実際にマウントするにはkpartx使ったり、/dev/sdX自体をターゲットにしたり。
ちなみにFSをフォーマットする前にfdiskが必要。

すばらしい。iSCSI　いじってみる気になれました。
Atom D525MW ですが、お勧めの distribution と
target の組み合わせはありますか。

最近は、仕事の関連で Fedora base で管理したり作業することが多いですが、
LAN でサーバを構築・運用したりはしてきたり、昔は、slack, deb, redhat で
いろいろハードはいじっていたので fdisk だとかはわかります。
パフォーマンスがよくて安定している target ソフトウェアと、それがメインに
供給されているdistribution があったら教えていただけるとうれしいです。
くれくれ、ですみません。

RHEL6

Gentoo Linux

OpenIndianaでCOMSTAR

COMSTARといえばNECか
懐かしいな

T.O.E.! T.O.E.!

iscsi+dm-multipathでスループット向上は期待できない？
GbEx2でtargetはCOMSTARやらFreeNASやら試してみたけど115MB/s(GbEx1でも同じ)の壁を超えられん。

multipath.confをいじりまわして現在こんな風になっている。
mpathd (33000000022af3af8) dm-3 FreeBSD,iSCSI DISK
size=10G features='1 queue_if_no_path' hwhandler='0' wp=rw
`-+- policy='round-robin 0' prio=2 status=active
|- 11:0:0:0 sdc 8:32 active ready running
`- 12:0:0:0 sdd 8:48 active ready running

マルチパスにしてもその先にぶら下がるディスクは一個なわけで
そっちが律速になるんでないかい

target側はSSD(C300)にしてあるのでシーケンシャルリードなら250MB/sくらいは出てます。
LUNの実体はZFS上のファイルなので16Gあるメモリキャッシュに乗ってしまえばもっと出るはず。

メモリキャッシュに乗ってないのでは？

わざと100BASEに落としてみると上限が11.8MB/sに張り付いた。

netperfでドンぐらい出てる？

マルチパスにしてもスループットが向上しないのが論点なんだからnetperfで単体パスのスループット測っても意味ないんじゃないの

ここでも同じような報告あるから現状ではそういうもんなんじゃね？
http://www.linux-archive.org/device-mapper-development/519570-round-robin-performance-limit.html

request-based device-mapper対応のkernelでrr_min_ioを3にすれば
少しだけ改善するみたいだけど。

openfiler 2.99
Celeron E3300
8GB memory
LSI Logic 8408E＋1TB 7200rpm×8 RAID5
intel 1000PT dual port GbE
openfiler上でbond0を作り、mode=6
readだけなら170MB/sくらい出ているよ
writeは100MB/sくらいが上限だけども

らうんど★ろびん

bondingも頭の片隅にはあったけど、何となく悔しいのでもうちょっと試行錯誤してみる

イニシエータA(PC1台目)でCeonOS5.4をインストールして
その起動イメージをターゲット上でコピーして
イニシエータB(PC2台目)で起動する...って事は
可能なのでしょうか?

起動イメージをターゲット上でコピーした後に
initrdを展開してイニシエータの情報だったりを
変更しないと駄目でしょうか?

>>645

イニシエータAとイニシエータBのハードウェアが同じならいけるのでは？

ハードウエアの違いはKudzuが頑張ってくれるので大体の場合は普通に起動できる
手作業は起動してからhostnameとネットワークの再設定くらいかな

イニシエータAでOSインストール時に設定した
イニシエータ名が/etc/iscsi/initiatorname.iscsi
に記載されて...その起動イメージ(iSCSI LU)コピー後
イニシエータBで起動するとBoot中に
イニシエータ名が違うと言われてしまって...。

ターゲットがutf16(windows)で
イニシエータがutf8(linux)だと
ファイル名ちゃんと出る？

iSCSIはファイルシステムより下の層なのだが

ターゲットを丸ごとバックアップしたい場合、どういう方法があるかな？

dd

iSCSIってターゲット側のメモリが多ければ多いだけI/Oが高速化するの？

キャッシュに使えるだろ

iSCSIがあってiUSBがないのは
なぜなんだぜ？

つ usbip

USB IPの話題で、そういえば昔はプリンタやスキャナとかをSCSIにつなげていたなぁ、
iSCSI対応スキャナとかあったら…とか思ったけど、今はスキャナが直接
TCP/IP吐き出すから無意味か。

ISCSIで公開する領域はfileioにしたほうが、バックアップやサーバ移動など保守しやすいと思うのですが、
どうなのでしょうか。
hddデバイスを丸ごと公開するよりも、動作が鈍くなるなど問題が生じたりするでしょうか。
一つ思うのは、ファイルの大きさに制限があるのではないかということです。
2Tほどの領域を公開するなんてことはfileioでは無理でしょうか。

ファイルとブロックデバイスという視点じゃなくファイルシステムの入ったオブジェクトとしてみれば保守しやすさなんてどちらも変わんね

>>659
バックアップは、ファイルの方が取り扱いやすいかなって思ったんです
ブロックデバイスは、バックアップやリストアがややこしくないですか

全体コピるならcp使うかdd使うかの違いだし、daemon止めてローカルでマウントすれば中身丸見えだし、
どっちも一緒だべ。

>ローカルでマウントすれば

/dev/ディレクトリ以下のデバイスファイルでなくてもいいわけか
ddで吸い上げて、それをどっかのディレクトリ（/somewhere/ディレクトリ）にマウントして、アイスかっじたらいいわけか。

ISCSIのターゲットを作成し、ESXIのディスクとして使いたいのですが、
どこのを使えばいいのか良く分かりません。
例えば、次の二つが見つかりました。

http://www.open-iscsi.org/
http://iscsitarget.sourceforge.net/

おすすめはないでしょうか。

せめて
××は試しましたが
△△という点で不満です
くらいのことは書いてみようよ

ふりーにゃすえいと

>>664
まだその段階じゃないだろｗ

タダ&情報量の多いものから取り敢えず試してみりゃいいと思うけどね
失敗しても別に爆発する訳でもなし
何もやらなきゃ何が分からないのかすら永遠に分からんまま

http://iscsitarget.sourceforge.net/
をつかってみることにしたました。

レポよろ

そのうち・・

>>667
爆発しました！

僕の肛門も爆発しそうです

だめだー単一点の存在しないクラスタFS探してたけどなかなかこれ！ってのがない。

GFS2 RHCSでやるもfence失敗したらハング、複数のiscsiのミラーはCLVMでは不可。速度は出る

Glusterfs 単一点無し、構成も自由度高いけどノード増えると遅すぎ

Web公開領域とセッションとかの保存用に少し欲しいだけなら普通にNFSの方がいい気がしてきた。lsycdとか、、

LustreやGPFSじゃダメなの？

チューにグまにゅあル教えてくだしあ

ほしゅ

>>657
大昔のMACのイーサアダプタってSCSI接続なのがあって
とりあえずnetbsdならネットワークドライバあるみたい。
ttp://www.drvlabo.jp/old/jp/netbsdj.htm
これ使えばLANまるごとiSCSI化できたりするんだろうか？

その先でUSBIP使ったら内部接続PCIなUSBディスプレイでもなんでも
iSCSIに乗っけて接続できたりする？

>>677
それってEthernet over SCSIであって、
SCSI over IP(Ethernet) ではないのでは・・

>>678
NET2280 PCI over USB
usbip USB over IP
RFC894 IP over Ethernet
SSC-502 Ethernet over SCSI
iSCSI SCSI over IP

現実性や冗長性はともかく、既成技術の組み合わせで構成しているところがミソやね。

>>673
fence失敗したらハングって・・fenceってわざとハングさせる為の物じゃん
スプリットブレインシンドローム起こさせない為に

保守

esxi 5.1のソフトウェアイニシエータとUbuntu上のietを試してる。
iscsiログインはできて、パーティション作成まではできるんだけど、vmfsフォーマットしようとするとコネクションタイムアウトになってしまう。。。

debianのコアのみにiscsitargetをインストールして
vmwareのデータストアとして使ってるんだけど
どうもパフォーマンスが良くない。
NICはe1000eなんだけど何かいい情報ないですかね。

どのくらいの性能を期待してどうガッカリだったのかを書いたほうが良いのでは

ちょっと説明が難しいんですけど具体的には
esxiゲストのCentOSがyum updateすると
ストア側の負荷がtopコマンドで4〜5くらいまで上昇して
他のゲストOSの反応が悪くなる感じです。
少し前にはiscsiでabortとか出てゲストがすべて止まったこともありました。
ストア側はxeon e3110でメモリ2GBです。
ietd.confはtype=blockioとしているくらいで、他はデフォルトのままです。

つーか、ソフトウェア、NIC、CPU、メモリの情報なんかより、
ストレージの情報がいちばん重要だと思うんだけど。
esxiに直接SSDつけた方がいいんじゃない？

>>685
とりあえずiotopとvmstatを1日中眺める作業から始めてみようか

ありがとう。やってみる

vmstat 短時間だけど抜粋 5秒間隔
ほとんど負荷なしの状態でcentosのデスクトップにログインした
procs -----------memory---------- ---swap-- -----io---- -system-- ----cpu----
r b swpd free buff cache si so bi bo in cs us sy id wa
0 0 0 1849948 92720 88632 0 0 0 345 269 533 0 0 100 0
0 0 0 1849948 92724 88632 0 0 10 98 108 282 0 0 100 0
0 0 0 1835608 92728 88632 0 0 3278 250 1070 1968 3 2 95 0
0 0 0 1849788 92740 88632 0 0 3655 501 1289 2541 0 2 98 0
0 0 0 1849872 92744 88632 0 0 2210 284 783 1521 0 1 99 0
0 0 0 1849892 92744 88632 0 0 1976 336 839 1664 0 2 98 0
0 0 0 1849636 92744 88632 0 0 3706 788 1658 3339 0 3 97 0
0 0 0 1849772 92744 88632 0 0 3278 953 1679 3744 0 3 97 0
1 0 0 1849824 92748 88632 0 0 1565 583 895 1824 0 1 99 0
0 0 0 1849872 92748 88632 0 0 1475 232 401 678 0 1 99 0
0 0 0 1849984 92748 88632 0 0 70 90 108 229 1 0 99 0
0 0 0 1850064 92748 88632 0 0 318 315 213 439 0 0 100 0
0 0 0 1850056 92748 88632 0 0 133 81 108 187 0 0 100 0
0 0 0 1850320 92748 88632 0 0 606 436 470 1119 0 1 99 0
0 0 0 1850196 92748 88632 0 0 1270 308 600 1200 0 1 99 0
0 0 0 1850128 92748 88632 0 0 1471 193 702 1712 0 1 99 1
0 0 0 1849824 92748 88632 0 0 300 350 328 790 0 0 99 0
0 0 0 1849824 92748 88632 0 0 2 124 108 244 0 0 100 0
0 0 0 1849948 92748 88632 0 0 2 101 72 150 0 0 100 0
0 0 0 1850016 92748 88632 0 0 0 704 514 1424 0 1 99 0

そのときのiotopは
Total DISK READ: 0.86 M/s | Total DISK WRITE: 154.95 K/s
PID USER DISK READ DISK WRITE SWAPIN IO> COMMAND
1048 root 0 B/s 130.19 K/s 0.00 % 0.68 % [kjournald]
2457 root 113.42 K/s 0 B/s 0.00 % 0.00 % [istiod1]
2458 root 83.07 K/s 0 B/s 0.00 % 0.00 % [istiod1]
2459 root 85.46 K/s 0 B/s 0.00 % 0.00 % [istiod1]
2460 root 69.49 K/s 0 B/s 0.00 % 0.00 % [istiod1]
2461 root 104.63 K/s 0 B/s 0.00 % 0.00 % [istiod1]
2462 root 76.68 K/s 0 B/s 0.00 % 0.00 % [istiod1]
2463 root 150.16 K/s 0 B/s 0.00 % 0.00 % [istiod1]
2464 root 195.89 K/s 0 B/s 0.00 % 0.00 % [istiod1]

loadaverageは最高1.2くらいで他ゲストにはとくに影響なし
でもistiod1のDISK WRITEがすべて0B/sってどういうことだろ？

DVDやBD等の光学ドライブをiSCSIターゲットにしたいのだが、ietだとできないっぽい
最近はSCSTとかLIOとかあるみたいだがいまいち情報が少ないな

保守

iSCSIを使ってみたくて調べていたらIomega StorCenter ix2という製品が安いんだけど
このくらいのスペック(Marvell6282 1.6GHz メモリ256MB)だとどの位の速度出るもん？
上の方でCPUとかメモリとかがいるって書いてあったしこの程度のハードだとどの程度
性能が出るのか気になる。

まぁ、メインで使いたいのがMacBookAirとかSSDで容量が少ないマシンで今使っている
データ溜め込んでるUSB HDDつなぐの面倒くさくなったからなんだけど、無線LANで
運用の時点で性能云々という話ではなくなるのかもしれないけどね・・・。

ん？無線LAN経由でiSCSIしたいってこと？

当面の目的はそんな感じ。
メインは編集用の写真データを貯めこんでる外付けUSBなHDDを無線化出来たら
良いなーって感じかな。据え置き機（有線GbE）とMBA(無線LAN)と両方からマウント
出来る環境になるとちょっと編集をしたい時と腰を据えて編集する時どっちも同じ
ディスクを参照出来るし、付け替えとかの手間が無くて面倒くさくなくて良いかなと。
マウント自体は共用せず排他で使う感じなので特殊なFSはいらないと思う。

iomega って Jazz とか clik! とか作ってたとこだよね。
今こんなの作ってたんか。
とっくに潰れたと思ってたw

mini-ITXのPCにFreeNASでも入れた方が融通が利くし安上がりなんじゃ。

ベルヌーイやzipでなくその２つを思い出すってどうなの

時期が後ろよりなだけじゃない？
Jazは売る側だったから辛酸をなめさせられたな

zipは単語自体は生き残ってるしな

節子それ違うzipや

全然LinuxかすらないけどiSCSIという物に触ってみたくてVMWareにNetBSD入れて
Windows8からつないでみた・・・けどCrystalmark完走する前に何やら止まってしまい
Windowsの管理ツールからも切断出来ずみたいな状態になってしまった。こんなもん？

お前の環境なんか知らんがな

ちゃんと設定して使えばそんなもんではない
多くの企業でそんなもんが使われてるとでも思うのか

>>704
いや、別にiSCSIそのものをどうこう言っているつもりもないし、多くの企業が
こんな構成を使っているわけでもないだろ？

ただ、ちゃんと設定と言ってもNetBSDはデフォルト設定のままデーモンを
起動しただけ（ローカルHDDを100MB分)、Win8のイニシエータはIP指定で
つないでFAT32でフォーマット。認証もなし、ネットワークもPC内のローカル。
限りなくシンプルな構成な気がするんだけどどこがまずそう？

可能性としては容量少なすぎてCrystalMark的に問題があったとか
（一応50MBの選んだけど）、Win8のイニシエータの実装がネットワーク的に
瞬断とか起きた際にリカバリうまく出来ないとか、VMWareのネットワーク
部分と何か相性が悪いとか、そもそもNetBSDの実装がイマイチだったり
とか色々想像してるんだけどよくわからないや。

そんな組み合わせにゃ興味ねーし
気になるなら面倒がって妄想してねーで
もっといろんな組み合わせでテストしてみればー？

はじめて試すなら、まずM$のコードから離れたほうがいいな。
彼らは平気でオレオレ仕様で実装してくるから。
ADが土台として使ってるKerberosがいい例。
Win8のイニシエータを試すなら、ターゲットもM$じゃないと地雷踏む可能性大。
逆にいわゆる世間一般のiSCSIを体験したいなら、まずM$は忘れろ。

>>707
アザッス。おっしゃるとおりどんなもんか触ってみたかったのが発端。
試した環境は職場のPCなんで明日まで試せないんだけどイニシエータの
管理アプリが固まった後はシャットダウンも出来なくなりなんとなく昔の
イマイチ実装だったWebDAVを彷彿させるなと思っていたところなんで
確かにそっち側に地雷がある可能性は否めないですね。
とりあえず来週WindowsServer組む予定なのでWindows環境はそちらで
試してみます。

Crystal Disk MarkのQD32ってテスト項目ってSATA特有の機能を使っている
と言う認識なんだけどiSCSIなボリュームに対して使えるものなの？ってググると
iSCSI上でテストした結果が出てくるので動くものは動くんだろうけど。
なんとなく気になってiSCSIの実装が違うDebianな環境をVMwareに作って同様の
ベンチマークをしてみたら同じところで止まった。ムムムム。

ムムム。一応特定は出来た。

実装の問題かとVMware上にdebian, netbsd, freenas, solarisと入れて試してダメ
イラッときて一台マシンを用意してfreenas入れて試してもダメ
Initiatorの問題かとStarWindの物を入れてもダメ
ソース読んで、デバッグしてみて止まっている場所も特定したけど腑に落ちず
ふと別のマシンから試したらOK。色々調べてみたらノートン先生が犯人でしたorz

コード的には非同期のファイル書き込みを投げた後、I/Oの終了待ちのSleepExで
ずっとループしててそこが原因だった。この状態でそのファイルのハンドルいじると
ロックしてシャットダウンすら出来なくなる。どこら辺（ディスクI/Oなのかネットワーク
なのか）が遮断されるとかまでは特定出来ていないけど困った話デスな

まぁ、でもsambaなNASをネットワークドライブの場合はノートン先生を
生かしていても完走するのでヤヤコシイ話ではある・・・orz