Linux iSCSI 友の会

貧乏人でもiSCSIが使用可能なLinux-iSCSIについて語ろう。

FreeNASよりも高速、クラスタ対応のファイルシステムを使えば共有も可能。
NFSよりも圧倒的に高速です。

The iSCSI Enterprise Target Project
http://iscsitarget.sourceforge.net/

>>267
某D社の鯖は、オンボで5708が載ってる場合しかiSCSI使えない。
某H社の鯖の場合は、ちゃんとライセンスパックが別売されてる。

某I社のオプションカードも多分iSCSIは使えない。


5708のオプションカードでiSCSIは使えないってことで＜結論

>>268
某I社ってなんだ？
ｲｿﾃﾙ?

>>269
Big Blue

>>270
OH! 忘れてたぜ！

れのぼですね、わかります

↑
わかります、って言う香具師に限って実は分かってないという罠ｗ

分かってないんじゃなくてわざと誤解したように書いてるだけだろｗ

何かボケるわけでもなく、「ボク知ってるもんね」をアピールしたいだけ

ああ、わかります。

USBブートできて、iSCSIがすぐ使えるディス鳥ないですか？

ESXiとか、VMWare Serverの管理OS部分に組み込んでたりされてると嬉しいな。

FREE NASでUSBブートするやつがあればいいのか・・・。

クライアントがWindowsの環境で、SMB/CIFSとiSCSIでの
速度比較を行っているページとかないものでしょうか？

iSCSIで繋ぐRAMディスクBOXとか出ないもんかな。
i-RAMのネットワーク版みたいの。

>>280
>>278

ちょっとスレ違いかもしれないけど。
IETをターゲットにして、PXE+iSCSI Root+Multipathな
CentOS５.２を構築してみたんですが、
OSをシャットダウンするとき、NICをdownさせた直後に
当然iSCSIの通信が出来なくなってハングってしまいます。
ファイルシステムをアンマウントしないで電源落とすの
怖いんですが、正常にシャットダウン出来ている人いますか？

自己解決しました。
/etc/rc.[0|1|6]/K90networkを_K90networkとかにリネームして、NICを
落とさないようにしたら正常終了・再起動できました。
調べたらNFS Rootとかでは良く使う手みたいですね。

>>282
心配ならsync後shutdownだろｊｋ

11gでiSCSIは厳しぃ！！！
鯖部屋からCat5e引っ張ってもらう工事してもらおうかな。

FreeNASでiSCSIターゲットを立ててみたけど
iSCSIって、CPUパフォーマンス要るんだな (;´Д｀)
余ってたC3機では、全然スピードでないorz
ディスクペンチ走らせると、CPU usage 100%に張り付きだ。

NICは?

カニだな。。。

いやまて、ディスクペンチなのがダメな原因じゃないか？

>>287
NICはGbE-PCI2で、M/Bは625EMP800(C3 800MHz)、DDR400 512MB*2。
FreeNASは0.69b3。イニシエータ側はWinXPの自作機(環境省略)
って、ここまで書いて気付いたが、スマン 板違いだった。
一応、続き書いとくと、
HDDはIDEの200GB(ST3200822A)に、iSCSIの領域を10GBほど確保。
で、ログインしてNTFSでフォーマット、CrystalDiskMark2.2を走らせてみると

(iSCSI／CIFSの順。単位はMB/s)
Sequential Read : 19.814／28.176
Sequential Write : 16.542／15.025
Random Read 512KB : 18.508／26.024
Random Write 512KB : 14.271／15.415
Random Read 4KB : 6.025／9.663
Random Write 4KB : 1.745／2.955
Test Size : 500 MB

という具合だった。
試しにExploreで数GBのファイルをコピーしてみたけど
iSCSI/CIFS共々、概ねSequential Writeと同じくらいの速度だったよ。

パフォーマンス求めるなら断然HBAだね。

>>290
Windowsのクライアントから見たシーケンシャルは、
NTFSとUFS(2)の仕様上、FreeNAS側でスラッシングの嵐なんじゃね？

SCSIはバースト転送だし、NIC性能というより、
イニシエータ、クライアントサイドは、HDDのバッファと同等か、
それ以上のバッファが必要かと思える。

CentOS 5.2でRTL811CがGigabitでリンクしない場合
ttp://blog.xe.bz/archives/51074861.html

Xbench Version 1.3
System Version 10.5.5 (9F33)
Physical RAM 8192 MB
Model MacPro1,1
Drive Type IET VIRTUAL-DISK

Disk Test 26.34
Sequential 33.25
Uncached Write 24.06 14.77 MB/sec [4K blocks]
Uncached Write 27.77 15.71 MB/sec [256K blocks]
Uncached Read 28.77 8.42 MB/sec [4K blocks]
Uncached Read 125.38 63.01 MB/sec [256K blocks]

Random 21.81
Uncached Write 6.80 0.72 MB/sec [4K blocks]
Uncached Write 30.63 9.81 MB/sec [256K blocks]
Uncached Read 1194.61 8.47 MB/sec [4K blocks]
Uncached Read 352.22 65.36 MB/sec [256K blocks]

iSCSIターゲット ubuntu 8.04 1GB 500GBx4(RAID5)
iSCSIイニシエータ Lopard 10.5.5 Mac Pro 8GB

って感じなんだけど、 Readに比べて、Writeが遅い気がする。

Lopard→Leopard

>>294
RAID5でランダム書き込みした場合、書き込み先ドライブが分散されるとは限らないし、
調停作業だけでもオーバヘッドになるだろｊｋ

open SUSEにiSCSI targetを設定してWindowsでフォーマットしたあと再起動したらext3のfsckが走ってしまった・・・・・
気づかず-yオプションつけたら全滅ｗ

うは、オレってバカの極みｗｗｗｗｗ

>>294
参考になりました。ありがとう。
安定性やCPU負荷はどうですか？

>>298
素人なので詳しく分析出来てないですが特に問題ないです。
1TB強のデータを一日かかって転送したけど普通に使えてます。
ターゲット(Cel420)／イニシエータのCPU負荷はリード／ライトともに気にするほどでもないかなぁと。

1GBのファイルをターゲットへ一つだけコピーさせると15MB/sec。
二つ同時にコピーさせると30MB/sec出る。
三つ同時でも30MB/secだったからこれが上限かな。

やっぱりローカルライクにデータを扱えるのはいいなぁ。
itunesのディレクトリとかディレクトリ数が1000以上あってもすぐ開くし。
もう少し普及して欲しい…。

ちなみに、ネットワークはどんな条件かいな。

同じセグメントに他のホストがぶら下がってる？
それともターゲット−イニシエータ間は別系統？

書き込んだXbenchは同一セグメントにはハブ二台で計12台でぶら下がっています。
ターゲット、イニシエータは同じハブ(16ポート)で、8台がぶら下がってる状態で測定しました。
直結ではシーケンシャルが+5MB/secくらいで、ランダムは誤差程度でした。

ありゃ、ニホンゴが。
疲れてる状態で適当に書くもんじゃないですね。
ちゃんと伝わるか怪しいけど訂正。

ルーター - 8ポートハブ(4台) - 16ポートハブ(8台)
計12台ぶら下がっています。

書き込んだXbenchは16ポートハブにターゲット、イニシエータ含め8台がぶら下がってる状態で測定しました。
直結ではシーケンシャルが+5MB/secくらいで、ランダムは誤差程度でした。

おかしかったらごめんさいです。
疲れたのでもう寝ます。

ありがとう。参考になりました。
うちでもやってみたいな。

Windows Server 2008 のクラスタで要求されている
「SCSI-3 の 永続的な予約」とやらは、
iSCSI Enterprise Targetではクリアできないの？

2003ではフェイルオーバークラスタ組めたけど、
2008だとなんかうまくいかないのよ。

保守ついで

1台でXenとiSCSIターゲット(iet以外でも可)やるなら、今はどのディス鳥ｵﾇﾇﾒ?

CentOS

openSUSE

SUSEってTarget最初から入ってるの？

iscsi-targetはあってyastで設定できるけど
カーネルのupdateで必要なカーネルモジュールが落ちた気がする。

そこで颯爽とFreeNASが登場

FreeNASはインスコ先のHDDを対象にできないのが・・・。

>>311
USBメモリーとかにインスコすればいいんじゃね？

slackwareで1から作るとか

そこで颯爽とOpenFilerが登場

インターネット経由のiSCSIってありなの？
認証だけちゃんとしてたらおｋ？

>>315
ありってどのレベル？
技術レベルならできるかもってことになるが、
グローバルIP割り当てたiSCSIをそのまんま公開するのが
セキュリティ的にありかって聞かれればなし

せめてVPNを通すかってことになるが、敷居も若干高くなるね
パフォーマンス的には知らん

iSCSIを使った遠隔バックアップなんかには使えるの、、か？

ノートパソコンで使えるHBAってありますか？
普通のNICでやれってこと？

ブートさせなきゃ普通のNICでできる
ブートさせる場合でも、DHCP/tftp立てれるなら、PXE使えればできる

linux板なので、あえてwindowsは無視してみた


遠隔はVPNか、速度出そうと思ったら広域LAN（カネカカルー）
通常のダイアルアップ回線でもできないことはないけど、まぁ常識的に無い。

ギガビットで専用のネットワーク組むの薦められるくらいだし
やって出来なくはない程度じゃないかな＞広域iSCSI

さらに質問ですまないのだが
iSCSIターゲットでおすすめのRAIDありませんか？
予算は30万円ぐらいまで
バッファローは対象外です

ふと、百円をやったら次は一万円をよこせと言い出す、みたいな話を思い出した。

>>321
ML115(\13000)+WD1T(\11000)*4にCentOS5.2のRAID0にして4T近くをiscsi enter prise targetにして使ってる私がとおりますよっと。クライアントがwindowsなもんでMBR制約内の2Tに分けてるけど。
Cent(というかLinux)素人だったけど、OS標準インストールして
yum update
yum install gcc
yum install kernel-devel
yum install openssl-devel
(iet落としてきて)make install
だけで動いたような。ちなみにiptablesは当然編集、SElinuxはPermissive(無効だっけ？あと、つづりあってる？）で使ってる。
それにしても今でもCentOSでRAID5(mdadm)の使い方がわかんねぇ。。。勉強中に作ってそのままなもんで。今じゃデータ入れちゃって壊せんし・・orz

CentOSでRAID5できるなら、最低6万ちょいあれば3Tぐらい(実質2.7Tぐらい？)の『iSCSIターゲットでおすすめのRAID』ができんじゃないかな？
速度やメンテ性で”おすすめ”に見合うかはわからんけど。



正直、初心者でiSCSI-SAN手をだして、今はひどいめにあっている。
このスレ(住人さんも多分)は私には敷居たかすぎです。。。

>>323
ひどいめって何？
それだけじゃわかんないぜ。

RAID0がつくれるのにＲＡＩＤ5が作れないなんて・・・

>>324
んー iSCSI鯖をトイレで動かそうとしてるんだけどndiswrapperとかlsusbとかinsmodとかiwconfigとか苦労してるとか。
【Wireless】Linuxで無線LAN【IEEE802.11】
http://pc11.2ch.net/test/read.cgi/linux/1214318174/l50
とか見て参考にしてるけどﾀﾞﾒﾀﾞ…

>>325
ちなみにML115のBIOSでRAID5つくれるよん。多分Centからは2.7Tのボリュームで認識できるんじゃない？
＞速度やメンテ性で”おすすめ”に見合うかはわからんけど。
ってのは”オンボードRAID5でメンテしやすいか？”って言いたかった。うまく言えてなかったですわぁ



それにしてもRAIDに30万とかだせる人がｳﾗﾔﾏｼｽ…orz

30万って仕事で使うってことだろ。
あんたみたいに遊びじゃない。

遊んでｏｋ
仕事が遊びより偉いわけじゃない

うらやましいなら遊びで30万突っ込んじゃおうぜ

遊びだから30万って考え方も。

仕事だったら500万とかに・・・・

金あるエンプラさんならNetAppとか買うだろう。

俺はEMC のほうが好き。

金の無いテンプラ屋さんはどうすれば?

安い胡麻油を探す

OpenSolarisでZFSや、LinuxでBtrfs、DragonflyBSDでhammerfsでがんばる(`･ω･)

Openfilerを余っていたServerで試してみた。
ServerはPowerEdge750でPen4 2.8G、メモリ2G、HDD Samsung SP2504C、SAS HBA SAS3442X
クライアントはThinkCentre A51でDELLのGigabit HUB使用

Read/Writeはシーケンシャルで40Mbytes/45Mbytes程度出た事を確認しますた。

iSCSIしか試してないけど古いServerでも有効に活用出来そうですね。

LinkStationのiSCSIなんかはUSBと変わらんぜ。

>>335
Writeの方がいいってｗ
360Mbpsだとネットワークはボトルネックでないよね？
ＮＦＳで計測した値も気になる

fedora9-terget

[root@localhost ~]# yum install kernel-debel
Loaded plugins: refresh-packagekit
Setting up Install Process
Parsing package install arguments
No package kernel-debel available.
Nothing to do


[root@localhost iscsitarget-0.4.16]# make; make install
make -C usr
make[1]: ディレクトリ `/root/iscsitarget-0.4.16/usr' に入ります
cc -O2 -fno-inline -Wall -Wstrict-prototypes -g -I../include -c -o message.o message.c
message.c: In function ‘ietadm_request_handle’:
message.c:130: error: storage size of ‘cred’ isn’t known
message.c:130: 警告: unused variable ‘cred’
make[1]: *** [message.o] エラー 1
make[1]: ディレクトリ `/root/iscsitarget-0.4.16/usr' から出ます
make: *** [usr] エラー 2
cc usr/ietd.o -o usr/ietd
/usr/lib/gcc/i386-redhat-linux/4.3.0/../../../crt1.o: In function `_start':
(.text+0x18): undefined reference to `main'
collect2: ld はステータス 1 で終了しました
make: *** [usr/ietd] エラー 1

iscsiの勉強する為にインスコしたばっかなので足りないものがあるのかも？
教えてエロイ人！！
使ってるfedora6は設定できてるんだけど…

>>338
yum info iscsitarget
Loaded plugins: refresh-packagekit
Available Packages
Name : iscsitarget
Arch : i386
Epoch : 1
Version : 0.4.15
Release : 11.svn142.fc9
Size : 64 k
Repo : rpmfusion-free-updates
Summary : Utilities for iSCSI Enterprise Target
URL : http://sourceforge.net/projects/iscsitarget/
License : GPLv2
Description: An open source iSCSI target with professional features, works well
: in enterprise environment under real workload, and is scalable and
: versatile enough to meet the challenge of future storage needs.

Linux - Windows 間でひとつのボリュームを
共有しようと思って、OCFS を入れてみようと
しているんだけど、Windows版の OCFS って
RAC とか買わないと入手できないのかな？

誰か上記以外の方法も含めて Linux - Windows 間で
ボリュームを共有してる人っている？

>>338
ｵﾊﾖｰ

>[root@localhost ~]# yum install kernel-debel
debel? develじゃね？
>Loaded plugins: refresh-packagekit
リフレッシュすりゃいいんじゃね？

カーネルの起動オプション拾って、ネットワーク設定とiSCSI設定して、
iSCSIにswitchrootして起動するinitrd作ったんだが・・・・

調べてみると、起動オプションって255文字の制限があるらしいじゃないですか
vlanまで対応したおかげで、起動オプション600文字超えてしまって・・・orz

おまえら、どうしてる？

dhcpで取得して、dhcpホストに対してinitrd埋め込み名で接続？


と、寂しげなスレで言ってみる

>>342
大半はカーネルじゃなくてinitから先で使う変数だろうから、
/initの先頭にでも埋めとけば？

>>342
試してないけど、x86 アーキなら 2048 までいけるんじゃないか？
　$ grep COMMAND_LINE_SIZE arch/x86/include/asm/setup.h
　#define COMMAND_LINE_SIZE 2048

ブートローダがしょぼいんなら、カーネルコンフィグレーションの
Processor type and features -> Built-in kernel command line あたりで
埋め込めばいいんじゃない？

あー
ソース見てみたら確かに2048になってた。
過去何回かパッチが却下されたって聞いたけど、いつの間にか採用になってたのか。

もう土日終わっちゃったんで、またこんどやってみるよ。サンクス。


誰も見ていないスレかと思ったけど、結構見てる人いるのかな

iSCSIでPC１でtgtdで公開して、PC２でiscsiでアクセスまではできるんだが、両方のPCでアクセスするにはどうするの？CentOSでやってるんだが。
ぐぐってcman+clvmd+GNBD+LVM+GFS/GFS2で共有は試してできたんだが、iSCSI経由で動いていないみたいでパフォーマンスが出ない。(10MB/sぐらい)
clvmdまで動かして、iscsiデバイスをmkfs -t gfsでやっても、もう片方ではまったく検知されていない。
cmanのfailover domainやresources, fencing, servicesの設定も具体的に書いているのがなくてあきらめようかなと。
PV,LV,VG,sdaのどれを公開して、やるのかすら・・・イニシエータ側は増やしたり、減っても大丈夫なようにしたいのだが。

>>346
２台からの書き込みとか、不整合でデータ消滅するんじゃ

>>347
そのためのgfsじゃないか。

AoEとiSCSIで自宅LANで遊ぶ場合にはどっちがパフォーマンスはいいの？

NFS

AoEかな？

ESXiのディスク領域にlinuxでiSCSIなサーバを作ってみようと思うのですが、
ATOMとかの安いCPU/MBでもそれりの性能は出ますか？

ATOMはどうだろう。
でもまぁ多分、先にiSCSIターゲット側のディスクが足引っ張ると思うよ。

家庭用NASのCPUはAtomよりもはるかにプアーなARM系の石で、
高級NASでCeleron 2GHzとかなので、Atomでもパワーは十分にある罠。

それは相対的な話だろ。

もっとも、AtomはCeleron2Gより下だが。

そのCeleronがNetburstなCeleronなら、下手するとATOMのほうが上かも

結局、CPU通らないとHDD→ネットワークの転送できないからな
CPUのクロックよりも、メモリバス速度の方が重要かも

以前、三省PC
http://item.rakuten.co.jp/assist-pc/c/0000000100/
で、CentOS 5.2＋IETのターゲット作ったときのベンチデータがあるよ。

CrystalDiskMark 2.2
--------------------------------------------------
Sequential Read : 54.071 MB/s
Sequential Write : 39.400 MB/s
Random Read 512KB : 52.726 MB/s
Random Write 512KB : 30.645 MB/s
Random Read 4KB : 14.803 MB/s
Random Write 4KB : 1.151 MB/s
Test Size : 100 MB

HDDは2.5インチSATA 5400rpmの160GB
このベンチは物理パーティションを使った場合だけど、LVMから切り出すと2割くらい遅かった。
同一マシンでOpenSolaris2008.11でzvolでターゲットを切り出したときのベンチも取ったけど
今見つからないな。あまり速度出なかったと思う。
C7 1GHｚでもこの程度出るんだからAtomでもそれなりに出るんじゃないかな？

>>353-358
ありがとうございました。とても参考になりました。
趣味のサーバ用なので30MB/s出れば問題なさそうです。
週末に作ってみます。

せっかくなので貼り付けておく
server:linux2.6.24-x86_64 X3360 hwRAID6
client:linux2.6.24-x86_64 X3360 iSCSI

# dd if=/dev/sda bs=65536 count=15258 of=/dev/null
15258+0 records in
15258+0 records out
999948288 bytes (1.0 GB) copied, 39.6692 s, 25.2 MB/s
# dd if=/dev/sda bs=65536 count=15259 of=/dev/null
15259+0 records in
15259+0 records out
1000013824 bytes (1.0 GB) copied, 10.6491 s, 93.9 MB/s
# dd if=/dev/sda bs=65536 count=15259 of=/dev/null
15259+0 records in
15259+0 records out
1000013824 bytes (1.0 GB) copied, 0.279964 s, 3.6 GB/s
# dd if=/dev/sda bs=65536 count=15259 of=/dev/null
15259+0 records in
15259+0 records out
1000013824 bytes (1.0 GB) copied, 0.273612 s, 3.7 GB/s
# dd if=/dev/sda bs=65536 count=15259 of=/dev/null
15259+0 records in
15259+0 records out
1000013824 bytes (1.0 GB) copied, 0.270295 s, 3.7 GB/s

1GBでもキャッシュに載っちまうようで

AoEを使ってみた。

Target: Linux(Debian lenny, Memory 8GB)
Initiator: Windows XP + WinAoE driver

で、Linuxの方で1GBのファイルを作ってそれをAoEでドライブとした。
接続は1Gigabit Ethernetで、安物ハブ経由。

--------------------------------------------------
CrystalDiskMark 2.2 (C) 2007-2008 hiyohiyo
Crystal Dew World : http://crystalmark.info/
--------------------------------------------------

Sequential Read : 76.216 MB/s
Sequential Write : 59.867 MB/s
Random Read 512KB : 65.129 MB/s
Random Write 512KB : 76.348 MB/s
Random Read 4KB : 23.841 MB/s
Random Write 4KB : 17.450 MB/s

何故か、512KBのランダムライトが逆転してるけど…

ついでにnbdも頼む。

>>359
商品だけど、
QNAPとか調べてみるといいかも。

汎用CPU（セレロン、ATOM）によるNAS/iSCSI箱。
409、509あたりが汎用CPUです。

ATOMだったらMINI-ITXだけど、小型のリムーバブル付きITXケースって
ES34069くらいしかないから、できあい買った方が安いかも。

RAID無くていいなら何でもいいかもしれんけど。

ああそうだ、
3wareの9550で、RAID5のSeqRead400MBくらい出るやつあるんだけど、
GbE飽和する。

FCも10GbEも高いんだけど速くしたいときは何でつなげばいい？

Bondingはセッション多数張らないと意味ないよね？（モードによるけど、
2本束ねても、2倍速度が出る訳じゃなくて2セッションの時にスケジューリングで
交互にGbEを使うから遅くなりにくいってだけだよね？）

>>364
iSCSIに拘らなければ、NFSはbondingで速くなるらしいぞ。

iSCSIって１つのターゲットに複数のイニシエータが接続できるのが普通ですか？

普通