Linux iSCSI 友の会

貧乏人でもiSCSIが使用可能なLinux-iSCSIについて語ろう。

FreeNASよりも高速、クラスタ対応のファイルシステムを使えば共有も可能。
NFSよりも圧倒的に高速です。

The iSCSI Enterprise Target Project
http://iscsitarget.sourceforge.net/

ふと、百円をやったら次は一万円をよこせと言い出す、みたいな話を思い出した。

>>321
ML115(\13000)+WD1T(\11000)*4にCentOS5.2のRAID0にして4T近くをiscsi enter prise targetにして使ってる私がとおりますよっと。クライアントがwindowsなもんでMBR制約内の2Tに分けてるけど。
Cent(というかLinux)素人だったけど、OS標準インストールして
yum update
yum install gcc
yum install kernel-devel
yum install openssl-devel
(iet落としてきて)make install
だけで動いたような。ちなみにiptablesは当然編集、SElinuxはPermissive(無効だっけ？あと、つづりあってる？）で使ってる。
それにしても今でもCentOSでRAID5(mdadm)の使い方がわかんねぇ。。。勉強中に作ってそのままなもんで。今じゃデータ入れちゃって壊せんし・・orz

CentOSでRAID5できるなら、最低6万ちょいあれば3Tぐらい(実質2.7Tぐらい？)の『iSCSIターゲットでおすすめのRAID』ができんじゃないかな？
速度やメンテ性で”おすすめ”に見合うかはわからんけど。



正直、初心者でiSCSI-SAN手をだして、今はひどいめにあっている。
このスレ(住人さんも多分)は私には敷居たかすぎです。。。

>>323
ひどいめって何？
それだけじゃわかんないぜ。

RAID0がつくれるのにＲＡＩＤ5が作れないなんて・・・

>>324
んー iSCSI鯖をトイレで動かそうとしてるんだけどndiswrapperとかlsusbとかinsmodとかiwconfigとか苦労してるとか。
【Wireless】Linuxで無線LAN【IEEE802.11】
http://pc11.2ch.net/test/read.cgi/linux/1214318174/l50
とか見て参考にしてるけどﾀﾞﾒﾀﾞ…

>>325
ちなみにML115のBIOSでRAID5つくれるよん。多分Centからは2.7Tのボリュームで認識できるんじゃない？
＞速度やメンテ性で”おすすめ”に見合うかはわからんけど。
ってのは”オンボードRAID5でメンテしやすいか？”って言いたかった。うまく言えてなかったですわぁ



それにしてもRAIDに30万とかだせる人がｳﾗﾔﾏｼｽ…orz

30万って仕事で使うってことだろ。
あんたみたいに遊びじゃない。

遊んでｏｋ
仕事が遊びより偉いわけじゃない

うらやましいなら遊びで30万突っ込んじゃおうぜ

遊びだから30万って考え方も。

仕事だったら500万とかに・・・・

金あるエンプラさんならNetAppとか買うだろう。

俺はEMC のほうが好き。

金の無いテンプラ屋さんはどうすれば?

安い胡麻油を探す

OpenSolarisでZFSや、LinuxでBtrfs、DragonflyBSDでhammerfsでがんばる(`･ω･)

Openfilerを余っていたServerで試してみた。
ServerはPowerEdge750でPen4 2.8G、メモリ2G、HDD Samsung SP2504C、SAS HBA SAS3442X
クライアントはThinkCentre A51でDELLのGigabit HUB使用

Read/Writeはシーケンシャルで40Mbytes/45Mbytes程度出た事を確認しますた。

iSCSIしか試してないけど古いServerでも有効に活用出来そうですね。

LinkStationのiSCSIなんかはUSBと変わらんぜ。

>>335
Writeの方がいいってｗ
360Mbpsだとネットワークはボトルネックでないよね？
ＮＦＳで計測した値も気になる

fedora9-terget

[root@localhost ~]# yum install kernel-debel
Loaded plugins: refresh-packagekit
Setting up Install Process
Parsing package install arguments
No package kernel-debel available.
Nothing to do


[root@localhost iscsitarget-0.4.16]# make; make install
make -C usr
make[1]: ディレクトリ `/root/iscsitarget-0.4.16/usr' に入ります
cc -O2 -fno-inline -Wall -Wstrict-prototypes -g -I../include -c -o message.o message.c
message.c: In function ‘ietadm_request_handle’:
message.c:130: error: storage size of ‘cred’ isn’t known
message.c:130: 警告: unused variable ‘cred’
make[1]: *** [message.o] エラー 1
make[1]: ディレクトリ `/root/iscsitarget-0.4.16/usr' から出ます
make: *** [usr] エラー 2
cc usr/ietd.o -o usr/ietd
/usr/lib/gcc/i386-redhat-linux/4.3.0/../../../crt1.o: In function `_start':
(.text+0x18): undefined reference to `main'
collect2: ld はステータス 1 で終了しました
make: *** [usr/ietd] エラー 1

iscsiの勉強する為にインスコしたばっかなので足りないものがあるのかも？
教えてエロイ人！！
使ってるfedora6は設定できてるんだけど…

>>338
yum info iscsitarget
Loaded plugins: refresh-packagekit
Available Packages
Name : iscsitarget
Arch : i386
Epoch : 1
Version : 0.4.15
Release : 11.svn142.fc9
Size : 64 k
Repo : rpmfusion-free-updates
Summary : Utilities for iSCSI Enterprise Target
URL : http://sourceforge.net/projects/iscsitarget/
License : GPLv2
Description: An open source iSCSI target with professional features, works well
: in enterprise environment under real workload, and is scalable and
: versatile enough to meet the challenge of future storage needs.

Linux - Windows 間でひとつのボリュームを
共有しようと思って、OCFS を入れてみようと
しているんだけど、Windows版の OCFS って
RAC とか買わないと入手できないのかな？

誰か上記以外の方法も含めて Linux - Windows 間で
ボリュームを共有してる人っている？

>>338
ｵﾊﾖｰ

>[root@localhost ~]# yum install kernel-debel
debel? develじゃね？
>Loaded plugins: refresh-packagekit
リフレッシュすりゃいいんじゃね？

カーネルの起動オプション拾って、ネットワーク設定とiSCSI設定して、
iSCSIにswitchrootして起動するinitrd作ったんだが・・・・

調べてみると、起動オプションって255文字の制限があるらしいじゃないですか
vlanまで対応したおかげで、起動オプション600文字超えてしまって・・・orz

おまえら、どうしてる？

dhcpで取得して、dhcpホストに対してinitrd埋め込み名で接続？


と、寂しげなスレで言ってみる

>>342
大半はカーネルじゃなくてinitから先で使う変数だろうから、
/initの先頭にでも埋めとけば？

>>342
試してないけど、x86 アーキなら 2048 までいけるんじゃないか？
　$ grep COMMAND_LINE_SIZE arch/x86/include/asm/setup.h
　#define COMMAND_LINE_SIZE 2048

ブートローダがしょぼいんなら、カーネルコンフィグレーションの
Processor type and features -> Built-in kernel command line あたりで
埋め込めばいいんじゃない？

あー
ソース見てみたら確かに2048になってた。
過去何回かパッチが却下されたって聞いたけど、いつの間にか採用になってたのか。

もう土日終わっちゃったんで、またこんどやってみるよ。サンクス。


誰も見ていないスレかと思ったけど、結構見てる人いるのかな

iSCSIでPC１でtgtdで公開して、PC２でiscsiでアクセスまではできるんだが、両方のPCでアクセスするにはどうするの？CentOSでやってるんだが。
ぐぐってcman+clvmd+GNBD+LVM+GFS/GFS2で共有は試してできたんだが、iSCSI経由で動いていないみたいでパフォーマンスが出ない。(10MB/sぐらい)
clvmdまで動かして、iscsiデバイスをmkfs -t gfsでやっても、もう片方ではまったく検知されていない。
cmanのfailover domainやresources, fencing, servicesの設定も具体的に書いているのがなくてあきらめようかなと。
PV,LV,VG,sdaのどれを公開して、やるのかすら・・・イニシエータ側は増やしたり、減っても大丈夫なようにしたいのだが。

>>346
２台からの書き込みとか、不整合でデータ消滅するんじゃ

>>347
そのためのgfsじゃないか。

AoEとiSCSIで自宅LANで遊ぶ場合にはどっちがパフォーマンスはいいの？

NFS

AoEかな？

ESXiのディスク領域にlinuxでiSCSIなサーバを作ってみようと思うのですが、
ATOMとかの安いCPU/MBでもそれりの性能は出ますか？

ATOMはどうだろう。
でもまぁ多分、先にiSCSIターゲット側のディスクが足引っ張ると思うよ。

家庭用NASのCPUはAtomよりもはるかにプアーなARM系の石で、
高級NASでCeleron 2GHzとかなので、Atomでもパワーは十分にある罠。

それは相対的な話だろ。

もっとも、AtomはCeleron2Gより下だが。

そのCeleronがNetburstなCeleronなら、下手するとATOMのほうが上かも

結局、CPU通らないとHDD→ネットワークの転送できないからな
CPUのクロックよりも、メモリバス速度の方が重要かも

以前、三省PC
http://item.rakuten.co.jp/assist-pc/c/0000000100/
で、CentOS 5.2＋IETのターゲット作ったときのベンチデータがあるよ。

CrystalDiskMark 2.2
--------------------------------------------------
Sequential Read : 54.071 MB/s
Sequential Write : 39.400 MB/s
Random Read 512KB : 52.726 MB/s
Random Write 512KB : 30.645 MB/s
Random Read 4KB : 14.803 MB/s
Random Write 4KB : 1.151 MB/s
Test Size : 100 MB

HDDは2.5インチSATA 5400rpmの160GB
このベンチは物理パーティションを使った場合だけど、LVMから切り出すと2割くらい遅かった。
同一マシンでOpenSolaris2008.11でzvolでターゲットを切り出したときのベンチも取ったけど
今見つからないな。あまり速度出なかったと思う。
C7 1GHｚでもこの程度出るんだからAtomでもそれなりに出るんじゃないかな？

>>353-358
ありがとうございました。とても参考になりました。
趣味のサーバ用なので30MB/s出れば問題なさそうです。
週末に作ってみます。

せっかくなので貼り付けておく
server:linux2.6.24-x86_64 X3360 hwRAID6
client:linux2.6.24-x86_64 X3360 iSCSI

# dd if=/dev/sda bs=65536 count=15258 of=/dev/null
15258+0 records in
15258+0 records out
999948288 bytes (1.0 GB) copied, 39.6692 s, 25.2 MB/s
# dd if=/dev/sda bs=65536 count=15259 of=/dev/null
15259+0 records in
15259+0 records out
1000013824 bytes (1.0 GB) copied, 10.6491 s, 93.9 MB/s
# dd if=/dev/sda bs=65536 count=15259 of=/dev/null
15259+0 records in
15259+0 records out
1000013824 bytes (1.0 GB) copied, 0.279964 s, 3.6 GB/s
# dd if=/dev/sda bs=65536 count=15259 of=/dev/null
15259+0 records in
15259+0 records out
1000013824 bytes (1.0 GB) copied, 0.273612 s, 3.7 GB/s
# dd if=/dev/sda bs=65536 count=15259 of=/dev/null
15259+0 records in
15259+0 records out
1000013824 bytes (1.0 GB) copied, 0.270295 s, 3.7 GB/s

1GBでもキャッシュに載っちまうようで

AoEを使ってみた。

Target: Linux(Debian lenny, Memory 8GB)
Initiator: Windows XP + WinAoE driver

で、Linuxの方で1GBのファイルを作ってそれをAoEでドライブとした。
接続は1Gigabit Ethernetで、安物ハブ経由。

--------------------------------------------------
CrystalDiskMark 2.2 (C) 2007-2008 hiyohiyo
Crystal Dew World : http://crystalmark.info/
--------------------------------------------------

Sequential Read : 76.216 MB/s
Sequential Write : 59.867 MB/s
Random Read 512KB : 65.129 MB/s
Random Write 512KB : 76.348 MB/s
Random Read 4KB : 23.841 MB/s
Random Write 4KB : 17.450 MB/s

何故か、512KBのランダムライトが逆転してるけど…

ついでにnbdも頼む。

>>359
商品だけど、
QNAPとか調べてみるといいかも。

汎用CPU（セレロン、ATOM）によるNAS/iSCSI箱。
409、509あたりが汎用CPUです。

ATOMだったらMINI-ITXだけど、小型のリムーバブル付きITXケースって
ES34069くらいしかないから、できあい買った方が安いかも。

RAID無くていいなら何でもいいかもしれんけど。

ああそうだ、
3wareの9550で、RAID5のSeqRead400MBくらい出るやつあるんだけど、
GbE飽和する。

FCも10GbEも高いんだけど速くしたいときは何でつなげばいい？

Bondingはセッション多数張らないと意味ないよね？（モードによるけど、
2本束ねても、2倍速度が出る訳じゃなくて2セッションの時にスケジューリングで
交互にGbEを使うから遅くなりにくいってだけだよね？）

>>364
iSCSIに拘らなければ、NFSはbondingで速くなるらしいぞ。

iSCSIって１つのターゲットに複数のイニシエータが接続できるのが普通ですか？

普通

vista標準のイニシエータで複数のターゲットに接続できないのですが
方法ありましたら教えてください。

>>368
板違い

>>366-367 と >>368 は方向が違う

初日にして沼にはまっているド素人にHELP
-----------------------------------
Lun 0 Path=/dev/hdc,Type=fileio
Lun 1 Path=/dev/sda9,Type=fileio
-----------------------------------
↓
-----------------------------------
Feb 15 00:21:58 aohdev kernel: iSCSI Enterprise Target Software - version 0.4.17
Feb 15 00:21:58 aovdev kernel: iscsi_trgt: Registered io type fileio
Feb 15 00:21:58 aohdev kernel: iscsi_trgt: Registered io type blockio
Feb 15 00:21:58 aohdev kernel: iscsi_trgt: Registered io type nullio
Feb 15 00:21:58 aohdev kernel: iscsi_trgt: open_path(119) Can't open /dev/hdc -30
Feb 15 00:21:58 aohdev kernel: iscsi_trgt: fileio_attach(283) -30
Feb 15 00:21:58 aohdev ietd: Can't create a logical unit 30 1 0 Path=/dev/hdc,Type=fileio
-----------------------------------

HDDはあっさり認識するのですが、物理CDドライブをTargetにするばあいどうすりゃいいのでしょうか？
コマンドラインから/dev/hdcはmount可能なんですが・・・

blockioにする必要があるんじゃないか？

>>372
変わらず・・・
こんなところで躓くやつはオランようで、類似事例が出てこないでつ

ということは、removableに起因する問題かな
未対応ってオチがあるかも・・・・・

>>374
よろしければ、remoｖａｂｌｅ問題について一席。

それと未対応というのは、ドライブが？OSが？　IETのバージョンが新しすぎる？　などでしょうか
いまのところFC4とFC10でやってますIETは同じverであります

removableだと、対応必要なSCSIコマンドが増えるし、処理も増える。
なので、IETが未対応ってオチがあるんじゃないかな　と。
確か、HDDとremovableで対応必須なコマンドが違ってた筈

google様に聞いてみても、removableは非対応っぽい雰囲気が・・・・

自分の所では、iSCSIbootさせてしまっているので、全部止めないと試せないんだ。ゴメン

>>376
いやいや感謝
removableという概念がなかったので目から鱗でした

で、そこらへんのキーワードで調べてみたのですが
ttp://plaza.rakuten.co.jp/ftechworks/diary/200712250000/

これを参考に0.4.17のソースを書き換えてみたのですが
WindowsXPのディスクの管理でリムーバブルとして「正常」認識されるも
エクスプローラーからアクセスすると「ディスク構造が壊れています」と・・・（DVD-Rの場合）

IETじゃないやつで対応しているのを探してしまった方がはやいのかもしれませんが、駆け出しなので気長にやってみます

イニシエータにWindowsは鬼門か…('A`)

DELL鯖でwindows2003のiSCSIbootやってみた(BCM5708、iBFT使用)
結論から言うと、「できるにはできるが、素直にintelNIC買うのが楽」
手順通りにやっても何か問題が残ってるようでうまくいかない。
設定いじりながら何回もインストールやりなおしてやっと成功。

intelNICだと、インストール時にSCSIアダプタとしてドライバの追加ができるらしく
たぶん、苦労することはない。対応OSなら。

iSCSIとVLAN併用する方法もわかんないし、windows鬼門すぎる
linuxだと簡単なのに・・・・

Windowsで安価に使えるクラスターファイルシステム マダー（・∀・ ）っ/凵 ⌒☆ﾁﾝ

クラスターFSってどんなのがあります？

ocfs

>>382
THX
ocfs2とかgfsというのがあるのは分かった。
インスコ方法まとまっているのがあまりないなぁ・・・・

コツコツやってみるか

>>383
OCFS2はインストールとかほとんど考えることがない位に簡単。
GFSルートは艱難辛苦を乗り越える人生の苦い思い出を作るのに最適。

WindowsからもOCFS2読めるといいんだがなぁ

Linux、BSD、Mac、Winで共通して使える
オープンソースのクラスタファイルシステム出ないかねー。

そこからブート可能となると、いろいろ各OSの都合があって難しいだろうけど、
データ用としてなら十分に可能だと思うんだけどなー。

ZFSあたりがクラスタファイルシステムに対応してくれると一番良さそうだけど。

GFSだとLinux、BSD、MacOSXまでは使える…のか…？
やっぱWindowsが難しいか…

ocfs2 簡単だったけど、その上に vmware server 2 の
vm 置いて立ち上げたらなぜか panic 起こすんだよなぁ...

>>388
つ http://communities.vmware.com/thread/76811

ocfs2を使うときに、o2cbを設定しなかったらどうなるの？

>>388
まあ、その手のことをしたいのならESXiでVMFS使えって感じだしなぁ

iscsiのイニシエーターが壊れた場合、iscsiで運用していたSATAのディスクを
取り外してUSBの外付けHDDケースに入れ替えて接続したりすると、
そのまま問題なく読めるのかな？

ターゲット側の実装によるだろうけど、open-iscsiなら読めたかな。

それはすごい便利だね。
iSCSI Enterprize でも出来るかな？

SunOS sxce113 5.11 snv_113 i86pc i386 i86pc
でiSCSI Targetやってるんですが、
同じハードでCIFSだと40MB/sくらい出るんですが
iSCSIだと10MB/sくらいしか出ません。

どなたかチューニングのやり方などご教授いただけませんか？

Linux側をtargetにしてクライアントPCにWin7を入れたんだけど、
NICのBIOSでtargetを認識さえさせておけば、
その後はOSメディア1枚だけで何一つ問題なく入った。
便利な時代ですな。

そんなのvistaのころからできてますけど

vistaなんてつかうわけないじゃんｗ

買ってないんだろ？必死だな
頼むからRC拾ってきて目新しいことできたように言わないでくれｗ

情シスなら評価くらいしてるだろ。
開発者とかならMSDNあるし、運用でもTechnetとかあるし。
ノートPC買えばVista入ってるし。

ここは安鯖で遊んでる人間が多そうだから自作板みたいな
煽りも出てくるんだろうな。

というか、そもそもここLinux板だから、Windowsなんか使わねえよ、ってことか。

そりゃごもっとも。

ほう、Win7をiSCSIインストールできるのか
XPとか2003とか、一度HDDに入れてイメージ作ってとか面倒だったからなぁ

7はVHDからブートできるようになったのが面白くて

>>403
LDのライバルだったあれか!

Fedoraのnetbsd-iscsi試したら2TB制限有ったわ

>403-404
むかし展示品のVHDプレイヤーを電気屋からタダで貰ったけど、ソフトなくて捨てたの思い出した

VHD=バンテック・グループ・ホールディングス
LD=ライブドア
特にライバルではなかった。

ﾂﾏﾝﾈ

>>407
ここまで拾いようのない真面目ボケは初めて見た

iSCSIの利点って何なんでしょ。
WikiPedia見てきたけどいまいちわからんす…。
iSCSI - Wikipedia
http://ja.wikipedia.org/wiki/ISCSI

昔、PC98時代は、外付けHDDでSCSI使ってましたが、
外付けHDDみたいに使えるだけなのでしょうか？
>>1でFreeNASより高速とありますが、スレ読む限りファイル共有のプロトコル(といかNAS)というわけではないようですし…。

また、eSATAじゃなくて、iSCSI使う理由は何なのでしょうか？

こちらでiSCSIでサーバー構築とかやっておられる方みて気になってはいるのですが…。
ゆーすけべー日記: 「ボケて」ガンマ版リリース - 技術的新しい試みまとめ
http://yusukebe.com/archives/09/05/02/212113.html

ぶっちゃけ、劣化・安価なファイバチャネル

>410
イーサを纏めてボンディングしたり
VPN越しにストレージを置いたら災害対策とか

iSCSI越しにテープが使えるのがよかったなぁ。
あと、Linux関係ないけどWindowsでMSCSが簡単・安価に組める。

まぁ、安価なファイバーチャネルって意見は同意。

Windowsでネットワークドライブだと制限かかるような時とか。
ネットワーク越しにハードウェアとして認識してくれるのは助かる。
まあ、スイッチがへぼかったらあんまり業務で使いたいと思わないけど。

VMware ESXi用のストレージとして活躍してます。

安価なFCというより、FCが高価すぎるというか。だからFCoEとか出てくるわけで。

NASと違ってブートできる
eSATAと違って共有ディスクでも使える

うちの場合、常時稼動ファイルサーバが既にあるから、
それをターゲットにしてクライアントPCをディスクレスにしたよ。

そもそもSANの利点がわからないって事じゃない？
iSCSIはIP-SANとか言われてたような気がするが、SANについて調べてくれれば利点はわかると思う。

まだクラスタfsが弱いというのもありそう。

>>415
>>410のリンク先の人と同じですね

> eSATAと違って共有ディスクでも使える
マジ？何かWindowsだとダメダメみたいな情報しかないんだけど。
サーバーはLinuxなんだが、クライアントは全部Windowsなんだよね・・・