>>723
6台のノードをフルメッシュ構成で接続(リンク速度:1Gbps)
このネットワークをCeph用として使用している
(publicとclusterネットワークは共用)

自作の簡易ベンチマークで測定した結果:
6ノード同時書き込み時の速度:600〜700MB/s
1ノードのみでの書き込み速度:250〜350MB/s
また、fsyncなどで明示的にフラッシュしても、おおよそ半分程度の速度は維持される

そこそこ負荷を掛けてもレイテンシーが極端に悪化することもないかな

そりゃ、早いに越したことはないけど
自分のNASでの用途だと特に問題は感じない