I’d be curious to hear if all these arguments against iSCSI shouldn’t also apply to NSD protocol over TCP/IP?<br><br><br>  -jf<br><div class="gmail_quote"><div dir="ltr">man. 17. des. 2018 kl. 01:22 skrev Jonathan Buzzard <<a href="mailto:jonathan.buzzard@strath.ac.uk">jonathan.buzzard@strath.ac.uk</a>>:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">On 13/12/2018 20:54, Buterbaugh, Kevin L wrote:<br>
<br>
[SNIP]<br>
<br>
> <br>
> Two things that I am already aware of are:  1) use jumbo frames, and 2) <br>
> run iSCSI over it’s own private network.  Other things I should be aware <br>
> of?!?<br>
> <br>
<br>
Yes, don't do it. Really do not do it unless you have datacenter <br>
Ethernet switches and adapters. Those are the ones required for FCoE. <br>
Basically unless you have per channel pause on your Ethernet fabric then <br>
performance will at some point all go to shit.<br>
<br>
So what happens is your NSD makes a whole bunch of requests to read <br>
blocks off the storage array. Requests are small, response is not. The <br>
response can overwhelms the Ethernet channel at which point performance <br>
falls through the floor. Now you might be lucky not to see this, <br>
especially if you have say have 10Gbps links from the storage and 40Gbps <br>
links to the NSD servers, but you are taking a gamble. Also the more <br>
storage arrays you have the more likely you are to see the problem.<br>
<br>
To fix this you have two options. The first is datacenter Ethernet with <br>
per channel pause. This option is expensive, probably in the same ball <br>
park as fibre channel. At least it was last time I looked, though this <br>
was some time ago now.<br>
<br>
The second option is dedicated links between the storage array and the <br>
NSD server. That is the cable goes directly between the storage array <br>
and the NSD server with no switches involved. This option is a <br>
maintenance nightmare.<br>
<br>
At he site where I did this, we had to go option two because I need to <br>
make it work, We ended up ripping it all out are replacing with FC.<br>
<br>
Personally I would see what price you can get DSS storage for, or use <br>
SAS arrays.<br>
<br>
Note iSCSI can in theory work, it's just the issue with GPFS scattering <br>
stuff to the winds over multiple storage arrays so your ethernet channel <br>
gets swamped and standard ethernet pauses all the upstream traffic. The <br>
vast majority of iSCSI use cases don't see this effect.<br>
<br>
There is a reason that to run FC over ethernet they had to turn ethernet <br>
lossless.<br>
<br>
<br>
JAB.<br>
<br>
-- <br>
Jonathan A. Buzzard                         Tel: +44141-5483420<br>
HPC System Administrator, ARCHIE-WeSt.<br>
University of Strathclyde, John Anderson Building, Glasgow. G4 0NG<br>
_______________________________________________<br>
gpfsug-discuss mailing list<br>
gpfsug-discuss at <a href="http://spectrumscale.org" rel="noreferrer" target="_blank">spectrumscale.org</a><br>
<a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss" rel="noreferrer" target="_blank">http://gpfsug.org/mailman/listinfo/gpfsug-discuss</a><br>
</blockquote></div>