<html><head><meta http-equiv="content-type" content="text/html; charset=utf-8"></head><body dir="auto">Hi all, <div><br></div><div>Thank you for all your suggestions! The latency is 30ms between the sites (1600km to be exact). So if I have entered correctly in the calculator 1Gb is actually what is expected on that distance. </div><div><br></div><div>I had a meeting today with IBM where we were able to push that from the 1Gb to about 4Gb on one link with minimal tuning, more tuning will come the next few days! We are also looking to implement the feature afmParallelMounts which should give us the full bandwidth we have between the sites :-)</div><div><br></div><div>Thanks!</div><div><br></div><div>Best Regards</div><div>Andi Christiansen<br><br><div id="AppleMailSignature" dir="ltr">Sendt fra min iPhone</div><div dir="ltr"><br>Den 22. feb. 2020 kl. 10.35 skrev Tomer Perry <<a href="mailto:TOMP@il.ibm.com">TOMP@il.ibm.com</a>>:<br><br></div><blockquote type="cite"><div dir="ltr"><font size="2" face="sans-serif">Hi,</font><br><br><font size="2" face="sans-serif">Its implied in the tcp tuning suggestions

( as one needs bandwidth and latency in order to calculate the BDP).</font><br><font size="2" face="sans-serif">The overall theory is documented in

multiple places (tcp window, congestion control etc.) - nice place to start

is </font><a href="https://en.wikipedia.org/wiki/TCP_tuning"><font size="3" color="blue"><u>https://en.wikipedia.org/wiki/TCP_tuning</u></font></a><font size="3"></font><font size="2" face="sans-serif">.</font><br><font size="2" face="sans-serif">I tend to use this calculator in order

to find out the right values </font><a href="https://www.switch.ch/network/tools/tcp_throughput/"><font size="3" color="blue"><u>https://www.switch.ch/network/tools/tcp_throughput/</u></font></a><font size="3"></font><br><br><font size="2" face="sans-serif">The parallel IO and multiple mounts

are on top of the above - not instead ( even though it could be seen that

it makes things better - but multiple of the small numbers we're getting

initially).</font><br><font size="2" face="sans-serif"><br>Regards,<br><br>Tomer Perry<br>Scalable I/O Development (Spectrum Scale)<br>email: <a href="mailto:tomp@il.ibm.com">tomp@il.ibm.com</a><br>1 Azrieli Center, Tel Aviv 67021, Israel<br>Global Tel:    +1 720 3422758<br>Israel Tel:      +972 3 9188625<br>Mobile:         +972 52 2554625<br></font><br><br><br><br><font size="1" color="#5f5f5f" face="sans-serif">From:      

 </font><font size="1" face="sans-serif">"Luis Bolinches"

<<a href="mailto:luis.bolinches@fi.ibm.com">luis.bolinches@fi.ibm.com</a>></font><br><font size="1" color="#5f5f5f" face="sans-serif">To:      

 </font><font size="1" face="sans-serif">"gpfsug main discussion

list" <<a href="mailto:gpfsug-discuss@spectrumscale.org">gpfsug-discuss@spectrumscale.org</a>></font><br><font size="1" color="#5f5f5f" face="sans-serif">Cc:      

 </font><font size="1" face="sans-serif">Jake Carrol <<a href="mailto:jake.carroll@uq.edu.au">jake.carroll@uq.edu.au</a>></font><br><font size="1" color="#5f5f5f" face="sans-serif">Date:      

 </font><font size="1" face="sans-serif">22/02/2020 07:56</font><br><font size="1" color="#5f5f5f" face="sans-serif">Subject:    

   </font><font size="1" face="sans-serif">[EXTERNAL] Re:

[gpfsug-discuss] Spectrum Scale Ganesha NFS multi threaded AFM?</font><br><font size="1" color="#5f5f5f" face="sans-serif">Sent by:    

   </font><font size="1" face="sans-serif"><a href="mailto:gpfsug-discuss-bounces@spectrumscale.org">gpfsug-discuss-bounces@spectrumscale.org</a></font><br><hr noshade=""><br><br><br><font size="3">Hi</font><br><br><font size="3">While I agree with what es already mention here and it

is really spot on, I think Andi missed to reveal what is the latency between

sites. Latency is as key if not more than ur pipe link speed to throughput

results. <br></font><br><font size="3">--</font><br><font size="3">Cheers</font><br><br><font size="3">On 22. Feb 2020, at 3.08, Andrew Beattie <<a href="mailto:abeattie@au1.ibm.com">abeattie@au1.ibm.com</a>>

wrote:<br></font><br><font size="3">Andi,</font><br><br><font size="3">You may want to reach out to Jake Carrol at the University

of Queensland,</font><br><br><font size="3">When UQ first started exploring with AFM, and global AFM

transfers they did extensive testing around tuning for the NFS stack.</font><br><br><font size="3">From memory they got to a point where they could pretty

much saturate a 10GBit link, but they had to do a lot of tuning to get

there.</font><br><br><font size="3">We are now effectively repeating the process, with AFM

but using 100GB links, which brings about its own sets of interesting challenges.</font><br><br><br><br><br><br><font size="3">Regards</font><br><br><font size="3">Andrew<br></font><br><font size="3">Sent from my iPhone</font><br><br><font size="3">On 22 Feb 2020, at 09:32, Andi Christiansen <<a href="mailto:andi@christiansen.xxx">andi@christiansen.xxx</a>>

wrote:<br></font><br><font size="3">Hi,</font><br><br><font size="3">Thanks for answering!</font><br><br><font size="3">Yes possible, I’m not too much into NFS and AFM so I

might have used the wrong term..</font><br><br><font size="3">I looked at what you suggested (very interesting reading)

and setup multiple cache gateways to our home nfs server with the new afmParallelMount

feature. It was as I suspected, for each gateway that does a write it gets

50-60MB/s bandwidth so although this utilizes more when adding it up (4

x gateways = 4 x 50-60MB/s) I’m still confused to why one server with

one link cannot utilize more than the 50-60MB/s on 10Gb links ? Even 200-240MB/s

is much slower than a regular 10Gbit interface. <font size="3">Best Regards  <font size="3">Andi Christiansen <font size="3"> <font size="3">Sendt fra min iPhone <font size="3"> Den 21. feb. 2020 kl. 18.25 skrev Tomer Perry <<a href="mailto:TOMP@il.ibm.com"><font size="3" color="blue">TOMP@il.ibm.com</a><font size="3">>: <font size="2" face="sans-serif">Hi,<font size="3"> <font size="2" face="sans-serif"> I believe the right term is not multithreaded, but rather multistream.

NFS will submit multiple requests in parallel, but without using large

enough window you won't be able to get much of each stream.<br>So, the first place to look is here: </font><a href="https://www.ibm.com/support/knowledgecenter/en/STXKQY_5.0.4/com.ibm.spectrum.scale.v5r04.doc/bl1adm_tuningbothnfsclientnfsserver.htm"><font size="3" color="blue"><u>https://www.ibm.com/support/knowledgecenter/en/STXKQY_5.0.4/com.ibm.spectrum.scale.v5r04.doc/bl1adm_tuningbothnfsclientnfsserver.htm</u></font></a><font size="2" face="sans-serif">- and while its talking about "Kernel NFS" the same apply to

any TCP socket based communication ( including Ganesha). I tend to test

the performance using iperf/nsdperf ( just make sure to use single stream)

in order to see what is the expected maximum performance.<br>After that, you can start looking into "how can I get multiple streams?"

- for that there are two options:</font><font size="3" color="blue"><u><br></u></font><a href="https://www.ibm.com/support/knowledgecenter/en/STXKQY_5.0.4/com.ibm.spectrum.scale.v5r04.doc/bl1ins_paralleldatatransfersafm.htm"><font size="3" color="blue"><u>https://www.ibm.com/support/knowledgecenter/en/STXKQY_5.0.4/com.ibm.spectrum.scale.v5r04.doc/bl1ins_paralleldatatransfersafm.htm</u></font></a><font size="2" face="sans-serif"><br>and</font><font size="3" color="blue"><u><br></u></font><a href="https://www.ibm.com/support/knowledgecenter/en/STXKQY_5.0.4/com.ibm.spectrum.scale.v5r04.doc/b1lins_afmparalleldatatransferwithremotemounts.htm"><font size="3" color="blue"><u>https://www.ibm.com/support/knowledgecenter/en/STXKQY_5.0.4/com.ibm.spectrum.scale.v5r04.doc/b1lins_afmparalleldatatransferwithremotemounts.htm</u></font></a><font size="3"><br></font><font size="2" face="sans-serif"><br>The former enhance large file transfer, while the latter ( new in 5.0.4)

will help with multiple small files as well.</font><font size="3"><br><br></font><font size="2" face="sans-serif"><br><br>Regards,<br><br>Tomer Perry<br>Scalable I/O Development (Spectrum Scale)<br>email: </font><a href="mailto:tomp@il.ibm.com"><font size="2" color="blue" face="sans-serif"><u>tomp@il.ibm.com</u></font></a><font size="2" face="sans-serif"><br>1 Azrieli Center, Tel Aviv 67021, Israel<br>Global Tel:    +1 720 3422758<br>Israel Tel:      +972 3 9188625<br>Mobile:         +972 52 2554625</font><font size="3"><br><br><br><br></font><font size="1" color="#5f5f5f" face="sans-serif"><br>From:        </font><font size="1" face="sans-serif">Andi

Christiansen <</font><a href="mailto:andi@christiansen.xxx"><font size="1" color="blue" face="sans-serif"><u>andi@christiansen.xxx</u></font></a><font size="1" face="sans-serif">></font><font size="1" color="#5f5f5f" face="sans-serif"><br>To:        </font><font size="1" face="sans-serif">"</font><a href="mailto:gpfsug-discuss@spectrumscale.org"><font size="1" color="blue" face="sans-serif"><u>gpfsug-discuss@spectrumscale.org</u></font></a><font size="1" face="sans-serif">"

<</font><a href="mailto:gpfsug-discuss@spectrumscale.org"><font size="1" color="blue" face="sans-serif"><u>gpfsug-discuss@spectrumscale.org</u></font></a><font size="1" face="sans-serif">></font><font size="1" color="#5f5f5f" face="sans-serif"><br>Date:        </font><font size="1" face="sans-serif">21/02/2020

15:25</font><font size="1" color="#5f5f5f" face="sans-serif"><br>Subject:        </font><font size="1" face="sans-serif">[EXTERNAL]

[gpfsug-discuss] Spectrum Scale Ganesha NFS multi threaded AFM?<font size="1" color="#5f5f5f" face="sans-serif"> Sent by:        <a href="mailto:gpfsug-discuss-bounces@spectrumscale.org"><font size="1" color="blue" face="sans-serif">gpfsug-discuss-bounces@spectrumscale.org</a><font size="3"> <hr noshade=""><font size="3"> Hi all,  i have searched the internet for a good time now with no answer to this..

So i hope someone can tell me if this is possible or not. <br><br>We use NFS from our Cluster1 to a AFM enabled fileset on Cluster2. That

is working as intended. But when AFM transfers files from one site to another

it caps out at about 5-700Mbit/s which isnt impressive.. The sites are

connected on 10Gbit links but the distance/round-trip is too far/high to

use the NSD protocol with AFM. <br><br>On the cluster where the fileset is exported we can only see 1 session

against the client cluster, is there a way to either tune Ganesha or AFM

to use more threads/sessions? <br><br>We have about 7.7Gbit bandwidth between the sites from the 10Gbit links

and with multiple NFS sessions we can reach the maximum bandwidth(each

using about 50-60MBits per session). <br><br>Best Regards <br>Andi Christiansen </font><tt><font size="2">_______________________________________________<br>gpfsug-discuss mailing list<br>gpfsug-discuss at </font></tt><a href="http://spectrumscale.org"><tt><font size="2" color="blue"><u>spectrumscale.org</u></font></tt></a><font size="3" color="blue"><u><br></u></font><a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss"><tt><font size="2" color="blue"><u>http://gpfsug.org/mailman/listinfo/gpfsug-discuss</u></font></tt></a><font size="3"><br><br><br></font><br><br><font size="3"><br>Ellei edellä ole toisin mainittu: / Unless stated otherwise above:<br>Oy IBM Finland Ab<br>PL 265, 00101 Helsinki, Finland<br>Business ID, Y-tunnus: 0195876-3 <br>Registered in Finland<br></font><tt><font size="2">_______________________________________________<br>gpfsug-discuss mailing list<br>gpfsug-discuss at <a href="http://spectrumscale.org">spectrumscale.org</a><br></font></tt><a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss"><tt><font size="2">http://gpfsug.org/mailman/listinfo/gpfsug-discuss</font></tt></a><tt><font size="2"><br></font></tt><br><br><br></div></blockquote><blockquote type="cite"><div dir="ltr"><span>_______________________________________________</span><br><span>gpfsug-discuss mailing list</span><br><span>gpfsug-discuss at <a href="http://spectrumscale.org">spectrumscale.org</a></span><br><span><a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss">http://gpfsug.org/mailman/listinfo/gpfsug-discuss</a></span><br></div></blockquote></div></body></html>