<br>Mostly curious, don't have experience in such environments, but ... Is this AFM over NFS or NSD protocol? Might be interesting to try the other option -- and also check how nsdperf performs over such distance/latency.<br><br><br><br>  -jf<br><div class="gmail_quote"><div dir="ltr">ons. 9. nov. 2016 kl. 18.39 skrev Jake Carroll <<a href="mailto:jake.carroll@uq.edu.au">jake.carroll@uq.edu.au</a>>:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">







<div bgcolor="white" lang="EN-GB" link="#0563C1" vlink="#954F72" class="gmail_msg">
<div class="m_6029803381358043479WordSection1 gmail_msg">
<p class="MsoNormal gmail_msg"><span lang="EN-AU" style="font-size:11.0pt" class="gmail_msg">Hi.<u class="gmail_msg"></u><u class="gmail_msg"></u></span></p>
<p class="MsoNormal gmail_msg"><span lang="EN-AU" style="font-size:11.0pt" class="gmail_msg"><u class="gmail_msg"></u> <u class="gmail_msg"></u></span></p>
<p class="MsoNormal gmail_msg"><span lang="EN-AU" style="font-size:11.0pt" class="gmail_msg">I’ve got an GPFS to GPFS AFM cache/home (IW) relationship set up over a really long distance. About 180ms of latency between the two clusters and around 13,000km of optical path. Fortunately for
 me, I’ve actually got near theoretical maximum IO over the NIC’s between the clusters and I’m iPerf’ing at around 8.90 to 9.2Gbit/sec over a 10GbE circuit. All MTU9000 all the way through.<u class="gmail_msg"></u><u class="gmail_msg"></u></span></p>
<p class="MsoNormal gmail_msg"><span lang="EN-AU" style="font-size:11.0pt" class="gmail_msg"><u class="gmail_msg"></u> <u class="gmail_msg"></u></span></p>
<p class="MsoNormal gmail_msg"><span lang="EN-AU" style="font-size:11.0pt" class="gmail_msg">Anyway – I’m finding my AFM traffic to be dragging its feet and I don’t really understand why that might be. I’ve verified the links and transports ability as I said above with iPerf, and CERN’s
 FDT to near 10Gbit/sec. <u class="gmail_msg"></u><u class="gmail_msg"></u></span></p>
<p class="MsoNormal gmail_msg"><span lang="EN-AU" style="font-size:11.0pt" class="gmail_msg"><u class="gmail_msg"></u> <u class="gmail_msg"></u></span></p>
<p class="MsoNormal gmail_msg"><span lang="EN-AU" style="font-size:11.0pt" class="gmail_msg">I also verified the clusters on both sides in terms of disk IO and they both seem easily capable in IOZone and IOR tests of multiple GB/sec of throughput.<u class="gmail_msg"></u><u class="gmail_msg"></u></span></p>
<p class="MsoNormal gmail_msg"><span lang="EN-AU" style="font-size:11.0pt" class="gmail_msg"><u class="gmail_msg"></u> <u class="gmail_msg"></u></span></p>
<p class="MsoNormal gmail_msg"><span lang="EN-AU" style="font-size:11.0pt" class="gmail_msg">So – my questions:<u class="gmail_msg"></u><u class="gmail_msg"></u></span></p>
<p class="MsoNormal gmail_msg"><span lang="EN-AU" style="font-size:11.0pt" class="gmail_msg"><u class="gmail_msg"></u> <u class="gmail_msg"></u></span></p>
<p class="m_6029803381358043479MsoListParagraph gmail_msg"><u class="gmail_msg"></u><span lang="EN-AU" style="font-size:11.0pt" class="gmail_msg"><span class="gmail_msg">1.<span style="font:7.0pt "Times New Roman"" class="gmail_msg">      
</span></span></span><u class="gmail_msg"></u><span lang="EN-AU" style="font-size:11.0pt" class="gmail_msg">Are there very specific tunings AFM needs for high latency/long distance IO?
<u class="gmail_msg"></u><u class="gmail_msg"></u></span></p>
<p class="m_6029803381358043479MsoListParagraph gmail_msg"><u class="gmail_msg"></u><span lang="EN-AU" style="font-size:11.0pt" class="gmail_msg"><span class="gmail_msg">2.<span style="font:7.0pt "Times New Roman"" class="gmail_msg">      
</span></span></span><u class="gmail_msg"></u><span lang="EN-AU" style="font-size:11.0pt" class="gmail_msg">Are there very specific NIC/TCP-stack tunings (beyond the type of thing we already have in place) that benefits AFM over really long distances and high latency?<u class="gmail_msg"></u><u class="gmail_msg"></u></span></p>
<p class="m_6029803381358043479MsoListParagraph gmail_msg"><u class="gmail_msg"></u><span lang="EN-AU" style="font-size:11.0pt" class="gmail_msg"><span class="gmail_msg">3.<span style="font:7.0pt "Times New Roman"" class="gmail_msg">      
</span></span></span><u class="gmail_msg"></u><span lang="EN-AU" style="font-size:11.0pt" class="gmail_msg">We are seeing on the “cache” side really lazy/sticky “ls –als” in the home mount. It sometimes takes 20 to 30 seconds before the command line will report back with a long listing of
 files. Any ideas why it’d take that long to get a response from “home”.<u class="gmail_msg"></u><u class="gmail_msg"></u></span></p>
<p class="MsoNormal gmail_msg"><span lang="EN-AU" style="font-size:11.0pt" class="gmail_msg"><u class="gmail_msg"></u> <u class="gmail_msg"></u></span></p>
<p class="MsoNormal gmail_msg"><span lang="EN-AU" style="font-size:11.0pt" class="gmail_msg">We’ve got our TCP stack setup fairly aggressively, on all hosts that participate in these two clusters.<u class="gmail_msg"></u><u class="gmail_msg"></u></span></p>
<p class="MsoNormal gmail_msg"><span lang="EN-AU" style="font-size:11.0pt;font-family:Consolas" class="gmail_msg"><u class="gmail_msg"></u> <u class="gmail_msg"></u></span></p>
<p class="MsoNormal gmail_msg"><span style="font-size:11.0pt;font-family:Consolas" class="gmail_msg">ethtool -C enp2s0f0 adaptive-rx off<u class="gmail_msg"></u><u class="gmail_msg"></u></span></p>
<p class="MsoNormal gmail_msg"><span style="font-size:11.0pt;font-family:Consolas" class="gmail_msg">ifconfig enp2s0f0 txqueuelen 10000<u class="gmail_msg"></u><u class="gmail_msg"></u></span></p>
<p class="MsoNormal gmail_msg"><span style="font-size:11.0pt;font-family:Consolas" class="gmail_msg">sysctl -w net.core.rmem_max=536870912<u class="gmail_msg"></u><u class="gmail_msg"></u></span></p>
<p class="MsoNormal gmail_msg"><span style="font-size:11.0pt;font-family:Consolas" class="gmail_msg">sysctl -w net.core.wmem_max=536870912<u class="gmail_msg"></u><u class="gmail_msg"></u></span></p>
<p class="MsoNormal gmail_msg"><span style="font-size:11.0pt;font-family:Consolas" class="gmail_msg">sysctl -w net.ipv4.tcp_rmem="4096 87380 268435456"<u class="gmail_msg"></u><u class="gmail_msg"></u></span></p>
<p class="MsoNormal gmail_msg"><span style="font-size:11.0pt;font-family:Consolas" class="gmail_msg">sysctl -w net.ipv4.tcp_wmem="4096 65536 268435456"<u class="gmail_msg"></u><u class="gmail_msg"></u></span></p>
<p class="MsoNormal gmail_msg"><span style="font-size:11.0pt;font-family:Consolas" class="gmail_msg">sysctl -w net.core.netdev_max_backlog=250000<u class="gmail_msg"></u><u class="gmail_msg"></u></span></p>
<p class="MsoNormal gmail_msg"><span style="font-size:11.0pt;font-family:Consolas" class="gmail_msg">sysctl -w net.ipv4.tcp_congestion_control=htcp<u class="gmail_msg"></u><u class="gmail_msg"></u></span></p>
<p class="MsoNormal gmail_msg"><span style="font-size:11.0pt;font-family:Consolas" class="gmail_msg">sysctl -w net.ipv4.tcp_mtu_probing=1<u class="gmail_msg"></u><u class="gmail_msg"></u></span></p>
<p class="MsoNormal gmail_msg"><span lang="EN-AU" style="font-size:11.0pt" class="gmail_msg"><u class="gmail_msg"></u> <u class="gmail_msg"></u></span></p>
<p class="MsoNormal gmail_msg"><span lang="EN-AU" style="font-size:11.0pt" class="gmail_msg">I modified a couple of small things on the AFM “cache” side to see if it’d make a difference such as:<u class="gmail_msg"></u><u class="gmail_msg"></u></span></p>
<p class="MsoNormal gmail_msg"><span lang="EN-AU" style="font-size:11.0pt" class="gmail_msg"><u class="gmail_msg"></u> <u class="gmail_msg"></u></span></p>
<p class="MsoNormal gmail_msg"><span style="font-size:11.0pt" class="gmail_msg">mmchconfig afmNumWriteThreads=4<u class="gmail_msg"></u><u class="gmail_msg"></u></span></p>
<p class="MsoNormal gmail_msg"><span style="font-size:11.0pt" class="gmail_msg">mmchconfig afmNumReadThreads=4<u class="gmail_msg"></u><u class="gmail_msg"></u></span></p>
<p class="MsoNormal gmail_msg"><span lang="EN-AU" style="font-size:11.0pt" class="gmail_msg"><u class="gmail_msg"></u> <u class="gmail_msg"></u></span></p>
<p class="MsoNormal gmail_msg"><span lang="EN-AU" style="font-size:11.0pt" class="gmail_msg">But no difference so far.<u class="gmail_msg"></u><u class="gmail_msg"></u></span></p>
<p class="MsoNormal gmail_msg"><span lang="EN-AU" style="font-size:11.0pt" class="gmail_msg"><u class="gmail_msg"></u> <u class="gmail_msg"></u></span></p>
<p class="MsoNormal gmail_msg"><span lang="EN-AU" style="font-size:11.0pt" class="gmail_msg">Thoughts would be appreciated. I’ve done this before over much shorter distances (30Km) and I’ve flattened a 10GbE wire without really tuning…anything. Are my large in-flight-packets numbers/long-time-to-acknowledgement
 semantics going to hurt here? I really thought AFM might be well designed for exactly this kind of work at long distance *<b class="gmail_msg">and</b>* high throughput – so I must be missing something!<u class="gmail_msg"></u><u class="gmail_msg"></u></span></p>
<p class="MsoNormal gmail_msg"><span lang="EN-AU" style="font-size:11.0pt" class="gmail_msg"><u class="gmail_msg"></u> <u class="gmail_msg"></u></span></p>
<p class="MsoNormal gmail_msg"><span lang="EN-AU" style="font-size:11.0pt" class="gmail_msg">-jc<u class="gmail_msg"></u><u class="gmail_msg"></u></span></p>
<p class="MsoNormal gmail_msg"><span lang="EN-AU" style="font-size:11.0pt" class="gmail_msg"><u class="gmail_msg"></u> <u class="gmail_msg"></u></span></p>
<p class="MsoNormal gmail_msg"><span lang="EN-AU" style="font-size:11.0pt" class="gmail_msg"><u class="gmail_msg"></u> <u class="gmail_msg"></u></span></p>
<p class="MsoNormal gmail_msg"><span lang="EN-AU" style="font-size:11.0pt" class="gmail_msg"><u class="gmail_msg"></u> <u class="gmail_msg"></u></span></p>
</div>
</div>

_______________________________________________<br class="gmail_msg">
gpfsug-discuss mailing list<br class="gmail_msg">
gpfsug-discuss at <a href="http://spectrumscale.org" rel="noreferrer" class="gmail_msg" target="_blank">spectrumscale.org</a><br class="gmail_msg">
<a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss" rel="noreferrer" class="gmail_msg" target="_blank">http://gpfsug.org/mailman/listinfo/gpfsug-discuss</a><br class="gmail_msg">
</blockquote></div>