<div class="socmaildefaultfont" dir="ltr" style="font-family:Arial, Helvetica, sans-serif;font-size:10pt" ><div dir="ltr" >Jonathan,</div>
<div dir="ltr" > </div>
<div dir="ltr" >besides reduced latency, and better performance?</div>
<div dir="ltr" > </div>
<div dir="ltr" >I don't have a broad range of test data, just IO500 benchmarks from deployments that we have completed as part of acceptance tests, </div>
<div dir="ltr" >however one of the best  comparisons that I have is from the University of Melbourne in Australia. </div>
<div dir="ltr" > </div>
<div dir="ltr" >Sean Crosby from the University of Melbourne did a presentation back in August 2020, of the UoM deployment of ESS</div>
<div dir="ltr" >where they deployed an ESS GH14s (SSD for Metadata and NL-SAS for data)</div>
<div dir="ltr" > </div>
<div dir="ltr" >he has IO500 benchmarks of native TCP vs RoCE which i've borrowed for this email.</div>
<div dir="ltr" > </div>
<div dir="ltr" > </div>
<div dir="ltr" >ESS GH14s - 100Gbit Ethernet - TCP/IP - 10 Node IO 500<img src="cid:16390972812300" style="width: 800px; height: 190px;" ></div>
<div dir="ltr" > </div>
<div dir="ltr" >ESS GH14s - 100Gbit Ethernet - ROCE - 10 Node IO500</div>
<div dir="ltr" ><img src="cid:16390972812301" style="width: 800px; height: 236px;" ></div>
<div dir="ltr" ><div dir="ltr" ><div dir="ltr" ><div dir="ltr" ><div dir="ltr" ><div dir="ltr" ><div dir="ltr" ><div>Effectively:</div>
<div> </div>
<div>14% Write performance improvement (NL-SAS)</div>
<div>16% Read performance improvement (NL-SAS)</div>
<div>87% Write performance improvement  - Metadata Writes (SSD)</div>
<div>77% Read performance improvement - Metatdata Reads (SSD)</div>
<div> </div>
<div>average latency reduced by 10x down to 1.6us</div>
<div> </div>
<div> </div>
<div> </div>
<div>Andrew Beattie</div>
<div><strong>Technical Sales - Storage for Big Data and AI</strong></div>
<div><strong>IBM Systems - Storage </strong></div>
<div><strong>IBM Australia & New Zealand</strong></div>
<div style="font-size: 8pt; font-family: sans-serif; margin-top: 10px;" ><div><span style="font-weight: bold; color: #336699;" >Phone: </span>614-2133-7927</div>
<div><span style="font-weight: bold; color: #336699;" >E-mail: </span><a href="mailto:abeattie@au1.ibm.com" style="color: #555">abeattie@au1.ibm.com</a></div></div></div></div></div></div></div></div></div>
<div dir="ltr" > </div>
<div dir="ltr" > </div>
<blockquote data-history-content-modified="1" dir="ltr" style="border-left:solid #aaaaaa 2px; margin-left:5px; padding-left:5px; direction:ltr; margin-right:0px" >----- Original message -----<br>From: "Jonathan Buzzard" <jonathan.buzzard@strath.ac.uk><br>Sent by: gpfsug-discuss-bounces@spectrumscale.org<br>To: gpfsug-discuss@spectrumscale.org<br>Cc:<br>Subject: [EXTERNAL] Re: [gpfsug-discuss] alternate path between ESS Servers for Datamigration<br>Date: Fri, Dec 10, 2021 10:27<br> 
<div><font face="Default Monospace,Courier New,Courier,monospace" size="2" >On 09/12/2021 16:04, Douglas O'flaherty wrote:<br>><br>> Though not directly about your design, our work with NVIDIA on GPUdirect<br>> Storage and SuperPOD has shown how sensitive RDMA (IB & RoCE) to both<br>> MOFED and Firmware version compatibility can be.<br>><br>> I would suggest anyone debugging RDMA issues should look at those closely.<br>><br>May I ask what are the alleged benefits of using RDMA in GPFS?<br><br>I can see there would be lower latency over a plain IP Ethernet or IPoIB<br>solution but surely disk latency is going to swamp that?<br><br>I guess SSD drives might change that calculation but I have never seen<br>proper benchmarks comparing the two, or even better yet all four<br>connection options.<br><br>Just seems a lot of complexity and fragility for very little gain to me.<br><br><br>JAB.<br><br>--<br>Jonathan A. Buzzard                         Tel: +44141-5483420<br>HPC System Administrator, ARCHIE-WeSt.<br>University of Strathclyde, John Anderson Building, Glasgow. G4 0NG<br>_______________________________________________<br>gpfsug-discuss mailing list<br>gpfsug-discuss at spectrumscale.org<br><a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss" target="_blank">http://gpfsug.org/mailman/listinfo/gpfsug-discuss</a> </font></div></blockquote>
<div dir="ltr" > </div></div>
<BR>
<BR>