<div dir="ltr">I believe this should be a fully working solution. I see no problem enabling RDMA between a subset of nodes -- just disable verbsRdma on the nodes you want to use plain IP.<div><br></div><div><br></div><div>  -jf</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Dec 9, 2021 at 11:04 AM Walter Sklenka <<a href="mailto:Walter.Sklenka@edv-design.at">Walter.Sklenka@edv-design.at</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex">





<div lang="DE-AT" style="word-wrap:break-word">
<div class="gmail-m_-1645266674155178320WordSection1">
<p class="MsoNormal">Dear spectrum scale users!<u></u><u></u></p>
<p class="MsoNormal"><span lang="EN-US">May I ask you a design question?<u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-US">We have an IB environment which is very mixed at the moment ( connecX3 … connect-X6 with FDR , even FDR10 and with arrive of ESS5000SC7 now also HDR100 and HDR switches. We still have some big  troubles in this fabric
 when using RDMA , a case at Mellanox and IBM is open . <u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-US">The environment has 3 old Building blocks 2xESSGL6 and 1x GL4 , from where we want to migrate the data to ess5000 , ( mmdelvdisk +qos)
<u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-US">Due to the current problems with RDMA we though eventually we could try a workaround :<u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-US">If you are interested there is Maybe you can find the attachment ?
<u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-US">We build 2 separate fabrics , the ess-IO servers attached to both blue and green and all other cluster members and all remote clusters only to fabric blue
<u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-US">The daemon interfaces (IPoIP) are on fabric blue<u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-US"><u></u> <u></u></span></p>
<p class="MsoNormal"><span lang="EN-US">It is the aim to setup rdma only on the ess-ioServers in the fabric green ,  in the blue we must use IPoIB (tcp)
<u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-US">Do you think datamigration would work between ess01,ess02,… to ess07,ess08 via RDMA ?<u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-US">Or is it  principally not possible to make a rdma network only  for a subset of a cluster (though this subset would be reachable via other fabric) ?<u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-US"><u></u> <u></u></span></p>
<p class="MsoNormal"><span lang="EN-US">Thank you very much for any input !<u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-US">Best regards walter <u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-US"> <u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-US"><u></u> <u></u></span></p>
<p class="MsoNormal"><span lang="EN-US"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-size:10pt;font-family:Arial,sans-serif;color:black">Mit freundlichen Grüßen<br>
<b><i>Walter Sklenka</i></b><br>
</span><b><i><span style="font-size:8pt;font-family:Arial,sans-serif;color:gray">Technical Consultant</span></i></b><span style="color:black">
</span><span style="color:rgb(33,33,33)"><u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:12pt;font-family:"Times New Roman",serif;color:black"> </span><span style="color:rgb(33,33,33)"><u></u><u></u></span></p>
<p class="MsoNormal" style="margin-bottom:12pt"><span style="font-size:8pt;font-family:Arial,sans-serif;color:black">EDV-Design Informationstechnologie GmbH<br>
Giefinggasse 6/1/2, A-1210 Wien<br>
Tel: +43 1 29 22 165-31<br>
Fax: +43 1 29 22 165-90<br>
E-Mail: <a href="mailto:sklenka@edv-design.at" target="_blank"><span style="color:rgb(5,99,193)">sklenka@edv-design.at</span></a></span><span style="font-size:8pt;color:black"><br>
</span><span style="font-size:8pt;font-family:Arial,sans-serif;color:black">Internet:
<a href="http://www.edv-design.at/" target="_blank"><span style="color:rgb(5,99,193)">www.edv-design.at</span></a><u></u><u></u></span></p>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
</div>

_______________________________________________<br>
gpfsug-discuss mailing list<br>
gpfsug-discuss at <a href="http://spectrumscale.org" rel="noreferrer" target="_blank">spectrumscale.org</a><br>
<a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss" rel="noreferrer" target="_blank">http://gpfsug.org/mailman/listinfo/gpfsug-discuss</a><br>
</blockquote></div>