I also don't know much about this, but the ESS quick deployment guide is quite clear on the we should use connected mode for IPoIB:<br><br>--------------<br>Note: If using bonded IP over IB, do the following:
Ensure that the CONNECTED_MODE=yes statement exists in the corresponding slave-bond interface scripts located in /etc/sysconfig/network-scripts directory of the management server and I/O server nodes. These scripts are created as part of the IP over IB bond creation. An example of the slave-bond interface with the modification is shown below.<br>---------------<br><br><br>  -jf<br><div class="gmail_quote"><div dir="ltr">fre. 12. mai 2017 kl. 16.48 skrev Aaron Knister <<a href="mailto:aaron.s.knister@nasa.gov">aaron.s.knister@nasa.gov</a>>:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">For what it's worth we've seen *significantly* better performance of<br>
streaming benchmarks of IPoIB with connected mode vs datagram mode on IB.<br>
<br>
-Aaron<br>
<br>
On 5/12/17 10:43 AM, Jonathon A Anderson wrote:<br>
> This won’t tell you which to use; but datagram mode and connected mode in IB is roughly analogous to UDB vs TCP in IP. One is “unreliable” in that there’s no checking/retry built into the protocol; the other is “reliable” and detects whether data is received completely and in the correct order.<br>
><br>
> The last advice I heard for traditional IB was that the overhead of connected mode isn’t worth it, particularly if you’re using IPoIB (where you’re likely to be using TCP anyway). That said, on our OPA network we’re seeing the opposite advice; so I, to, am often unsure what the most correct configuration would be for any given fabric.<br>
><br>
> ~jonathon<br>
><br>
><br>
> On 5/12/17, 4:42 AM, "<a href="mailto:gpfsug-discuss-bounces@spectrumscale.org" target="_blank">gpfsug-discuss-bounces@spectrumscale.org</a> on behalf of Damir Krstic" <<a href="mailto:gpfsug-discuss-bounces@spectrumscale.org" target="_blank">gpfsug-discuss-bounces@spectrumscale.org</a> on behalf of <a href="mailto:damir.krstic@gmail.com" target="_blank">damir.krstic@gmail.com</a>> wrote:<br>
><br>
>     I never fully understood the difference between connected v. datagram mode beside the obvious packet size difference. Our NSD servers (ESS GL6 nodes) are installed with RedHat 7 and are in connected mode. Our 700+ clients are running RH6 and<br>
>      are in datagram mode.<br>
><br>
><br>
>     In a month we are upgrading our cluster to RedHat 7 and are debating whether to leave the compute nodes in datagram mode or whether to switch them to connected mode.<br>
>     What is is the right thing to do?<br>
><br>
><br>
>     Thanks in advance.<br>
>     Damir<br>
><br>
><br>
><br>
> _______________________________________________<br>
> gpfsug-discuss mailing list<br>
> gpfsug-discuss at <a href="http://spectrumscale.org" rel="noreferrer" target="_blank">spectrumscale.org</a><br>
> <a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss" rel="noreferrer" target="_blank">http://gpfsug.org/mailman/listinfo/gpfsug-discuss</a><br>
><br>
<br>
--<br>
Aaron Knister<br>
NASA Center for Climate Simulation (Code 606.2)<br>
Goddard Space Flight Center<br>
(301) 286-2776<br>
_______________________________________________<br>
gpfsug-discuss mailing list<br>
gpfsug-discuss at <a href="http://spectrumscale.org" rel="noreferrer" target="_blank">spectrumscale.org</a><br>
<a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss" rel="noreferrer" target="_blank">http://gpfsug.org/mailman/listinfo/gpfsug-discuss</a><br>
</blockquote></div>