
<html>

<head>

<meta http-equiv="Content-Type" content="text/html; charset=us-ascii">

</head>

<body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space; color: rgb(0, 0, 0); font-size: 14px; font-family: Calibri, sans-serif;">

<div>I'd be inclined to look at something like:</div>

<div><br>

</div>

<div>ibqueryerrors -s PortXmitWait,LinkDownedCounter,PortXmitDiscards,PortRcvRemotePhysicalErrors -c</div>

<div><br>

</div>

<div>And see if you have a high number of symbol errors, might be a cable needs replugging or replacing.</div>

<div><br>

</div>

<div>Simon</div>

<div><br>

</div>

<span id="OLK_SRC_BODY_SECTION">

<div style="font-family:Calibri; font-size:11pt; text-align:left; color:black; BORDER-BOTTOM: medium none; BORDER-LEFT: medium none; PADDING-BOTTOM: 0in; PADDING-LEFT: 0in; PADDING-RIGHT: 0in; BORDER-TOP: #b5c4df 1pt solid; BORDER-RIGHT: medium none; PADDING-TOP: 3pt">

<span style="font-weight:bold">From: </span><<a href="mailto:gpfsug-discuss-bounces@spectrumscale.org">gpfsug-discuss-bounces@spectrumscale.org</a>> on behalf of "J. Eric Wonderley" <<a href="mailto:eric.wonderley@vt.edu">eric.wonderley@vt.edu</a>><br>

<span style="font-weight:bold">Reply-To: </span>"<a href="mailto:gpfsug-discuss@spectrumscale.org">gpfsug-discuss@spectrumscale.org</a>" <<a href="mailto:gpfsug-discuss@spectrumscale.org">gpfsug-discuss@spectrumscale.org</a>><br>

<span style="font-weight:bold">Date: </span>Tuesday, 17 January 2017 at 21:16<br>

<span style="font-weight:bold">To: </span>"<a href="mailto:gpfsug-discuss@spectrumscale.org">gpfsug-discuss@spectrumscale.org</a>" <<a href="mailto:gpfsug-discuss@spectrumscale.org">gpfsug-discuss@spectrumscale.org</a>><br>

<span style="font-weight:bold">Subject: </span>[gpfsug-discuss] rmda errors scatter thru gpfs logs<br>

</div>

<div><br>

</div>

<div>

<div>

<div dir="ltr">

<div>I have messages like these frequent my logs:<br>

Tue Jan 17 11:25:49.731 2017: [E] VERBS RDMA rdma write error IBV_WC_REM_ACCESS_ERR to 10.51.10.5 (cl005) on mlx5_0 port 1 fabnum 0 vendor_err 136

<br>

Tue Jan 17 11:25:49.732 2017: [E] VERBS RDMA closed connection to 10.51.10.5 (cl005) on mlx5_0 port 1 fabnum 0 due to RDMA write error IBV_WC_REM_ACCESS_ERR index 23<br>

<br>

</div>

Any ideas on cause..?<br>

<div><br>

</div>

</div>

</div>

</div>

</span>

</body>

</html>