<html>

<head>

<meta http-equiv="Content-Type" content="text/html; charset=iso-8859-1">

<style type="text/css" style="display:none;"> P {margin-top:0;margin-bottom:0;} </style>

</head>

<body dir="ltr">

<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">

Hi,</div>

<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">

<br>

</div>

<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">

We have an ESS clusters with two CES nodes. The pagepool is set to 128 GB ( Real Memory is 256 GB ) on both ESS NSD servers and CES nodes as well. Occasionally we see the mmfsd process memory usage reaches 90% on NSD servers and CES nodes and stays there until

 GPFS is recycled. I have couple of questions in this scenario:</div>

<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">

<br>

</div>

<div style="font-size: 12pt;">

<ol style="">

<li style="color: rgb(0, 0, 0); font-family: Calibri, Arial, Helvetica, sans-serif;">

 What are the general recommendations of pagepool size for nodes with RDMA enabled? On, IBM knowledge center for RDMA tuning says "<span style="color: rgb(50, 50, 50); font-family: ibm-plex-sans, "Helvetica Neue", Arial, sans-serif; text-align: start; background-color: rgb(255, 255, 255); display: inline !important">If

 the GPFS pagepool is set to 32 GB, then the mapping of the RDMA for this pagepool must be at least 64 GB."  So, does this mean that the pagepool can't be more than half of real memory with RDMA enabled? Also, <span style="font-family: ibm-plex-sans, "Helvetica Neue", Arial, sans-serif; background-color: rgb(255, 255, 255); display: inline !important">Is

 this the reason why mmfsd memory usage exceeds pagepool size and spikes to almost 90%?</span><br>

</span></li><li style="color: rgb(0, 0, 0); font-family: Calibri, Arial, Helvetica, sans-serif;">

<span style="color: rgb(50, 50, 50); font-family: ibm-plex-sans, "Helvetica Neue", Arial, sans-serif; text-align: start; background-color: rgb(255, 255, 255); display: inline !important">If we dont want to see high mmfsd process memory usage on NSD/CES nodes,

 should we decrease the pagepool size?</span></li><li style=""><font color="#323232" face="ibm-plex-sans, Helvetica Neue, Arial, sans-serif">Can we tune  <span style="font-family: ibm-plex-mono, Menlo, "DejaVu Sans Mono", "Bitstream Vera Sans Mono", Courier, monospace; font-weight: 700; background-color: rgb(255, 255, 255); display: inline !important">log_num_mtt

</span><span style="font-family: ibm-plex-mono, Menlo, "DejaVu Sans Mono", "Bitstream Vera Sans Mono", Courier, monospace; background-color: rgb(255, 255, 255); display: inline !important;">parameter to limit the memory usage? Currently its set to 0 for both

 NSD (ppc64_le) and CES (x86_64).</span></font></li><li style="color: rgb(0, 0, 0); font-family: Calibri, Arial, Helvetica, sans-serif;">

<span style="color: rgb(50, 50, 50); font-family: ibm-plex-sans, "Helvetica Neue", Arial, sans-serif; text-align: start; background-color: rgb(255, 255, 255); display: inline !important">We also see messages like "Verbs RDMA disabled for xx.xx.xx.xx due to

 no matching port found" . Any idea what this message indicate? I dont see any Verbs RDMA enabled message after these warning messages. Does it get enabled automatically? <br>

</span></li></ol>

</div>

<div>

<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">

<br>

</div>

<div id="Signature">

<div></div>

<div></div>

<div style="font-family:Calibri,Arial,Helvetica,sans-serif; font-size:12pt; color:rgb(0,0,0)">

<div style="color:rgb(34,34,34); font-family:Arial,Helvetica,sans-serif; font-size:small; text-align:start; background-color:rgb(255,255,255)">

<div>

<div>

<span style="font-size:10.5pt; font-family:Tahoma,sans-serif; color:rgb(51,51,153)">Prasad Surampudi<span style="font-size:9pt; font-family:Tahoma,sans-serif; color:rgb(247,150,70)">|<span style="font-size:9pt; font-family:Tahoma,sans-serif; color:navy">Sr.

 Systems Engineer</span><span style="font-size:9pt; font-family:Tahoma,sans-serif; color:rgb(255,153,0)">|</span><span style="font-size:9pt; font-family:Tahoma,sans-serif; color:rgb(51,51,153)"><span style="color: purple;"><a href="http://www.theatsgroup.com/" target="_blank" style="color:rgb(17,85,204)">ATS

 Group, LLC</a></span></span></p>

</div>

</div>

<div>

<div>

<p><br>

</p>

</div>

</div>

<div>

<p><u></u></p>

</div>

</div>

<div style="color:rgb(34,34,34); font-family:Arial,Helvetica,sans-serif; font-size:small; text-align:start; background-color:rgb(255,255,255)">

<div><br>

</div>

</div>

<br>

</div>

</div>

</div>

</body>

</html>