<div dir="auto">You’re missing a few standard configs that might be relevant.. I would suggest:</div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto">workerThreads=512 (or 1024)</div><div dir="auto">ignoreprefetchluncount=yes</div><div dir="auto">numamemoryinterleave=yes (and make sure numactl is installed)</div><div dir="auto"><br></div><div dir="auto"><div dir="auto"><span style="font-size:18px;font-style:normal;font-variant-caps:normal;font-weight:400;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;text-decoration:none;float:none;display:inline!important;background-color:rgba(0,0,0,0);border-color:rgb(0,0,0);color:rgb(0,0,0)">ignoreprefetchluncount is important to tell the system that you have multiple HDDs backing each LUN, otherwise it thinks there a single spindle, and won’t schedule much readahead/writebehind.</span></div><div dir="auto"><span style="font-size:18px;font-style:normal;font-variant-caps:normal;font-weight:400;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;text-decoration:none;float:none;display:inline!important;background-color:rgba(0,0,0,0);border-color:rgb(0,0,0);color:rgb(0,0,0)"><br></span></div><div dir="auto"><span style="font-size:18px;font-style:normal;font-variant-caps:normal;font-weight:400;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;text-decoration:none;float:none;display:inline!important;background-color:rgba(0,0,0,0);border-color:rgb(0,0,0);color:rgb(0,0,0)"><br></span></div></div><div dir="auto"><br></div><div dir="auto">  -jf</div><div dir="auto"><br></div><div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">tor. 8. feb. 2024 kl. 16:00 skrev Michal Hruška <<a href="mailto:Michal.Hruska@mcomputers.cz">Michal.Hruska@mcomputers.cz</a>>:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;padding-left:1ex;border-left-color:rgb(204,204,204)">





<div lang="CS" link="#0563C1" vlink="#954F72">
<div class="m_-4645730115441492612WordSection1">
<p class="MsoNormal">@Aaron<u></u><u></u></p>
<p class="MsoNormal">Yes, I can confirm that 2MB blocks are transfered over.<br>
<br>
<u></u><u></u></p>
<p class="MsoNormal">@ Jan-Frode<u></u><u></u></p>
<p class="MsoNormal">We tried to change multiple parameters, but if you know the best combination for sequential IO, please let me know.<u></u><u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal">#mmlsconfig<u></u><u></u></p>
<p class="MsoNormal">autoload no<u></u><u></u></p>
<p class="MsoNormal">dmapiFileHandleSize 32<u></u><u></u></p>
<p class="MsoNormal">minReleaseLevel 5.1.9.0<u></u><u></u></p>
<p class="MsoNormal">tscCmdAllowRemoteConnections no<u></u><u></u></p>
<p class="MsoNormal">ccrEnabled yes<u></u><u></u></p>
<p class="MsoNormal">cipherList AUTHONLY<u></u><u></u></p>
<p class="MsoNormal">sdrNotifyAuthEnabled yes<u></u><u></u></p>
<p class="MsoNormal">pagepool 64G<u></u><u></u></p>
<p class="MsoNormal">maxblocksize 16384K<u></u><u></u></p>
<p class="MsoNormal">maxMBpS 40000<u></u><u></u></p>
<p class="MsoNormal">maxReceiverThreads 32<u></u><u></u></p>
<p class="MsoNormal">nsdMaxWorkerThreads 512<u></u><u></u></p>
<p class="MsoNormal">nsdMinWorkerThreads 8<u></u><u></u></p>
<p class="MsoNormal">nsdMultiQueue 256<u></u><u></u></p>
<p class="MsoNormal">nsdSmallThreadRatio 0<u></u><u></u></p>
<p class="MsoNormal">nsdThreadsPerQueue 3<u></u><u></u></p>
<p class="MsoNormal">prefetchAggressiveness 2<u></u><u></u></p>
<p class="MsoNormal">adminMode central<u></u><u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal">/dev/fs0<br>
<br>
<u></u><u></u></p>
<p class="MsoNormal">@Uwe<u></u><u></u></p>
<p class="MsoNormal">Using iohist we found out that gpfs is overloading one dm-device (it took about 500ms to finish IOs). We replaced the „problematic“ dm-device (as we have enough drives to play with) for new one but the overloading issue just jumped to another
 dm-device.<br>
We believe that this behaviour is caused by the gpfs but we are unable to locate the root cause of it.<u></u><u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
<div>
<div>
<p class="MsoNormal"><span style="font-size:9pt;font-family:Verdana,sans-serif;color:rgb(89,89,89)">Best,<br>
Michal<u style="font-family:Verdana,sans-serif"></u><u style="font-family:Verdana,sans-serif"></u></span></p>
</div>
</div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
</div>

_______________________________________________<br>
gpfsug-discuss mailing list<br>
gpfsug-discuss at <a href="http://gpfsug.org" rel="noreferrer" target="_blank">gpfsug.org</a><br>
<a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss_gpfsug.org" rel="noreferrer" target="_blank">http://gpfsug.org/mailman/listinfo/gpfsug-discuss_gpfsug.org</a><br>
</blockquote></div></div>