<div><br></div><div dir="auto">I’ve tried benchmarking many vs. few vdisks per RG, and never could see any performance difference.</div><div dir="auto"><br></div><div dir="auto">Usually we create 1 vdisk per enclosure per RG,   thinking this will allow us to grow with same size vdisks when adding additional enclosures in the future.</div><div dir="auto"><br></div><div dir="auto">Don’t think mmvdisk can be told to create multiple vdisks per RG directly, so you have to manually create multiple vdisk sets each with the apropriate size.</div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto">  -jf</div><div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">lør. 27. feb. 2021 kl. 19:01 skrev Jonathan Buzzard <<a href="mailto:jonathan.buzzard@strath.ac.uk">jonathan.buzzard@strath.ac.uk</a>>:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;padding-left:1ex;border-left-color:rgb(204,204,204)"><br>
Doing an upgrade on our storage which involved replacing all the 4TB <br>
disks with 16TB disks. Some hiccups with five of the disks being dead <br>
when inserted but that is all sorted.<br>
<br>
So the system was originally installed with DSS-G 2.0a so with "legacy" <br>
commands for vdisks etc. We had 10 metadata NSD's and 10 data NSD's per <br>
draw aka recovery group of the D3284 enclosures.<br>
<br>
The dssgmkfs.mmvdisk has created exactly one data and one metadata NSD <br>
per draw of a DS3284 leading to a really small number of NSD's in the <br>
file system.<br>
<br>
All my instincts tell me that this is going to lead to horrible <br>
performance on the file system. Historically you wanted a reasonable <br>
number of NSD's in a system for decent performance.<br>
<br>
Taking what the ddsgmkfs.mmvdisk has give me even with a DSS-G260 you <br>
would get only 12 NSD's of each type, which for a potentially ~5PB file <br>
system seems on the really low side to me.<br>
<br>
Is there any way to tell ddsgmkfs.mmvdisk to create more NSD's than the <br>
one per recovery group or is this no longer relevant and performance <br>
with really low numbers of NSD's is fine these days?<br>
<br>
<br>
JAB.<br>
<br>
-- <br>
Jonathan A. Buzzard                         Tel: +44141-5483420<br>
HPC System Administrator, ARCHIE-WeSt.<br>
University of Strathclyde, John Anderson Building, Glasgow. G4 0NG<br>
_______________________________________________<br>
gpfsug-discuss mailing list<br>
gpfsug-discuss at <a href="http://spectrumscale.org" rel="noreferrer" target="_blank">spectrumscale.org</a><br>
<a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss" rel="noreferrer" target="_blank">http://gpfsug.org/mailman/listinfo/gpfsug-discuss</a><br>
</blockquote></div></div>