Don’t have documentation/whitepaper, but as I recall, it will first allocate round-robin over failureGroup, then round-robin over nsdServers, and then round-robin over volumes. So if these new NSDs are defined as different failureGroup from the old disks, that might explain it..<br><br><br>  -jf<br><div class="gmail_quote"><div dir="ltr">lør. 13. jan. 2018 kl. 00:15 skrev Aaron Knister <<a href="mailto:aaron.s.knister@nasa.gov">aaron.s.knister@nasa.gov</a>>:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Apologies if this has been covered elsewhere (I couldn't find it if it<br>
has). I'm curious how GPFS decides where to allocate new blocks.<br>
<br>
We've got a filesystem that we added some NSDs to a while back and it<br>
hurt there for a little while because it appeared as though GPFS was<br>
choosing to allocate new blocks much more frequently on the ~100% free<br>
LUNs than the existing LUNs (I can't recall how free they were at the<br>
time). Looking at it now, though, it seems GPFS is doing the opposite.<br>
There's now a ~10% difference between the LUNs added and the existing<br>
LUNs (20% free vs 30% free) and GPFS is choosing to allocate new writes<br>
at a ratio of about 3:1 on the disks with *fewer* free blocks than on<br>
the disks with more free blocks. That's completely inconsistent with<br>
what we saw when we initially added the disks which makes me wonder how<br>
GPFS is choosing to allocate new blocks (other than the obvious bits<br>
about failure group, and replication factor). Could someone explain (or<br>
point me at a whitepaper) what factors GPFS uses when allocating blocks,<br>
particularly as it pertains to choosing one NSD over another within the<br>
same failure group.<br>
<br>
Thanks!<br>
<br>
-Aaron<br>
<br>
--<br>
Aaron Knister<br>
NASA Center for Climate Simulation (Code 606.2)<br>
Goddard Space Flight Center<br>
(301) 286-2776<br>
_______________________________________________<br>
gpfsug-discuss mailing list<br>
gpfsug-discuss at <a href="http://spectrumscale.org" rel="noreferrer" target="_blank">spectrumscale.org</a><br>
<a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss" rel="noreferrer" target="_blank">http://gpfsug.org/mailman/listinfo/gpfsug-discuss</a><br>
</blockquote></div>