<font size=3 face="sans-serif">As Zachary noted the location of your metadata

is the key and for the scanning you have planned flash is necessary.  If

you have the resources you may consider setting up your flash in a mirrored

RAID configuration (RAID1/RAID10) and have GPFS only keep one copy of metadata

since the underlying storage is replicating it via the RAID.  This

should improve metadata write performance but likely has little impact

on your scanning, assuming you are just reading through the metadata.</font><br><br><font size=3 face="sans-serif">Fred<br>__________________________________________________<br>Fred Stock | IBM Pittsburgh Lab | 720-430-8821<br>stockf@us.ibm.com</font><br><br><br><br><font size=1 color=#5f5f5f face="sans-serif">From:      

 </font><font size=1 face="sans-serif">Zachary Giles <zgiles@gmail.com></font><br><font size=1 color=#5f5f5f face="sans-serif">To:      

 </font><font size=1 face="sans-serif">gpfsug main discussion

list <gpfsug-discuss@spectrumscale.org></font><br><font size=1 color=#5f5f5f face="sans-serif">Date:      

 </font><font size=1 face="sans-serif">04/11/2017 12:49 AM</font><br><font size=1 color=#5f5f5f face="sans-serif">Subject:    

   </font><font size=1 face="sans-serif">Re: [gpfsug-discuss]

Policy scan against billion files for ILM/HSM</font><br><font size=1 color=#5f5f5f face="sans-serif">Sent by:    

<font size=1 face="sans-serif">gpfsug-discuss-bounces@spectrumscale.org <hr noshade> <tt><font size=2>It's definitely doable, and these days not too hard.

Flash for<br>metadata is the key.<br>The basics of it are:<br>* Latest GPFS for performance benefits.<br>* A few 10's of TBs of flash ( or more ! ) setup in a good design..<br>lots of SAS, well balanced RAID that can consume the flash fully,<br>tuned for IOPs, and available in parallel from multiple servers.<br>* Tune up mmapplypolicy with -g somewhere-on-gpfs; --choice-algorithm<br>fast; -a, -m and -n to reasonable values ( number of cores on the<br>servers ); -A to ~1000<br>* Test first on a smaller fileset to confirm you like it. -I test<br>should work well and be around the same speed minus the migration<br>phase.<br>* Then throw ~8 well tuned Infiniband attached nodes at it using -N,<br>If they're the same as the NSD servers serving the flash, even better.<br><br>Should be able to do 1B in 5-30m depending on the idiosyncrasies of<br>above choices. Even 60m isn't bad and quite respectable if less gear<br>is used or if they system is busy while the policy is running.<br>Parallel metadata, it's a beautiful thing.<br><br><br><br>On Tue, Apr 11, 2017 at 12:29 AM, Masanori Mitsugi<br><mitsugi@linux.vnet.ibm.com> wrote:<br>> Hello,<br>><br>> Does anyone have experience to do mmapplypolicy against billion files

for<br>> ILM/HSM?<br>><br>> Currently I'm planning/designing<br>><br>> * 1 Scale filesystem (5-10 PB)<br>> * 10-20 filesets which includes 1 billion files each<br>><br>> And our biggest concern is "How log does it take for mmapplypolicy

policy<br>> scan against billion files?"<br>><br>> I know it depends on how to write the policy,<br>> but I don't have no billion files policy scan experience,<br>> so I'd like to know the order of time (min/hour/day...).<br>><br>> It would be helpful if anyone has experience of such large number

of files<br>> scan and let me know any considerations or points for policy design.<br>><br>> --<br>> Masanori Mitsugi<br>> mitsugi@linux.vnet.ibm.com<br>><br>> _______________________________________________<br>> gpfsug-discuss mailing list<br>> gpfsug-discuss at spectrumscale.org<br>> </font></tt><a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss"><tt><font size=2>http://gpfsug.org/mailman/listinfo/gpfsug-discuss</font></tt></a><tt><font size=2><br><br><br><br>-- <br>Zach Giles<br>zgiles@gmail.com<br>_______________________________________________<br>gpfsug-discuss mailing list<br>gpfsug-discuss at spectrumscale.org<br></font></tt><a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss"><tt><font size=2>http://gpfsug.org/mailman/listinfo/gpfsug-discuss</font></tt></a><tt><font size=2><br><br></font></tt><br><br><BR>