<font size=3 face="Arial">You mention that all the NSDs are metadata and
data but you do not say how many NSDs are defined or the type of storage
used, that is are these on SAS or NL-SAS storage?  I'm assuming they
are not on SSDs/flash storage.</font><br><br><font size=3 face="Arial">Have you considered moving the metadata to
separate NSDs, preferably SSD/flash storage?  This is likely to give
you a significant performance boost.</font><br><br><font size=3 face="Arial">You state that using  the inode scan
API you reduced the time to 40 days.  Did you analyze your backup
application to determine where the time was being spent for the backup?
 If the inode scan is a small percentage of your backup time then
optimizing it will not provide much benefit.</font><br><br><font size=3 face="sans-serif">Fred<br>__________________________________________________<br>Fred Stock | IBM Pittsburgh Lab | 720-430-8821<br>stockf@us.ibm.com</font><br><br><br><br><font size=1 color=#5f5f5f face="sans-serif">From:      
 </font><font size=1 face="sans-serif">"Tomasz.Wolski@ts.fujitsu.com"
<Tomasz.Wolski@ts.fujitsu.com></font><br><font size=1 color=#5f5f5f face="sans-serif">To:      
 </font><font size=1 face="sans-serif">"gpfsug-discuss@spectrumscale.org"
<gpfsug-discuss@spectrumscale.org></font><br><font size=1 color=#5f5f5f face="sans-serif">Date:      
 </font><font size=1 face="sans-serif">02/08/2018 05:50 AM</font><br><font size=1 color=#5f5f5f face="sans-serif">Subject:    
   </font><font size=1 face="sans-serif">[gpfsug-discuss]
Inode scan optimization</font><br><font size=1 color=#5f5f5f face="sans-serif">Sent by:    
   </font><font size=1 face="sans-serif">gpfsug-discuss-bounces@spectrumscale.org</font><br><hr noshade><br><br><br><font size=2 face="Calibri">Hello All,</font><br><font size=2 face="Calibri"> </font><br><font size=2 face="Calibri">A full backup of an 2 billion inodes spectrum
scale file system on V4.1.1.16 takes 60 days.</font><br><font size=2 face="Calibri"> </font><br><font size=2 face="Calibri">We try to optimize and using inode scans
seems to improve, even when we are using a directory scan and the inode
scan just for having a better performance concerning stat (using gpfs_stat_inode_with_xattrs64).
With 20 processes in parallel doing dir scans (+ inode scans for stat info)
we have decreased the time to 40 days.</font><br><font size=2 face="Calibri">All NSDs are dataAndMetadata type.</font><br><font size=2 face="Calibri"> </font><br><font size=2 face="Calibri">I have the following questions:</font><br><font size=2 face="Symbol">·         </font><font size=2 face="Calibri">Is
there a way to increase the inode scan cache (we may use 32 GByte)? </font><br><font size=2 face="Courier New">o   </font><font size=2 face="Calibri">Can
we us the “hidden” config parameters</font><br><font size=2 face="Wingdings">§  </font><font size=2 face="Calibri">  iscanPrefetchAggressiveness 2</font><br><font size=2 face="Wingdings">§  </font><font size=2 face="Calibri">  iscanPrefetchDepth 0</font><br><font size=2 face="Wingdings">§  </font><font size=2 face="Calibri">  iscanPrefetchThreadsPerNode 0</font><br><font size=2 face="Symbol">·         </font><font size=2 face="Calibri">Is
there a documentation concerning cache behavior?</font><br><font size=2 face="Courier New">o   </font><font size=2 face="Calibri">if
no, is the  inode scan cache process or node specific?</font><br><font size=2 face="Courier New">o   </font><font size=2 face="Calibri">Is
there a suggestion to optimize the termIno parameter in the gpfs_stat_inode_with_xattrs64()
in such a use case?</font><br><font size=2 face="Calibri"> </font><br><font size=2 face="Calibri">Thanks! </font><br><font size=2 face="Calibri"> </font><br><font size=2 face="Calibri">Best regards,</font><br><font size=2 face="Calibri">Tomasz Wolski</font><tt><font size=2>_______________________________________________<br>gpfsug-discuss mailing list<br>gpfsug-discuss at spectrumscale.org<br></font></tt><a href="https://urldefense.proofpoint.com/v2/url?u=http-3A__gpfsug.org_mailman_listinfo_gpfsug-2Ddiscuss&d=DwICAg&c=jf_iaSHvJObTbx-siA1ZOg&r=p_1XEUyoJ7-VJxF_w8h9gJh8_Wj0Pey73LCLLoxodpw&m=y2y22xZuqjpkKfO2WSdcJsBXMaM8hOedaB_AlgFlIb0&s=DL0ZnBuH9KpvKN6XQNvoYmvwfZDbbwMlM-4rCbsAgWo&e="><tt><font size=2>https://urldefense.proofpoint.com/v2/url?u=http-3A__gpfsug.org_mailman_listinfo_gpfsug-2Ddiscuss&d=DwICAg&c=jf_iaSHvJObTbx-siA1ZOg&r=p_1XEUyoJ7-VJxF_w8h9gJh8_Wj0Pey73LCLLoxodpw&m=y2y22xZuqjpkKfO2WSdcJsBXMaM8hOedaB_AlgFlIb0&s=DL0ZnBuH9KpvKN6XQNvoYmvwfZDbbwMlM-4rCbsAgWo&e=</font></tt></a><tt><font size=2><br></font></tt><br><br><BR>