<html>

<head>

<meta http-equiv="Content-Type" content="text/html; charset=utf-8">

</head>

<body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;" class="">

Greg,

<div class=""><br class="">

</div>

<div class="">Not saying this is the right way to go, but I rolled my own.  I wrote a very simple Perl script that essentially does the Perl equivalent of a find on my GPFS filesystems, then stat’s files and directories and writes the output to a text file.

  I run that one overnight or on the weekends.  Takes about 6 hours to run across our 3 GPFS filesystems with metadata on SSDs.</div>

<div class=""><br class="">

</div>

<div class="">Then I’ve written a couple of different Perl scripts to analyze that data in different ways (the idea being that collecting the data is “expensive” … but once you’ve got it it’s cheap to analyze it in different ways).  But the one I’ve been using

 for this project just breaks down the number of files and directories by size and age and produces a table.  Rather than try to describe this, here’s sample output:</div>

<div class=""><br class="">

</div>

<div class="">

<div class="">For input file:  gpfsFileInfo_20160915.txt</div>

<div class=""><span class="Apple-tab-span" style="white-space:pre"></span>   <1 day | <1 wk | <1 mo | <2 mo | <3 mo | <4 mo | <5 mo | <6 mo | <1 yr | >1 year | Total Files</div>

<div class=""> <1 KB<span class="Apple-tab-span" style="white-space:pre"> </span>

29538<span class="Apple-tab-span" style="white-space:pre"> </span>111364<span class="Apple-tab-span" style="white-space:pre">

</span>458260<span class="Apple-tab-span" style="white-space:pre"> </span>634398<span class="Apple-tab-span" style="white-space:pre">

</span>150199<span class="Apple-tab-span" style="white-space:pre"> </span>305715<span class="Apple-tab-span" style="white-space:pre">

</span>4388443<span class="Apple-tab-span" style="white-space:pre"> </span>93733<span class="Apple-tab-span" style="white-space:pre">

</span>966618<span class="Apple-tab-span" style="white-space:pre"> </span>3499535<span class="Apple-tab-span" style="white-space:pre">

</span>10637803</div>

<div class=""> <2 KB<span class="Apple-tab-span" style="white-space:pre"> </span>

9875<span class="Apple-tab-span" style="white-space:pre"> </span>20580<span class="Apple-tab-span" style="white-space:pre">

</span>119414<span class="Apple-tab-span" style="white-space:pre"> </span>295167<span class="Apple-tab-span" style="white-space:pre">

</span>35961<span class="Apple-tab-span" style="white-space:pre"> </span>67761<span class="Apple-tab-span" style="white-space:pre">

</span>80462<span class="Apple-tab-span" style="white-space:pre"> </span>33688<span class="Apple-tab-span" style="white-space:pre">

</span>269595<span class="Apple-tab-span" style="white-space:pre"> </span>851641<span class="Apple-tab-span" style="white-space:pre">

</span>1784144</div>

<div class=""> <4 KB<span class="Apple-tab-span" style="white-space:pre"> </span>

9212<span class="Apple-tab-span" style="white-space:pre"> </span>45282<span class="Apple-tab-span" style="white-space:pre">

</span>168678<span class="Apple-tab-span" style="white-space:pre"> </span>496796<span class="Apple-tab-span" style="white-space:pre">

</span>27771<span class="Apple-tab-span" style="white-space:pre"> </span>23887<span class="Apple-tab-span" style="white-space:pre">

</span>105135<span class="Apple-tab-span" style="white-space:pre"> </span>23161<span class="Apple-tab-span" style="white-space:pre">

</span>259242<span class="Apple-tab-span" style="white-space:pre"> </span>1163327<span class="Apple-tab-span" style="white-space:pre">

</span>2322491</div>

<div class=""> <8 KB<span class="Apple-tab-span" style="white-space:pre"> </span>

4992<span class="Apple-tab-span" style="white-space:pre"> </span>29284<span class="Apple-tab-span" style="white-space:pre">

</span>105836<span class="Apple-tab-span" style="white-space:pre"> </span>303349<span class="Apple-tab-span" style="white-space:pre">

</span>28341<span class="Apple-tab-span" style="white-space:pre"> </span>20346<span class="Apple-tab-span" style="white-space:pre">

</span>246430<span class="Apple-tab-span" style="white-space:pre"> </span>28394<span class="Apple-tab-span" style="white-space:pre">

</span>216061<span class="Apple-tab-span" style="white-space:pre"> </span>1148459<span class="Apple-tab-span" style="white-space:pre">

</span>2131492</div>

<div class=""> <16 KB<span class="Apple-tab-span" style="white-space:pre"> </span>

3987<span class="Apple-tab-span" style="white-space:pre"> </span>18391<span class="Apple-tab-span" style="white-space:pre">

</span>92492<span class="Apple-tab-span" style="white-space:pre"> </span>218639<span class="Apple-tab-span" style="white-space:pre">

</span>20513<span class="Apple-tab-span" style="white-space:pre"> </span>19698<span class="Apple-tab-span" style="white-space:pre">

</span>675097<span class="Apple-tab-span" style="white-space:pre"> </span>30976<span class="Apple-tab-span" style="white-space:pre">

</span>190691<span class="Apple-tab-span" style="white-space:pre"> </span>851533<span class="Apple-tab-span" style="white-space:pre">

</span>2122017</div>

<div class=""> <32 KB<span class="Apple-tab-span" style="white-space:pre"> </span>

4844<span class="Apple-tab-span" style="white-space:pre"> </span>12479<span class="Apple-tab-span" style="white-space:pre">

</span>50235<span class="Apple-tab-span" style="white-space:pre"> </span>265222<span class="Apple-tab-span" style="white-space:pre">

</span>24830<span class="Apple-tab-span" style="white-space:pre"> </span>18789<span class="Apple-tab-span" style="white-space:pre">

</span>1058433<span class="Apple-tab-span" style="white-space:pre"> </span>18030<span class="Apple-tab-span" style="white-space:pre">

</span>196729<span class="Apple-tab-span" style="white-space:pre"> </span>1066287<span class="Apple-tab-span" style="white-space:pre">

</span>2715878</div>

<div class=""> <64 KB<span class="Apple-tab-span" style="white-space:pre"> </span>

6358<span class="Apple-tab-span" style="white-space:pre"> </span>24259<span class="Apple-tab-span" style="white-space:pre">

</span>29474<span class="Apple-tab-span" style="white-space:pre"> </span>222134<span class="Apple-tab-span" style="white-space:pre">

</span>17493<span class="Apple-tab-span" style="white-space:pre"> </span>10744<span class="Apple-tab-span" style="white-space:pre">

</span>1381445<span class="Apple-tab-span" style="white-space:pre"> </span>11358<span class="Apple-tab-span" style="white-space:pre">

</span>240528<span class="Apple-tab-span" style="white-space:pre"> </span>1123540<span class="Apple-tab-span" style="white-space:pre">

</span>3067333</div>

<div class=""> <128 KB<span class="Apple-tab-span" style="white-space:pre"> </span>

6531<span class="Apple-tab-span" style="white-space:pre"> </span>59107<span class="Apple-tab-span" style="white-space:pre">

</span>206269<span class="Apple-tab-span" style="white-space:pre"> </span>186213<span class="Apple-tab-span" style="white-space:pre">

</span>71823<span class="Apple-tab-span" style="white-space:pre"> </span>114235<span class="Apple-tab-span" style="white-space:pre">

</span>1008724<span class="Apple-tab-span" style="white-space:pre"> </span>36722<span class="Apple-tab-span" style="white-space:pre">

</span>186357<span class="Apple-tab-span" style="white-space:pre"> </span>845921<span class="Apple-tab-span" style="white-space:pre">

</span>2721902</div>

<div class=""> <256 KB<span class="Apple-tab-span" style="white-space:pre"> </span>

1995<span class="Apple-tab-span" style="white-space:pre"> </span>17638<span class="Apple-tab-span" style="white-space:pre">

</span>19355<span class="Apple-tab-span" style="white-space:pre"> </span>436611<span class="Apple-tab-span" style="white-space:pre">

</span>8505<span class="Apple-tab-span" style="white-space:pre"> </span>7554<span class="Apple-tab-span" style="white-space:pre">

</span>3582738<span class="Apple-tab-span" style="white-space:pre"> </span>7519<span class="Apple-tab-span" style="white-space:pre">

</span>249510<span class="Apple-tab-span" style="white-space:pre"> </span>744885<span class="Apple-tab-span" style="white-space:pre">

</span>5076310</div>

<div class=""> <512 KB<span class="Apple-tab-span" style="white-space:pre"> </span>

20645<span class="Apple-tab-span" style="white-space:pre"> </span>12401<span class="Apple-tab-span" style="white-space:pre">

</span>24700<span class="Apple-tab-span" style="white-space:pre"> </span>111463<span class="Apple-tab-span" style="white-space:pre">

</span>5659<span class="Apple-tab-span" style="white-space:pre"> </span>22132<span class="Apple-tab-span" style="white-space:pre">

</span>1121269<span class="Apple-tab-span" style="white-space:pre"> </span>10774<span class="Apple-tab-span" style="white-space:pre">

</span>273010<span class="Apple-tab-span" style="white-space:pre"> </span>725155<span class="Apple-tab-span" style="white-space:pre">

</span>2327208</div>

<div class=""> <1 MB<span class="Apple-tab-span" style="white-space:pre"> </span>

2681<span class="Apple-tab-span" style="white-space:pre"> </span>6482<span class="Apple-tab-span" style="white-space:pre">

</span>37447<span class="Apple-tab-span" style="white-space:pre"> </span>58459<span class="Apple-tab-span" style="white-space:pre">

</span>6998<span class="Apple-tab-span" style="white-space:pre"> </span>14945<span class="Apple-tab-span" style="white-space:pre">

</span>305108<span class="Apple-tab-span" style="white-space:pre"> </span>5857<span class="Apple-tab-span" style="white-space:pre">

</span>160360<span class="Apple-tab-span" style="white-space:pre"> </span>386152<span class="Apple-tab-span" style="white-space:pre">

</span>984489</div>

<div class=""> <4 MB<span class="Apple-tab-span" style="white-space:pre"> </span>

4554<span class="Apple-tab-span" style="white-space:pre"> </span>84551<span class="Apple-tab-span" style="white-space:pre">

</span>23320<span class="Apple-tab-span" style="white-space:pre"> </span>100407<span class="Apple-tab-span" style="white-space:pre">

</span>6818<span class="Apple-tab-span" style="white-space:pre"> </span>32833<span class="Apple-tab-span" style="white-space:pre">

</span>129758<span class="Apple-tab-span" style="white-space:pre"> </span>22774<span class="Apple-tab-span" style="white-space:pre">

</span>210935<span class="Apple-tab-span" style="white-space:pre"> </span>528458<span class="Apple-tab-span" style="white-space:pre">

</span>1144408</div>

<div class=""> <1 GB<span class="Apple-tab-span" style="white-space:pre"> </span>

56652<span class="Apple-tab-span" style="white-space:pre"> </span>33538<span class="Apple-tab-span" style="white-space:pre">

</span>99667<span class="Apple-tab-span" style="white-space:pre"> </span>87778<span class="Apple-tab-span" style="white-space:pre">

</span>24313<span class="Apple-tab-span" style="white-space:pre"> </span>68372<span class="Apple-tab-span" style="white-space:pre">

</span>118928<span class="Apple-tab-span" style="white-space:pre"> </span>42554<span class="Apple-tab-span" style="white-space:pre">

</span>251528<span class="Apple-tab-span" style="white-space:pre"> </span>916493<span class="Apple-tab-span" style="white-space:pre">

</span>1699823</div>

<div class=""> <10 GB<span class="Apple-tab-span" style="white-space:pre"> </span>

1245<span class="Apple-tab-span" style="white-space:pre"> </span>2482<span class="Apple-tab-span" style="white-space:pre">

</span>4524<span class="Apple-tab-span" style="white-space:pre"> </span>3184<span class="Apple-tab-span" style="white-space:pre">

</span>1043<span class="Apple-tab-span" style="white-space:pre"> </span>1794<span class="Apple-tab-span" style="white-space:pre">

</span>2733<span class="Apple-tab-span" style="white-space:pre"> </span>1694<span class="Apple-tab-span" style="white-space:pre">

</span>8731<span class="Apple-tab-span" style="white-space:pre"> </span>20462<span class="Apple-tab-span" style="white-space:pre">

</span>47892</div>

<div class=""> <100 GB<span class="Apple-tab-span" style="white-space:pre"> </span>

47<span class="Apple-tab-span" style="white-space:pre"> </span>230<span class="Apple-tab-span" style="white-space:pre">

</span>470<span class="Apple-tab-span" style="white-space:pre"> </span>265<span class="Apple-tab-span" style="white-space:pre">

</span>92<span class="Apple-tab-span" style="white-space:pre"> </span>198<span class="Apple-tab-span" style="white-space:pre">

</span>172<span class="Apple-tab-span" style="white-space:pre"> </span>122<span class="Apple-tab-span" style="white-space:pre">

</span>1276<span class="Apple-tab-span" style="white-space:pre"> </span>2061<span class="Apple-tab-span" style="white-space:pre">

</span>4933</div>

<div class=""> >100 GB<span class="Apple-tab-span" style="white-space:pre"> </span>

2<span class="Apple-tab-span" style="white-space:pre"> </span>3<span class="Apple-tab-span" style="white-space:pre">

</span>12<span class="Apple-tab-span" style="white-space:pre"> </span>1<span class="Apple-tab-span" style="white-space:pre">

</span>14<span class="Apple-tab-span" style="white-space:pre"> </span>4<span class="Apple-tab-span" style="white-space:pre">

</span>5<span class="Apple-tab-span" style="white-space:pre"> </span>1<span class="Apple-tab-span" style="white-space:pre">

</span>37<span class="Apple-tab-span" style="white-space:pre"> </span>165<span class="Apple-tab-span" style="white-space:pre">

</span>244</div>

<div class="">Total TB:<span class="Apple-tab-span" style="white-space:pre"> </span>

6.49<span class="Apple-tab-span" style="white-space:pre"> </span>13.22<span class="Apple-tab-span" style="white-space:pre">

</span>30.56<span class="Apple-tab-span" style="white-space:pre"> </span>18.00<span class="Apple-tab-span" style="white-space:pre">

</span>10.22<span class="Apple-tab-span" style="white-space:pre"> </span>15.69<span class="Apple-tab-span" style="white-space:pre">

</span>19.87<span class="Apple-tab-span" style="white-space:pre"> </span>12.48<span class="Apple-tab-span" style="white-space:pre">

</span>73.47<span class="Apple-tab-span" style="white-space:pre"> </span>187.44</div>

<div class="">Grand Total:  387.46 TB</div>

</div>

<div class=""><br class="">

</div>

<div class="">Everything other than the total space lines at the bottom are counts of number of files meeting that criteria.  I’ve got another variation on the same script that we used when we were trying to determine how many old files we have and therefore

 how much data was an excellent candidate for moving to a slower, less expensive “capacity” pool.</div>

<div class=""><br class="">

</div>

<div class="">I’m not sure how useful my tools would be to others … I’m certainly not a professional programmer by any stretch of the imagination (and yes, I do hear those of you who are saying, “Yeah, he’s barely a professional SysAdmin!” <grin>).  But others

 of you have been so helpful to me … I’d like to try in some small way to help someone else.</div>

<div class=""><br class="">

</div>

<div class="">Kevin</div>

<div class=""><br class="">

<div>

<blockquote type="cite" class="">

<div class="">On Sep 28, 2016, at 5:56 AM, Oesterlin, Robert <<a href="mailto:Robert.Oesterlin@nuance.com" class="">Robert.Oesterlin@nuance.com</a>> wrote:</div>

<br class="Apple-interchange-newline">

<div class="">

<div class="WordSection1" style="page: WordSection1; font-family: Helvetica; font-size: 14px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: auto; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: auto; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: rgb(255, 255, 255);">

<div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman';" class="">

<span style="font-size: 11pt; font-family: Helvetica;" class="">/usr/lpp/mmfs/samples/debugtools/filehist<o:p class=""></o:p></span></div>

<div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman';" class="">

<span style="font-size: 11pt; font-family: Helvetica;" class=""><o:p class=""> </o:p></span></div>

<div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman';" class="">

<span style="font-size: 11pt; font-family: Helvetica;" class="">Look at the README in that directory.<o:p class=""></o:p></span></div>

<div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman';" class="">

<span style="font-size: 11pt; font-family: Helvetica;" class=""><o:p class=""> </o:p></span></div>

<div class="">

<div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman';" class="">

<span style="font-size: 10.5pt; font-family: Calibri;" class=""><o:p class=""> </o:p></span></div>

<div class="">

<div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman';" class="">

<span style="font-size: 10.5pt; font-family: Helvetica;" class="">Bob Oesterlin<br class="">

Sr Storage Engineer, Nuance HPC Grid<o:p class=""></o:p></span></div>

</div>

</div>

<div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman';" class="">

<span style="font-size: 11pt; font-family: Helvetica;" class=""><o:p class=""> </o:p></span></div>

<div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman';" class="">

<span style="font-size: 11pt; font-family: Helvetica;" class=""><o:p class=""> </o:p></span></div>

<div style="border-style: solid none none; border-top-color: rgb(181, 196, 223); border-top-width: 1pt; padding: 3pt 0in 0in;" class="">

<div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman';" class="">

<b class=""><span style="font-family: Calibri;" class="">From:<span class="Apple-converted-space"> </span></span></b><span style="font-family: Calibri;" class=""><<a href="mailto:gpfsug-discuss-bounces@spectrumscale.org" style="color: purple; text-decoration: underline;" class="">gpfsug-discuss-bounces@spectrumscale.org</a>>

 on behalf of "<a href="mailto:Greg.Lehmann@csiro.au" style="color: purple; text-decoration: underline;" class="">Greg.Lehmann@csiro.au</a>" <<a href="mailto:Greg.Lehmann@csiro.au" style="color: purple; text-decoration: underline;" class="">Greg.Lehmann@csiro.au</a>><br class="">

<b class="">Reply-To:<span class="Apple-converted-space"> </span></b>gpfsug main discussion list <<a href="mailto:gpfsug-discuss@spectrumscale.org" style="color: purple; text-decoration: underline;" class="">gpfsug-discuss@spectrumscale.org</a>><br class="">

<b class="">Date:<span class="Apple-converted-space"> </span></b>Wednesday, September 28, 2016 at 2:40 AM<br class="">

<b class="">To:<span class="Apple-converted-space"> </span></b>"<a href="mailto:gpfsug-discuss@spectrumscale.org" style="color: purple; text-decoration: underline;" class="">gpfsug-discuss@spectrumscale.org</a>" <<a href="mailto:gpfsug-discuss@spectrumscale.org" style="color: purple; text-decoration: underline;" class="">gpfsug-discuss@spectrumscale.org</a>><br class="">

<b class="">Subject:<span class="Apple-converted-space"> </span></b>[EXTERNAL] Re: [gpfsug-discuss] Blocksize<o:p class=""></o:p></span></div>

</div>

<div class="">

<div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman';" class="">

<o:p class=""> </o:p></div>

</div>

<div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman';" class="">

<span style="font-size: 11pt; font-family: Calibri; color: rgb(31, 73, 125);" class="">I am wondering what people use to produce a file size distribution report for their filesystems. Has everyone rolled their own or is there some goto app to use.</span><o:p class=""></o:p></div>

<div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman';" class="">

<span style="font-size: 11pt; font-family: Calibri; color: rgb(31, 73, 125);" class=""> </span><o:p class=""></o:p></div>

<div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman';" class="">

<span style="font-size: 11pt; font-family: Calibri; color: rgb(31, 73, 125);" class="">Cheers,</span><o:p class=""></o:p></div>

<div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman';" class="">

<span style="font-size: 11pt; font-family: Calibri; color: rgb(31, 73, 125);" class=""> </span><o:p class=""></o:p></div>

<div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman';" class="">

<span style="font-size: 11pt; font-family: Calibri; color: rgb(31, 73, 125);" class="">Greg</span><o:p class=""></o:p></div>

<div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman';" class="">

<span style="font-size: 11pt; font-family: Calibri; color: rgb(31, 73, 125);" class=""> </span><o:p class=""></o:p></div>

<div class="">

<div style="border-style: solid none none; border-top-color: rgb(225, 225, 225); border-top-width: 1pt; padding: 3pt 0in 0in;" class="">

<div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman';" class="">

<b class=""><span style="font-size: 11pt; font-family: Calibri;" class="">From:</span></b><span style="font-size: 11pt; font-family: Calibri;" class=""><span class="Apple-converted-space"> </span><a href="mailto:gpfsug-discuss-bounces@spectrumscale.org" style="color: purple; text-decoration: underline;" class="">gpfsug-discuss-bounces@spectrumscale.org</a><span class="Apple-converted-space"> </span>[<a href="mailto:gpfsug-discuss-bounces@spectrumscale.org" style="color: purple; text-decoration: underline;" class="">mailto:gpfsug-discuss-bounces@spectrumscale.org</a>]<span class="Apple-converted-space"> </span><b class="">On

 Behalf Of<span class="Apple-converted-space"> </span></b>Buterbaugh, Kevin L<br class="">

<b class="">Sent:</b><span class="Apple-converted-space"> </span>Wednesday, 28 September 2016 7:21 AM<br class="">

<b class="">To:</b><span class="Apple-converted-space"> </span>gpfsug main discussion list <<a href="mailto:gpfsug-discuss@spectrumscale.org" style="color: purple; text-decoration: underline;" class="">gpfsug-discuss@spectrumscale.org</a>><br class="">

<b class="">Subject:</b><span class="Apple-converted-space"> </span>Re: [gpfsug-discuss] Blocksize</span><o:p class=""></o:p></div>

</div>

</div>

<div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman';" class="">

 <o:p class=""></o:p></div>

<div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman';" class="">

Hi All,<span class="Apple-converted-space"> </span><o:p class=""></o:p></div>

<div class="">

<div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman';" class="">

 <o:p class=""></o:p></div>

</div>

<div class="">

<div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman';" class="">

Again, my thanks to all who responded to my last post.  Let me begin by stating something I unintentionally omitted in my last post … we already use SSDs for our metadata.<o:p class=""></o:p></div>

</div>

<div class="">

<div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman';" class="">

 <o:p class=""></o:p></div>

</div>

<div class="">

<div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman';" class="">

Which leads me to yet another question … of my three filesystems, two (/home and /scratch) are much older (created in 2010) and therefore currently have a 512 byte inode size.  /data is newer and has a 4K inode size.  Now if I combine /scratch and /data into

 one filesystem with a 4K inode size, the amount of space used by all the inodes coming over from /scratch is going to grow by a factor of eight unless I’m horribly confused.  And I would assume I need to count the amount of space taken up by allocated inodes,

 not just used inodes.<o:p class=""></o:p></div>

</div>

<div class="">

<div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman';" class="">

 <o:p class=""></o:p></div>

</div>

<div class="">

<div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman';" class="">

Therefore … how much space my metadata takes up just grew significantly in importance since:  1) metadata is on very expensive enterprise class, vendor certified SSDs, 2) we use RAID 1 mirrors of those SSDs, and 3) we have metadata replication set to two.  Some

 of the information presented by Sven and Yuri seems to contradict each other in regards to how much space inodes take up … or I’m misunderstanding one or both of them!  Leaving aside replication, if I use a 256K block size for my metadata and I use 4K inodes,

 are those inodes going to take up 4K each or are they going to take up 8K each (1/32nd of a 256K block)?<o:p class=""></o:p></div>

</div>

<div class="">

<div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman';" class="">

 <o:p class=""></o:p></div>

</div>

<div class="">

<div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman';" class="">

By the way, I do have a file size / file age spreadsheet for each of my filesystems (which I would be willing to share with interested parties) and while I was not surprised to learn that I have over 10 million sub-1K files on /home, I was a bit surprised to

 find that I have almost as many sub-1K files on /scratch (and a few million more on /data).  So there’s a huge potential win in having those files in the inode on SSD as opposed to on spinning disk, but there’s also a huge potential $$$ cost.<o:p class=""></o:p></div>

</div>

<div class="">

<div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman';" class="">

 <o:p class=""></o:p></div>

</div>

<div class="">

<div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman';" class="">

Thanks again … I hope others are gaining useful information from this thread.  I sure am!<o:p class=""></o:p></div>

</div>

<div class="">

<div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman';" class="">

 <o:p class=""></o:p></div>

</div>

<div class="">

<div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman';" class="">

Kevin<o:p class=""></o:p></div>

</div>

<div class="">

<div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman';" class="">

 <o:p class=""></o:p></div>

</div>

<div class="">

<div class="">

<blockquote style="margin-top: 5pt; margin-bottom: 5pt;" class="">

<div class="">

<div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman';" class="">

On Sep 27, 2016, at 1:26 PM, Yuri L Volobuev <<a href="mailto:volobuev@us.ibm.com" style="color: purple; text-decoration: underline;" class="">volobuev@us.ibm.com</a>> wrote:<o:p class=""></o:p></div>

</div>

<div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman';" class="">

 <o:p class=""></o:p></div>

<div class="">

<div class="">

<p class="MsoNormal" style="margin: 0in 0in 12pt; font-size: 12pt; font-family: 'Times New Roman';">

<tt style="font-family: 'Courier New';" class=""><span style="font-size: 10pt;" class="">> 1) Let’s assume that our overarching goal in configuring the block<span class="Apple-converted-space"> </span></span></tt><span style="font-size: 10pt; font-family: 'Courier New';" class=""><br class="">

<tt style="font-family: 'Courier New';" class="">> size for metadata is performance from the user perspective … i.e.<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> how fast is an “ls -l” on my directory?  Space savings aren’t<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> important, and how long policy scans or other “administrative” type<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> tasks take is not nearly as important as that directory listing.  </tt><br class="">

<tt style="font-family: 'Courier New';" class="">> Does that change the recommended metadata block size?</tt></span><br class="">

<br class="">

<tt style="font-family: 'Courier New';" class=""><span style="font-size: 10pt;" class="">The performance challenges for the "ls -l" scenario are quite different from the policy scan scenario, so the same rules do not necessarily apply.</span></tt><br class="">

<br class="">

<tt style="font-family: 'Courier New';" class=""><span style="font-size: 10pt;" class="">During "ls -l" the code has to read inodes one by one (there's some prefetching going on, to take the edge off for the actual 'ls' thread, but prefetching is still one

 inode at a time).  Metadata block size doesn't really come into the picture in this case, but inode size can be important -- depending on the storage performance characteristics.  Does the storage you use for metadata exhibit a meaningfully different latency

 for 4K random reads vs 512 byte random reads?  In my personal experience, on any modern storage device the difference is non-existent; in fact many devices (like all flash-based storage) use 4K native physical block size, and merely emulate 512 byte "sectors",

 so there's no way to read less than 4K.  So from the inode read latency point of view 4K vs 512B is most likely a wash, but then 4K inodes can help improve performance of other operations, e.g. readdir of a small directory which fits entirely into the inode.

  If you use xattrs (e.g. as a side effect of using HSM), 4K inodes definitely help, but allowing xattrs to be stored in the inode.</span></tt><br class="">

<br class="">

<tt style="font-family: 'Courier New';" class=""><span style="font-size: 10pt;" class="">Policy scans reads inodes in full blocks, and there both metadata block size and inode size matter.  Larger blocks could improve the inode read performance, while larger

 inodes mean that the same number of blocks hold fewer inodes and thus more blocks need to be read.  So the policy inode scan performance is benefited by larger metadata block size and smaller inodes.  However, policy scans also have to perform a directory

 traversal step, and that step tends to dominate the runtime of the overall run, and using larger inodes actually helps to speed up traversal of smaller directories.  So whether larger inodes help or hurt the policy scan performance depends, yet again, on your

 file system composition.  Overall, I believe that with all angles considered, larger inodes help with performance, and that was one of the considerations for making 4K inodes the default in V4.2+ versions.</span></tt><br class="">

<br class="">

<tt style="font-family: 'Courier New';" class=""><span style="font-size: 10pt;" class="">> 2)  Let’s assume we have 3 filesystems, /home, /scratch (traditional</span></tt><span style="font-size: 10pt; font-family: 'Courier New';" class=""><br class="">

<tt style="font-family: 'Courier New';" class="">> HPC use for those two) and /data (project space).  Our storage<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> arrays are 24-bay units with two 8+2P RAID 6 LUNs, one RAID 1<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> mirror, and two hot spare drives.  The RAID 1 mirrors are for /home,</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> the RAID 6 LUNs are for /scratch or /data.  /home has tons of small<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> files - so small that a 64K block size is currently used.  /scratch<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> and /data have a mixture, but a 1 MB block size is the “sweet spot” there.  </tt></span><br class="">

<tt style="font-family: 'Courier New';" class=""><span style="font-size: 10pt;" class="">><span class="Apple-converted-space"> </span></span></tt><span style="font-size: 10pt; font-family: 'Courier New';" class=""><br class="">

<tt style="font-family: 'Courier New';" class="">> If you could “start all over” with the same hardware being the only<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> restriction, would you:</tt></span><br class="">

<tt style="font-family: 'Courier New';" class=""><span style="font-size: 10pt;" class="">><span class="Apple-converted-space"> </span></span></tt><span style="font-size: 10pt; font-family: 'Courier New';" class=""><br class="">

<tt style="font-family: 'Courier New';" class="">> a) merge /scratch and /data into one filesystem but keep /home<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> separate since the LUN sizes are so very different, or</tt></span><br class="">

<tt style="font-family: 'Courier New';" class=""><span style="font-size: 10pt;" class="">> b) merge all three into one filesystem and use storage pools so that</span></tt><span style="font-size: 10pt; font-family: 'Courier New';" class=""><br class="">

<tt style="font-family: 'Courier New';" class="">> /home is just a separate pool within the one filesystem?  And if you</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> chose this option would you assign different block sizes to the pools?</tt></span><br class="">

<br class="">

<tt style="font-family: 'Courier New';" class=""><span style="font-size: 10pt;" class="">It's not possible to have different block sizes for different data pools.  We are very aware that many people would like to be able to do just that, but this is counter

 to where the product is going.  Supporting different block sizes for different pools is actually pretty hard: it's tricky to describe a large file that has some blocks in poolA and some in poolB where poolB has a different block size (perhaps during a migration)

 with the existing inode/indirect block format where each disk address pointer addresses a block of fixed size.  With some effort, and some changes to how block addressing works, it would be possible to implement the support for this.  However, as I mentioned

 in another post in this thread, we don't really want to glorify manual block size selection any further, we want to move away from it, by addressing the reasons that drive different block size selection today (like disk space utilization and performance).</span></tt><br class="">

<br class="">

<tt style="font-family: 'Courier New';" class=""><span style="font-size: 10pt;" class="">I'd recommend calculating a file size distribution histogram for your file systems.  You may, for example, discover that 80% of the small files you have in /home would

 fit into 4K inodes, and then the storage space efficiency gains for the remaining 20% don't justify the complexity of managing an extra file system with a small block size.  We don't recommend using block sizes smaller than 256K, because smaller block size

 is not good for disk space allocation code efficiency.  It's a quadratic dependency: with a smaller block size, one block worth of the block allocation map covers that much less disk space, because each bit in the map covers fewer disk sectors, and fewer bits

 fit into a block.  This means having to create a lot more block allocation map segments than what is needed for an ample level of parallelism.  This hurts performance of many block allocation-related operations.</span></tt><br class="">

<br class="">

<tt style="font-family: 'Courier New';" class=""><span style="font-size: 10pt;" class="">I don't see a reason for /scratch and /data to be separate file systems, aside from perhaps failure domain considerations.</span></tt><br class="">

<br class="">

<tt style="font-family: 'Courier New';" class=""><span style="font-size: 10pt;" class="">yuri</span></tt><br class="">

<br class="">

<br class="">

<tt style="font-family: 'Courier New';" class=""><span style="font-size: 10pt;" class="">> On Sep 26, 2016, at 2:29 PM, Yuri L Volobuev <<a href="mailto:volobuev@us.ibm.com" style="color: purple; text-decoration: underline;" class="">volobuev@us.ibm.com</a>>

 wrote:</span></tt><br class="">

<tt style="font-family: 'Courier New';" class=""><span style="font-size: 10pt;" class="">><span class="Apple-converted-space"> </span></span></tt><span style="font-size: 10pt; font-family: 'Courier New';" class=""><br class="">

<tt style="font-family: 'Courier New';" class="">> I would put the net summary this way: in GPFS, the "Goldilocks zone"</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> for metadata block size is 256K - 1M. If one plans to create a new<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> file system using GPFS V4.2+, 1M is a sound choice.</tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> In an ideal world, block size choice shouldn't really be a choice.<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> It's a low-level implementation detail that one day should go the<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> way of the manual ignition timing adjustment -- something that used<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> to be necessary in the olden days, and something that select<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> enthusiasts like to tweak to this day, but something that's<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> irrelevant for the overwhelming majority of the folks who just want<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> the engine to run. There's work being done in that general direction</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> in GPFS, but we aren't there yet.</tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> yuri</tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> <graycol.gif>Stephen Ulmer ---09/26/2016 12:02:25 PM---Now I’ve got<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> anther question… which I’ll let bake for a while. Okay, to (poorly) summarize:</tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> From: Stephen Ulmer <<a href="mailto:ulmer@ulmer.org" style="color: purple; text-decoration: underline;" class="">ulmer@ulmer.org</a>></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> To: gpfsug main discussion list <<a href="mailto:gpfsug-discuss@spectrumscale.org" style="color: purple; text-decoration: underline;" class="">gpfsug-discuss@spectrumscale.org</a>>,<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> Date: 09/26/2016 12:02 PM</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> Subject: Re: [gpfsug-discuss] Blocksize</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> Sent by:<span class="Apple-converted-space"> </span><a href="mailto:gpfsug-discuss-bounces@spectrumscale.org" style="color: purple; text-decoration: underline;" class="">gpfsug-discuss-bounces@spectrumscale.org</a></tt></span><br class="">

<tt style="font-family: 'Courier New';" class=""><span style="font-size: 10pt;" class="">><span class="Apple-converted-space"> </span></span></tt><span style="font-size: 10pt; font-family: 'Courier New';" class=""><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> Now I’ve got anther question… which I’ll let bake for a while.</tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> Okay, to (poorly) summarize:<span class="Apple-converted-space"> </span></tt></span><br class="">

<tt style="font-family: 'Courier New';" class=""><span style="font-size: 10pt;" class="">> There are items OTHER THAN INODES stored as metadata in GPFS.</span></tt><br class="">

<tt style="font-family: 'Courier New';" class=""><span style="font-size: 10pt;" class="">> These items have a VARIETY OF SIZES, but are packed in such a way<span class="Apple-converted-space"> </span></span></tt><span style="font-size: 10pt; font-family: 'Courier New';" class=""><br class="">

<tt style="font-family: 'Courier New';" class="">> that we should just not worry about wasted space unless we pick a<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> LARGE metadata block size — or if we don’t pick a “reasonable”<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> metadata block size after picking a “large” file system block size<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> that applies to both.</tt></span><br class="">

<tt style="font-family: 'Courier New';" class=""><span style="font-size: 10pt;" class="">> Performance is hard, and the gain from calculating exactly the best<span class="Apple-converted-space"> </span></span></tt><span style="font-size: 10pt; font-family: 'Courier New';" class=""><br class="">

<tt style="font-family: 'Courier New';" class="">> metadata block size is much smaller than performance gains attained<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> through code optimization.</tt></span><br class="">

<tt style="font-family: 'Courier New';" class=""><span style="font-size: 10pt;" class="">> If we were to try and calculate the appropriate metadata block size<span class="Apple-converted-space"> </span></span></tt><span style="font-size: 10pt; font-family: 'Courier New';" class=""><br class="">

<tt style="font-family: 'Courier New';" class="">> we would likely be wrong anyway, since none of us get our data at<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> the idealized physics shop that sells massless rulers and<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> frictionless pulleys.</tt></span><br class="">

<tt style="font-family: 'Courier New';" class=""><span style="font-size: 10pt;" class="">> We should probably all use a metadata block size around 1MB. Nobody<span class="Apple-converted-space"> </span></span></tt><span style="font-size: 10pt; font-family: 'Courier New';" class=""><br class="">

<tt style="font-family: 'Courier New';" class="">> has said this outright, but it’s been the example as the “good” size</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> at least three times in this thread.</tt></span><br class="">

<tt style="font-family: 'Courier New';" class=""><span style="font-size: 10pt;" class="">> Under no circumstances should we do what many of us would have done<span class="Apple-converted-space"> </span></span></tt><span style="font-size: 10pt; font-family: 'Courier New';" class=""><br class="">

<tt style="font-family: 'Courier New';" class="">> and pick 128K, which made sense based on all of our previous<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> education that is no longer applicable.</tt></span><br class="">

<tt style="font-family: 'Courier New';" class=""><span style="font-size: 10pt;" class="">><span class="Apple-converted-space"> </span></span></tt><span style="font-size: 10pt; font-family: 'Courier New';" class=""><br class="">

<tt style="font-family: 'Courier New';" class="">> Did I miss anything? :)</tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> Liberty,</tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> --<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> Stephen</tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

</span><br class="">

<tt style="font-family: 'Courier New';" class=""><span style="font-size: 10pt;" class="">> On Sep 26, 2016, at 2:18 PM, Yuri L Volobuev <<a href="mailto:volobuev@us.ibm.com" style="color: purple; text-decoration: underline;" class="">volobuev@us.ibm.com</a>>

 wrote:</span></tt><br class="">

<tt style="font-family: 'Courier New';" class=""><span style="font-size: 10pt;" class="">> It's important to understand the differences between different<span class="Apple-converted-space"> </span></span></tt><span style="font-size: 10pt; font-family: 'Courier New';" class=""><br class="">

<tt style="font-family: 'Courier New';" class="">> metadata types, in particular where it comes to space allocation.</tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> System metadata files (inode file, inode and block allocation maps,<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> ACL file, fileset metadata file, EA file in older versions) are<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> allocated at well-defined moments (file system format, new storage<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> pool creation in the case of block allocation map, etc), and those<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> contain multiple records packed into a single block. From the block<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> allocator point of view, the individual metadata record size is<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> invisible, only larger blocks get actually allocated, and space<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> usage efficiency generally isn't an issue.</tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> For user metadata (indirect blocks, directory blocks, EA overflow<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> blocks) the situation is different. Those get allocated as the need<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> arises, generally one at a time. So the size of an individual<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> metadata structure matters, a lot. The smallest unit of allocation<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> in GPFS is a subblock (1/32nd of a block). If an IB or a directory<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> block is smaller than a subblock, the unused space in the subblock<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> is wasted. So if one chooses to use, say, 16 MiB block size for<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> metadata, the smallest unit of space that can be allocated is 512<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> KiB. If one chooses 1 MiB block size, the smallest allocation unit<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> is 32 KiB. IBs are generally 16 KiB or 32 KiB in size (32 KiB with<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> any reasonable data block size); directory blocks used to be limited</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> to 32 KiB, but in the current code can be as large as 256 KiB. As<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> one can observe, using 16 MiB metadata block size would lead to a<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> considerable amount of wasted space for IBs and large directories<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> (small directories can live in inodes). On the other hand, with 1<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> MiB block size, there'll be no wasted metadata space. Does any of<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> this actually make a practical difference? That depends on the file<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> system composition, namely the number of IBs (which is a function of</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> the number of large files) and larger directories. Calculating this<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> scientifically can be pretty involved, and really should be the job<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> of a tool that ought to exist, but doesn't (yet). A more practical<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> approach is doing a ballpark estimate using local file counts and<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> typical fractions of large files and directories, using statistics<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> available from published papers.</tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> The performance implications of a given metadata block size choice<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> is a subject of nearly infinite depth, and this question ultimately<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> can only be answered by doing experiments with a specific workload<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> on specific hardware. The metadata space utilization efficiency is<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> something that can be answered conclusively though.</tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> yuri</tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> <graycol.gif>"Buterbaugh, Kevin L" ---09/24/2016 07:19:09 AM---Hi<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> Sven, I am confused by your statement that the metadata block size<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> should be 1 MB and am very int</tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> From: "Buterbaugh, Kevin L" <<a href="mailto:Kevin.Buterbaugh@vanderbilt.edu" style="color: purple; text-decoration: underline;" class="">Kevin.Buterbaugh@Vanderbilt.Edu</a>></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> To: gpfsug main discussion list <<a href="mailto:gpfsug-discuss@spectrumscale.org" style="color: purple; text-decoration: underline;" class="">gpfsug-discuss@spectrumscale.org</a>>,<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> Date: 09/24/2016 07:19 AM</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> Subject: Re: [gpfsug-discuss] Blocksize</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> Sent by:<span class="Apple-converted-space"> </span><a href="mailto:gpfsug-discuss-bounces@spectrumscale.org" style="color: purple; text-decoration: underline;" class="">gpfsug-discuss-bounces@spectrumscale.org</a></tt></span><br class="">

<tt style="font-family: 'Courier New';" class=""><span style="font-size: 10pt;" class="">><span class="Apple-converted-space"> </span></span></tt><span style="font-size: 10pt; font-family: 'Courier New';" class=""><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> Hi Sven,<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> I am confused by your statement that the metadata block size should<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> be 1 MB and am very interested in learning the rationale behind this</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> as I am currently looking at all aspects of our current GPFS<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> configuration and the possibility of making major changes.</tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> If you have a filesystem with only metadataOnly disks in the system<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> pool and the default size of an inode is 4K (which we would do,<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> since we have recently discovered that even on our scratch<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> filesystem we have a bazillion files that are 4K or smaller and<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> could therefore have their data stored in the inode, right?), then<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> why would you set the metadata block size to anything larger than<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> 128K when a sub-block is 1/32nd of a block? I.e., with a 1 MB block<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> size for metadata wouldn’t you be wasting a massive amount of space?</tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> What am I missing / confused about there?</tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> Oh, and here’s a related question … let’s just say I have the above<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> configuration … my system pool is metadata only and is on SSD’s.<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> Then I have two other dataOnly pools that are spinning disk. One is<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> for “regular” access and the other is the “capacity” pool … i.e. a<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> pool of slower storage where we move files with large access times.<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> I have a policy that says something like “move all files with an<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> access time > 6 months to the capacity pool.” Of those bazillion<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> files less than 4K in size that are fitting in the inode currently,<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> probably half a bazillion (<grin>) of them would be subject to that<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> rule. Will they get moved to the spinning disk capacity pool or will</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> they stay in the inode??</tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> Thanks! This is a very timely and interesting discussion for me as well...</tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> Kevin<span class="Apple-converted-space"> </span></tt></span><br class="">

<tt style="font-family: 'Courier New';" class=""><span style="font-size: 10pt;" class="">> On Sep 23, 2016, at 4:35 PM, Sven Oehme <<a href="mailto:oehmes@us.ibm.com" style="color: purple; text-decoration: underline;" class="">oehmes@us.ibm.com</a>> wrote:<span class="Apple-converted-space"> </span></span></tt><br class="">

<tt style="font-family: 'Courier New';" class=""><span style="font-size: 10pt;" class="">> your metadata block size these days should be 1 MB and there are<span class="Apple-converted-space"> </span></span></tt><span style="font-size: 10pt; font-family: 'Courier New';" class=""><br class="">

<tt style="font-family: 'Courier New';" class="">> only very few workloads for which you should run with a filesystem<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> blocksize below 1 MB. so if you don't know exactly what to pick, 1<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> MB is a good starting point.<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> the general rule still applies that your filesystem blocksize<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> (metadata or data pool) should match your raid controller (or GNR<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> vdisk) stripe size of the particular pool.</tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> so if you use a 128k strip size(defaut in many midrange storage<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> controllers) in a 8+2p raid array, your stripe or track size is 1 MB</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> and therefore the blocksize of this pool should be 1 MB. i see many<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> customers in the field using 1MB or even smaller blocksize on RAID<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> stripes of 2 MB or above and your performance will be significant<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> impacted by that.<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> Sven</tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> ------------------------------------------</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> Sven Oehme<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> Scalable Storage Research<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> email:<span class="Apple-converted-space"> </span><a href="mailto:oehmes@us.ibm.com" style="color: purple; text-decoration: underline;" class="">oehmes@us.ibm.com</a><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> Phone: +1 (408) 824-8904<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> IBM Almaden Research Lab<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> ------------------------------------------</tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> <graycol.gif>Stephen Ulmer ---09/23/2016 12:16:34 PM---Not to be too</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> pedantic, but I believe the the subblock size is 1/32 of the block<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> size (which strengt</tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> From: Stephen Ulmer <<a href="mailto:ulmer@ulmer.org" style="color: purple; text-decoration: underline;" class="">ulmer@ulmer.org</a>></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> To: gpfsug main discussion list <<a href="mailto:gpfsug-discuss@spectrumscale.org" style="color: purple; text-decoration: underline;" class="">gpfsug-discuss@spectrumscale.org</a>></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> Date: 09/23/2016 12:16 PM</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> Subject: Re: [gpfsug-discuss] Blocksize</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> Sent by:<span class="Apple-converted-space"> </span><a href="mailto:gpfsug-discuss-bounces@spectrumscale.org" style="color: purple; text-decoration: underline;" class="">gpfsug-discuss-bounces@spectrumscale.org</a></tt></span><br class="">

<tt style="font-family: 'Courier New';" class=""><span style="font-size: 10pt;" class="">><span class="Apple-converted-space"> </span></span></tt><span style="font-size: 10pt; font-family: 'Courier New';" class=""><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> Not to be too pedantic, but I believe the the subblock size is 1/32<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> of the block size (which strengthens Luis’s arguments below).</tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> I thought the the original question was NOT about inode size, but<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> about metadata block size. You can specify that the system pool have</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> a different block size from the rest of the filesystem, providing<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> that it ONLY holds metadata (—metadata-block-size option to mmcrfs).</tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> So with 4K inodes (which should be used for all new filesystems<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> without some counter-indication), I would think that we’d want to<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> use a metadata block size of 4K*32=128K. This is independent of the<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> regular block size, which you can calculate based on the workload if</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> you’re lucky.</tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> There could be a great reason NOT to use 128K metadata block size,<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> but I don’t know what it is. I’d be happy to be corrected about this</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> if it’s out of whack.</tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> --<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> Stephen</tt></span><br class="">

<tt style="font-family: 'Courier New';" class=""><span style="font-size: 10pt;" class="">> On Sep 22, 2016, at 3:37 PM, Luis Bolinches <<a href="mailto:luis.bolinches@fi.ibm.com" style="color: purple; text-decoration: underline;" class="">luis.bolinches@fi.ibm.com</a>>

 wrote:</span></tt><span style="font-size: 10pt; font-family: 'Courier New';" class=""><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> Hi</tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> My 2 cents.</tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> Leave at least 4K inodes, then you get massive improvement on small<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> files (less 3.5K minus whatever you use on xattr)</tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> About blocksize for data, unless you have actual data that suggest<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> that you will actually benefit from smaller than 1MB block, leave<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> there. GPFS uses sublocks where 1/16th of the BS can be allocated to</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> different files, so the "waste" is much less than you think on 1MB<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> and you get the throughput and less structures of much more data blocks.</tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> No warranty at all but I try to do this when the BS talk comes in:<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> (might need some clean up it could not be last note but you get the idea)</tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> POSIX</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> find . -type f -name '*' -exec ls -l {} \; > find_ls_files.out</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> GPFS</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> cd /usr/lpp/mmfs/samples/ilm</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> gcc mmfindUtil_processOutputFile.c -o mmfindUtil_processOutputFile</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> ./mmfind /gpfs/shared -ls -type f > find_ls_files.out</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> CONVERT to CSV</tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> POSIX</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> cat find_ls_files.out | awk '{print $5","}' > find_ls_files.out.csv</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> GPFS</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> cat find_ls_files.out | awk '{print $7","}' > find_ls_files.out.csv</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> LOAD in octave</tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> FILESIZE = int32 (dlmread ("find_ls_files.out.csv", ","));</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> Clean the second column (OPTIONAL as the next clean up will do the same)</tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> FILESIZE(:,[2]) = [];</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> If we are on 4K aligment we need to clean the files that go to<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> inodes (WELL not exactly ... extended attributes! so maybe use a<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> lower number!)</tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> FILESIZE(FILESIZE<=3584) =[];</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> If we are not we need to clean the 0 size files</tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> FILESIZE(FILESIZE==0) =[];</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> Median</tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> FILESIZEMEDIAN = int32 (median (FILESIZE))</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> Mean</tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> FILESIZEMEAN = int32 (mean (FILESIZE))</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> Variance</tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> int32 (var (FILESIZE))</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> iqr interquartile range, i.e., the difference between the upper and<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> lower quartile, of the input data.</tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> int32 (iqr (FILESIZE))</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> Standard deviation</tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> For some FS with lots of files you might need a rather powerful<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> machine to run the calculations on octave, I never hit anything<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> could not manage on a 64GB RAM Power box. Most of the times it is<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> enough with my laptop.</tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> --</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> Ystävällisin terveisin / Kind regards / Saludos cordiales / Salutations</tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> Luis Bolinches</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> Lab Services</tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span><a href="https://urldefense.proofpoint.com/v2/url?u=http-3A__www-2D03.ibm.com_systems_services_labservices_&d=CwMGaQ&c=djjh8EKwHtOepW4Bjau0lKhLlu-DxM1dlgP0rrLsOzY&r=LPDewt1Z4o9eKc86MXmhqX-45Cz1yz1ylYELF9olLKU&m=Tpe4SZ_1FVcZKlLQ9tq9V7fIAidT34vMVKPHS97tiSc&s=FZK2diT_8zDTwgFdqdGpVFmBDtR2_l2SXiOZ7ZtOJlw&e=" style="color: purple; text-decoration: underline;" class="">http://www-03.ibm.com/systems/services/labservices/</a></tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> IBM Laajalahdentie 23 (main Entrance) Helsinki, 00330 Finland</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> Phone: +358 503112585</tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> "If you continually give you will continually have." Anonymous</tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> ----- Original message -----</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> From: Stef Coene <<a href="mailto:stef.coene@docum.org" style="color: purple; text-decoration: underline;" class="">stef.coene@docum.org</a>></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> Sent by:<span class="Apple-converted-space"> </span><a href="mailto:gpfsug-discuss-bounces@spectrumscale.org" style="color: purple; text-decoration: underline;" class="">gpfsug-discuss-bounces@spectrumscale.org</a></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> To: gpfsug main discussion list <<a href="mailto:gpfsug-discuss@spectrumscale.org" style="color: purple; text-decoration: underline;" class="">gpfsug-discuss@spectrumscale.org</a>></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> Cc:</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> Subject: Re: [gpfsug-discuss] Blocksize</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> Date: Thu, Sep 22, 2016 10:30 PM</tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> On 09/22/2016 09:07 PM, J. Eric Wonderley wrote:</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> > It defaults to 4k:</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> > mmlsfs testbs8M -i</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> > flag                value                    description</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> > ------------------- ------------------------</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> > -----------------------------------</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> >  -i                 4096                     Inode size in bytes</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> ></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> > I think you can make as small as 512b.   Gpfs will store very small</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> > files in the inode.</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> ></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> > Typically you want your average file size to be your blocksize and your</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> > filesystem has one blocksize and one inodesize.</tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> The files are not small, but around 20 MB on average.</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> So I calculated with IBM that a 1 MB or 2 MB block size is best.</tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> But I'm not sure if it's better to use a smaller block size for the</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> metadata.</tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> The file system is not that large (400 TB) and will hold backup data</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> from CommVault.</tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> Stef</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> _______________________________________________</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> gpfsug-discuss mailing list</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> gpfsug-discuss at<span class="Apple-converted-space"> </span><a href="https://urldefense.proofpoint.com/v2/url?u=http-3A__spectrumscale.org&d=CwMGaQ&c=djjh8EKwHtOepW4Bjau0lKhLlu-DxM1dlgP0rrLsOzY&r=LPDewt1Z4o9eKc86MXmhqX-45Cz1yz1ylYELF9olLKU&m=Tpe4SZ_1FVcZKlLQ9tq9V7fIAidT34vMVKPHS97tiSc&s=1fmUrBFyMxUXUHqah3E7V_sMrg7zbWBghNQWwAJPc9c&e=" style="color: purple; text-decoration: underline;" class="">spectrumscale.org</a></tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span><a href="https://urldefense.proofpoint.com/v2/url?u=http-3A__gpfsug.org_mailman_listinfo_gpfsug-2Ddiscuss&d=CwMGaQ&c=djjh8EKwHtOepW4Bjau0lKhLlu-DxM1dlgP0rrLsOzY&r=LPDewt1Z4o9eKc86MXmhqX-45Cz1yz1ylYELF9olLKU&m=Tpe4SZ_1FVcZKlLQ9tq9V7fIAidT34vMVKPHS97tiSc&s=CEf2AMIDRUD_XeAA8cqtX6bFc7rnTTOgq7-mx5_dl44&e=" style="color: purple; text-decoration: underline;" class="">http://gpfsug.org/mailman/listinfo/gpfsug-discuss</a></tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> Ellei edellä ole toisin mainittu: / Unless stated otherwise above:</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> Oy IBM Finland Ab</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> PL 265, 00101 Helsinki, Finland</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> Business ID, Y-tunnus: 0195876-3<span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> Registered in Finland</tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> _______________________________________________</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> gpfsug-discuss mailing list</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> gpfsug-discuss at<span class="Apple-converted-space"> </span><a href="https://urldefense.proofpoint.com/v2/url?u=http-3A__spectrumscale.org&d=CwMGaQ&c=djjh8EKwHtOepW4Bjau0lKhLlu-DxM1dlgP0rrLsOzY&r=LPDewt1Z4o9eKc86MXmhqX-45Cz1yz1ylYELF9olLKU&m=Tpe4SZ_1FVcZKlLQ9tq9V7fIAidT34vMVKPHS97tiSc&s=1fmUrBFyMxUXUHqah3E7V_sMrg7zbWBghNQWwAJPc9c&e=" style="color: purple; text-decoration: underline;" class="">spectrumscale.org</a></tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span><a href="https://urldefense.proofpoint.com/v2/url?u=http-3A__gpfsug.org_mailman_listinfo_gpfsug-2Ddiscuss&d=CwMGaQ&c=djjh8EKwHtOepW4Bjau0lKhLlu-DxM1dlgP0rrLsOzY&r=LPDewt1Z4o9eKc86MXmhqX-45Cz1yz1ylYELF9olLKU&m=Tpe4SZ_1FVcZKlLQ9tq9V7fIAidT34vMVKPHS97tiSc&s=CEf2AMIDRUD_XeAA8cqtX6bFc7rnTTOgq7-mx5_dl44&e=" style="color: purple; text-decoration: underline;" class="">http://gpfsug.org/mailman/listinfo/gpfsug-discuss</a></tt></span><br class="">

<tt style="font-family: 'Courier New';" class=""><span style="font-size: 10pt;" class="">> _______________________________________________</span></tt><span style="font-size: 10pt; font-family: 'Courier New';" class=""><br class="">

<tt style="font-family: 'Courier New';" class="">> gpfsug-discuss mailing list</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> gpfsug-discuss at<span class="Apple-converted-space"> </span><a href="https://urldefense.proofpoint.com/v2/url?u=http-3A__spectrumscale.org&d=CwMGaQ&c=djjh8EKwHtOepW4Bjau0lKhLlu-DxM1dlgP0rrLsOzY&r=LPDewt1Z4o9eKc86MXmhqX-45Cz1yz1ylYELF9olLKU&m=Tpe4SZ_1FVcZKlLQ9tq9V7fIAidT34vMVKPHS97tiSc&s=1fmUrBFyMxUXUHqah3E7V_sMrg7zbWBghNQWwAJPc9c&e=" style="color: purple; text-decoration: underline;" class="">spectrumscale.org</a></tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span><a href="https://urldefense.proofpoint.com/v2/url?u=http-3A__gpfsug.org_mailman_listinfo_gpfsug-2Ddiscuss&d=CwMGaQ&c=djjh8EKwHtOepW4Bjau0lKhLlu-DxM1dlgP0rrLsOzY&r=LPDewt1Z4o9eKc86MXmhqX-45Cz1yz1ylYELF9olLKU&m=Tpe4SZ_1FVcZKlLQ9tq9V7fIAidT34vMVKPHS97tiSc&s=CEf2AMIDRUD_XeAA8cqtX6bFc7rnTTOgq7-mx5_dl44&e=" style="color: purple; text-decoration: underline;" class="">http://gpfsug.org/mailman/listinfo/gpfsug-discuss</a></tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> _______________________________________________</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> gpfsug-discuss mailing list</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> gpfsug-discuss at<span class="Apple-converted-space"> </span><a href="https://urldefense.proofpoint.com/v2/url?u=http-3A__spectrumscale.org&d=CwMGaQ&c=djjh8EKwHtOepW4Bjau0lKhLlu-DxM1dlgP0rrLsOzY&r=LPDewt1Z4o9eKc86MXmhqX-45Cz1yz1ylYELF9olLKU&m=Tpe4SZ_1FVcZKlLQ9tq9V7fIAidT34vMVKPHS97tiSc&s=1fmUrBFyMxUXUHqah3E7V_sMrg7zbWBghNQWwAJPc9c&e=" style="color: purple; text-decoration: underline;" class="">spectrumscale.org</a></tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span><a href="https://urldefense.proofpoint.com/v2/url?u=http-3A__gpfsug.org_mailman_listinfo_gpfsug-2Ddiscuss&d=CwMGaQ&c=djjh8EKwHtOepW4Bjau0lKhLlu-DxM1dlgP0rrLsOzY&r=LPDewt1Z4o9eKc86MXmhqX-45Cz1yz1ylYELF9olLKU&m=Tpe4SZ_1FVcZKlLQ9tq9V7fIAidT34vMVKPHS97tiSc&s=CEf2AMIDRUD_XeAA8cqtX6bFc7rnTTOgq7-mx5_dl44&e=" style="color: purple; text-decoration: underline;" class="">http://gpfsug.org/mailman/listinfo/gpfsug-discuss</a></tt></span><br class="">

<tt style="font-family: 'Courier New';" class=""><span style="font-size: 10pt;" class="">> _______________________________________________</span></tt><span style="font-size: 10pt; font-family: 'Courier New';" class=""><br class="">

<tt style="font-family: 'Courier New';" class="">> gpfsug-discuss mailing list</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> gpfsug-discuss at<span class="Apple-converted-space"> </span><a href="https://urldefense.proofpoint.com/v2/url?u=http-3A__spectrumscale.org&d=CwMGaQ&c=djjh8EKwHtOepW4Bjau0lKhLlu-DxM1dlgP0rrLsOzY&r=LPDewt1Z4o9eKc86MXmhqX-45Cz1yz1ylYELF9olLKU&m=Tpe4SZ_1FVcZKlLQ9tq9V7fIAidT34vMVKPHS97tiSc&s=1fmUrBFyMxUXUHqah3E7V_sMrg7zbWBghNQWwAJPc9c&e=" style="color: purple; text-decoration: underline;" class="">spectrumscale.org</a></tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span><a href="https://urldefense.proofpoint.com/v2/url?u=http-3A__gpfsug.org_mailman_listinfo_gpfsug-2Ddiscuss&d=CwMGaQ&c=djjh8EKwHtOepW4Bjau0lKhLlu-DxM1dlgP0rrLsOzY&r=LPDewt1Z4o9eKc86MXmhqX-45Cz1yz1ylYELF9olLKU&m=Tpe4SZ_1FVcZKlLQ9tq9V7fIAidT34vMVKPHS97tiSc&s=CEf2AMIDRUD_XeAA8cqtX6bFc7rnTTOgq7-mx5_dl44&e=" style="color: purple; text-decoration: underline;" class="">http://gpfsug.org/mailman/listinfo/gpfsug-discuss</a></tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

<tt style="font-family: 'Courier New';" class="">> _______________________________________________</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> gpfsug-discuss mailing list</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> gpfsug-discuss at<span class="Apple-converted-space"> </span><a href="https://urldefense.proofpoint.com/v2/url?u=http-3A__spectrumscale.org&d=CwMGaQ&c=djjh8EKwHtOepW4Bjau0lKhLlu-DxM1dlgP0rrLsOzY&r=LPDewt1Z4o9eKc86MXmhqX-45Cz1yz1ylYELF9olLKU&m=Tpe4SZ_1FVcZKlLQ9tq9V7fIAidT34vMVKPHS97tiSc&s=1fmUrBFyMxUXUHqah3E7V_sMrg7zbWBghNQWwAJPc9c&e=" style="color: purple; text-decoration: underline;" class="">spectrumscale.org</a></tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span><a href="https://urldefense.proofpoint.com/v2/url?u=http-3A__gpfsug.org_mailman_listinfo_gpfsug-2Ddiscuss&d=CwMGaQ&c=djjh8EKwHtOepW4Bjau0lKhLlu-DxM1dlgP0rrLsOzY&r=LPDewt1Z4o9eKc86MXmhqX-45Cz1yz1ylYELF9olLKU&m=Tpe4SZ_1FVcZKlLQ9tq9V7fIAidT34vMVKPHS97tiSc&s=CEf2AMIDRUD_XeAA8cqtX6bFc7rnTTOgq7-mx5_dl44&e=" style="color: purple; text-decoration: underline;" class="">http://gpfsug.org/mailman/listinfo/gpfsug-discuss</a></tt></span><br class="">

<tt style="font-family: 'Courier New';" class=""><span style="font-size: 10pt;" class="">> _______________________________________________</span></tt><span style="font-size: 10pt; font-family: 'Courier New';" class=""><br class="">

<tt style="font-family: 'Courier New';" class="">> gpfsug-discuss mailing list</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> gpfsug-discuss at<span class="Apple-converted-space"> </span><a href="https://urldefense.proofpoint.com/v2/url?u=http-3A__spectrumscale.org&d=CwMGaQ&c=djjh8EKwHtOepW4Bjau0lKhLlu-DxM1dlgP0rrLsOzY&r=LPDewt1Z4o9eKc86MXmhqX-45Cz1yz1ylYELF9olLKU&m=Tpe4SZ_1FVcZKlLQ9tq9V7fIAidT34vMVKPHS97tiSc&s=1fmUrBFyMxUXUHqah3E7V_sMrg7zbWBghNQWwAJPc9c&e=" style="color: purple; text-decoration: underline;" class="">spectrumscale.org</a></tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span><a href="https://urldefense.proofpoint.com/v2/url?u=http-3A__gpfsug.org_mailman_listinfo_gpfsug-2Ddiscuss&d=CwMGaQ&c=djjh8EKwHtOepW4Bjau0lKhLlu-DxM1dlgP0rrLsOzY&r=LPDewt1Z4o9eKc86MXmhqX-45Cz1yz1ylYELF9olLKU&m=Tpe4SZ_1FVcZKlLQ9tq9V7fIAidT34vMVKPHS97tiSc&s=CEf2AMIDRUD_XeAA8cqtX6bFc7rnTTOgq7-mx5_dl44&e=" style="color: purple; text-decoration: underline;" class="">http://gpfsug.org/mailman/listinfo/gpfsug-discuss</a></tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span></tt><br class="">

</span><br class="">

<tt style="font-family: 'Courier New';" class=""><span style="font-size: 10pt;" class="">> _______________________________________________</span></tt><span style="font-size: 10pt; font-family: 'Courier New';" class=""><br class="">

<tt style="font-family: 'Courier New';" class="">> gpfsug-discuss mailing list</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> gpfsug-discuss at<span class="Apple-converted-space"> </span><a href="https://urldefense.proofpoint.com/v2/url?u=http-3A__spectrumscale.org&d=CwMGaQ&c=djjh8EKwHtOepW4Bjau0lKhLlu-DxM1dlgP0rrLsOzY&r=LPDewt1Z4o9eKc86MXmhqX-45Cz1yz1ylYELF9olLKU&m=Tpe4SZ_1FVcZKlLQ9tq9V7fIAidT34vMVKPHS97tiSc&s=1fmUrBFyMxUXUHqah3E7V_sMrg7zbWBghNQWwAJPc9c&e=" style="color: purple; text-decoration: underline;" class="">spectrumscale.org</a></tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span><a href="https://urldefense.proofpoint.com/v2/url?u=http-3A__gpfsug.org_mailman_listinfo_gpfsug-2Ddiscuss&d=CwMGaQ&c=djjh8EKwHtOepW4Bjau0lKhLlu-DxM1dlgP0rrLsOzY&r=LPDewt1Z4o9eKc86MXmhqX-45Cz1yz1ylYELF9olLKU&m=Tpe4SZ_1FVcZKlLQ9tq9V7fIAidT34vMVKPHS97tiSc&s=CEf2AMIDRUD_XeAA8cqtX6bFc7rnTTOgq7-mx5_dl44&e=" style="color: purple; text-decoration: underline;" class="">http://gpfsug.org/mailman/listinfo/gpfsug-discuss</a></tt></span><br class="">

<tt style="font-family: 'Courier New';" class=""><span style="font-size: 10pt;" class="">> _______________________________________________</span></tt><span style="font-size: 10pt; font-family: 'Courier New';" class=""><br class="">

<tt style="font-family: 'Courier New';" class="">> gpfsug-discuss mailing list</tt><br class="">

<tt style="font-family: 'Courier New';" class="">> gpfsug-discuss at<span class="Apple-converted-space"> </span><a href="https://urldefense.proofpoint.com/v2/url?u=http-3A__spectrumscale.org&d=CwMGaQ&c=djjh8EKwHtOepW4Bjau0lKhLlu-DxM1dlgP0rrLsOzY&r=LPDewt1Z4o9eKc86MXmhqX-45Cz1yz1ylYELF9olLKU&m=Tpe4SZ_1FVcZKlLQ9tq9V7fIAidT34vMVKPHS97tiSc&s=1fmUrBFyMxUXUHqah3E7V_sMrg7zbWBghNQWwAJPc9c&e=" style="color: purple; text-decoration: underline;" class="">spectrumscale.org</a></tt><br class="">

<tt style="font-family: 'Courier New';" class="">><span class="Apple-converted-space"> </span><a href="https://urldefense.proofpoint.com/v2/url?u=http-3A__gpfsug.org_mailman_listinfo_gpfsug-2Ddiscuss&d=CwMGaQ&c=djjh8EKwHtOepW4Bjau0lKhLlu-DxM1dlgP0rrLsOzY&r=LPDewt1Z4o9eKc86MXmhqX-45Cz1yz1ylYELF9olLKU&m=Tpe4SZ_1FVcZKlLQ9tq9V7fIAidT34vMVKPHS97tiSc&s=CEf2AMIDRUD_XeAA8cqtX6bFc7rnTTOgq7-mx5_dl44&e=" style="color: purple; text-decoration: underline;" class="">http://gpfsug.org/mailman/listinfo/gpfsug-discuss</a></tt></span><o:p class=""></o:p></p>

</div>

<div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman';" class="">

_______________________________________________<br class="">

gpfsug-discuss mailing list<br class="">

gpfsug-discuss at<span class="Apple-converted-space"> </span><a href="https://urldefense.proofpoint.com/v2/url?u=http-3A__spectrumscale.org&d=CwMGaQ&c=djjh8EKwHtOepW4Bjau0lKhLlu-DxM1dlgP0rrLsOzY&r=LPDewt1Z4o9eKc86MXmhqX-45Cz1yz1ylYELF9olLKU&m=Tpe4SZ_1FVcZKlLQ9tq9V7fIAidT34vMVKPHS97tiSc&s=1fmUrBFyMxUXUHqah3E7V_sMrg7zbWBghNQWwAJPc9c&e=" style="color: purple; text-decoration: underline;" class="">spectrumscale.org</a><br class="">

<a href="https://urldefense.proofpoint.com/v2/url?u=http-3A__gpfsug.org_mailman_listinfo_gpfsug-2Ddiscuss&d=CwMGaQ&c=djjh8EKwHtOepW4Bjau0lKhLlu-DxM1dlgP0rrLsOzY&r=LPDewt1Z4o9eKc86MXmhqX-45Cz1yz1ylYELF9olLKU&m=Tpe4SZ_1FVcZKlLQ9tq9V7fIAidT34vMVKPHS97tiSc&s=CEf2AMIDRUD_XeAA8cqtX6bFc7rnTTOgq7-mx5_dl44&e=" style="color: purple; text-decoration: underline;" class="">http://gpfsug.org/mailman/listinfo/gpfsug-discuss</a><o:p class=""></o:p></div>

</div>

</blockquote>

</div>

<div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman';" class="">

 <o:p class=""></o:p></div>

</div>

</div>

<span style="font-family: Helvetica; font-size: 14px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: auto; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: auto; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: rgb(255, 255, 255); float: none; display: inline !important;" class="">_______________________________________________</span><br style="font-family: Helvetica; font-size: 14px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: auto; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: auto; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: rgb(255, 255, 255);" class="">

<span style="font-family: Helvetica; font-size: 14px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: auto; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: auto; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: rgb(255, 255, 255); float: none; display: inline !important;" class="">gpfsug-discuss

 mailing list</span><br style="font-family: Helvetica; font-size: 14px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: auto; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: auto; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: rgb(255, 255, 255);" class="">

<span style="font-family: Helvetica; font-size: 14px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: auto; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: auto; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: rgb(255, 255, 255); float: none; display: inline !important;" class="">gpfsug-discuss

 at<span class="Apple-converted-space"> </span></span><a href="http://spectrumscale.org/" style="color: purple; text-decoration: underline; font-family: Helvetica; font-size: 14px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: auto; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: auto; word-spacing: 0px; -webkit-text-size-adjust: auto; -webkit-text-stroke-width: 0px; background-color: rgb(255, 255, 255);" class="">spectrumscale.org</a><br style="font-family: Helvetica; font-size: 14px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: auto; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: auto; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: rgb(255, 255, 255);" class="">

<a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss" style="color: purple; text-decoration: underline; font-family: Helvetica; font-size: 14px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: auto; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: auto; word-spacing: 0px; -webkit-text-size-adjust: auto; -webkit-text-stroke-width: 0px; background-color: rgb(255, 255, 255);" class="">http://gpfsug.org/mailman/listinfo/gpfsug-discuss</a><br style="font-family: Helvetica; font-size: 14px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: auto; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: auto; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: rgb(255, 255, 255);" class="">

</div>

</blockquote>

</div>

<br class="">

</div>

</body>

</html>