<html><body><p><font size="2">Hai Zhong,</font><br><br><font size="2">Can you please help the customer with their compression related query.</font><br><br><br><font size="2">Regards, The Spectrum Scale (GPFS) team<br><br>------------------------------------------------------------------------------------------------------------------<br>If you feel that your question can benefit other users of  Spectrum Scale (GPFS), then please post it to the public IBM developerWroks Forum at <a href="https://www.ibm.com/developerworks/community/forums/html/forum?id=11111111-0000-0000-0000-000000000479">https://www.ibm.com/developerworks/community/forums/html/forum?id=11111111-0000-0000-0000-000000000479</a>. <br><br>If your query concerns a potential software error in Spectrum Scale (GPFS) and you have an IBM software maintenance contract please contact  1-800-237-5511 in the United States or your local IBM Service Center in other countries. <br><br>The forum is informally monitored as time permits and should not be used for priority messages to the Spectrum Scale (GPFS) team.</font><br><br><img width="16" height="16" src="cid:1__=0ABB0E53DFCCCD298f9e8a93df938690918c0AB@" border="0" alt="Inactive hide details for "Daniel Kidger" ---28-11-2019 20:58:12---Olaf's explanation makes excellent sense.    So is this defi"><font size="2" color="#424282">"Daniel Kidger" ---28-11-2019 20:58:12---Olaf's explanation makes excellent sense.    So is this definitely the case? ..     The now snapshot</font><br><br><font size="2" color="#5F5F5F">From:        </font><font size="2">"Daniel Kidger" <daniel.kidger@uk.ibm.com></font><br><font size="2" color="#5F5F5F">To:        </font><font size="2">gpfsug-discuss@spectrumscale.org</font><br><font size="2" color="#5F5F5F">Cc:        </font><font size="2">gpfsug-discuss@spectrumscale.org</font><br><font size="2" color="#5F5F5F">Date:        </font><font size="2">28-11-2019 20:58</font><br><font size="2" color="#5F5F5F">Subject:        </font><font size="2">[EXTERNAL] Re: [gpfsug-discuss] Compression question</font><br><font size="2" color="#5F5F5F">Sent by:        </font><font size="2">gpfsug-discuss-bounces@spectrumscale.org</font><br><hr width="100%" size="2" align="left" noshade style="color:#8091A5; "><br><br><br><font size="2" face="Arial">Olaf's explanation makes excellent sense.<br> </font><br><font size="2" face="Arial">So is this definitely the case? ..</font><br><font size="2" face="Arial">    The now snapshotted inode is not updated when a live file is compressed, as it point to the current inode which itself has compressed blocks (and the compressed flag set). </font><br><font size="2" face="Arial"> </font><br><font size="2" face="Arial">And likewise for deeper (older) snapshots.</font><br>sDaniel<br> <br><font color="#19A9F3" face="Helvetica Neue">_________________________________________________________</font><b><font size="2" color="#808080" face="Arial"><br>Daniel Kidger</font></b><br><font size="1" color="#121212" face="Arial">IBM Technical Sales Specialist</font><br><font size="1" color="#121212" face="Arial">Spectrum Scale, Spectrum NAS and IBM Cloud Object Store<br></font><font size="1" color="#121212" face="Arial"><br>+</font><font size="2" face="Verdana">44-(0)7818 522 266 </font><font size="1" color="#5F5F5F" face="Arial"><br>daniel.kidger@uk.ibm.com</font><font face="Arial"> </font><table border="0" cellspacing="0" cellpadding="0"><tr valign="top"><td width="86" valign="middle"><a href="https://www.youracclaim.com/badges/687cf790-fe65-4a92-b129-d23ae41862ac/public_url" target="_blank"></a></td><td width="86" valign="middle"><a href="https://www.youracclaim.com/badges/8153c6a7-3e02-40be-87ee-24e27ae9459c/public_url" target="_blank"></a></td><td width="86" valign="middle"><a href="https://www.youracclaim.com/badges/78197e2c-4277-4ec9-808b-ad6abe1e1b16/public_url" target="_blank"></a></td></tr></table><font face="Arial"> </font><br><font size="2" face="Arial"> </font><br><font size="2" face="Arial"> </font><br><font size="2" face="Arial">----- Original message -----<br>From: "Olaf Weiser" <olaf.weiser@de.ibm.com><br>Sent by: gpfsug-discuss-bounces@spectrumscale.org<br>To: gpfsug main discussion list <gpfsug-discuss@spectrumscale.org><br>Cc:<br>Subject: [EXTERNAL] Re: [gpfsug-discuss] Compression question<br>Date: Thu, Nov 28, 2019 15:01<br> <br><br></font><font size="2"><br>Hi Alex, <br>not 100% sure about my answer.. but so far as I see it.. it is working, because of the so called "dito resolution " .. In the snaphost's inode .. die pointer to the DA's point the the next (more recent) inode information .. <br>so accessing a file in a snapshot- "redirects" the request to the origin inode - and there ..the information about compression is given and points to the origin DA</font><font size="2" face="Arial"><br></font><font size="2"><br>(of course.. only as long nobody changed the file since the snapshot was taken)</font><font size="2" face="Arial"><br><br><br><br></font><font size="1" color="#5F5F5F"><br>From:        </font><font size="1">"Alexander Wolf" <A.Wolf-Reber@de.ibm.com></font><font size="1" color="#5F5F5F"><br>To:        </font><font size="1">gpfsug-discuss@spectrumscale.org</font><font size="1" color="#5F5F5F"><br>Date:        </font><font size="1">11/28/2019 07:03 AM</font><font size="1" color="#5F5F5F"><br>Subject:        </font><font size="1">[EXTERNAL] Re: [gpfsug-discuss] Compression question</font><font size="1" color="#5F5F5F"><br>Sent by:        </font><font size="1">gpfsug-discuss-bounces@spectrumscale.org</font><font size="2" face="Arial"> </font><hr width="100%" size="2" align="left" noshade><font size="2" face="Arial"><br><br></font><font size="2" face="Arial"><br>I see the same behavior of mmlsattr on my system (with some post 5.0.4 development build). Funny enough if I look at the file content in the snapshot it gets properly decompressed.<br> <br>Mit freundlichen Grüßen / Kind regards</font><font size="2" face="Arial"> </font><p><img src="cid:2__=0ABB0E53DFCCCD298f9e8a93df938690918c0AB@" width="605" height="23"><p><font size="2" face="Arial"> </font><p><table border="0" cellspacing="0" cellpadding="0"><tr valign="top"><td width="202" valign="middle"><img src="cid:3__=0ABB0E53DFCCCD298f9e8a93df938690918c0AB@" width="201" height="51" alt="IBM Spectrum Scale"><font size="2"><br> </font></td><td width="31" valign="middle">     </td><td width="458" valign="middle"><b><font face="Arial">Dr. Alexander Wolf-Reber</font></b><font size="1" face="Arial"><br>Spectrum Scale Release Lead Architect<br>Department M069 / Spectrum Scale Software Development<br><br>+49-160-90540880<br>a.wolf-reber@de.ibm.com</font></td></tr></table><font size="2" face="Arial"><br></font><img src="cid:2__=0ABB0E53DFCCCD298f9e8a93df938690918c0AB@" width="605" height="23"><u><font size="2" color="#0000FF" face="Arial"><br></font></u><a href="https://www.ibm.com/privacy/us/en/" target="_blank"><u><font size="2" color="#0000FF" face="Arial">IBM Data Privacy Statement</font></u></a><font size="2" face="Arial"> </font><p><font size="1" color="#A2A2A2" face="Arial">IBM Deutschland Research & Development GmbH / Vorsitzende des Aufsichtsrats: Matthias Hartmann / Geschäftsführung: Dirk Wittkopp<br>Sitz der Gesellschaft: Böblingen / Registergericht: Amtsgericht Stuttgart, HRB 243294</font><p><font size="2" face="Arial"> <br> <br>----- Original message -----<br>From: "Luis Bolinches" <luis.bolinches@fi.ibm.com><br>Sent by: gpfsug-discuss-bounces@spectrumscale.org<br>To: "gpfsug main discussion list" <gpfsug-discuss@spectrumscale.org><br>Cc:<br>Subject: [EXTERNAL] Re: [gpfsug-discuss] Compression question<br>Date: Thu, Nov 28, 2019 14:00<br><br>Which version are you running? <br> <br>I was involved on a big for compressed file sets and snapshots that were related to what you see.<br> <br>-- <br>Cheers<br>  <br>On 28. Nov 2019, at 14.57, Cregan, Bob <b.cregan@imperial.ac.uk> wrote:</font><font size="2" face="Arial"><br><br></font><font face="Calibri"><br>Hi <br>      Sounds logical - except the snap metadata does not have the compression flag set. So if the inode now points to a set of compressed blocks how does the client know to decompress it?<br> <br>After compression of an existing file we get in the snap<br> <br>-bash-4.2$ mmlsattr -L .snapshots/@GMT-2019.11.27-19.30.14/UserGuide_13.06.pdf<br>file name:            .snapshots/@GMT-2019.11.27-19.30.14/UserGuide_13.06.pdf<br>metadata replication: 2 max 2<br>data replication:     1 max 3<br>immutable:            no<br>appendOnly:           no<br>flags:                <br>storage pool name:    sata1<br>fileset name:         userdirs<br>snapshot name:        @GMT-2019.11.27-19.30.14<br>creation time:        Tue Mar  5 16:16:40 2019<br>Misc attributes:      ARCHIVE<br>Encrypted:            no</font><p><font face="Calibri"> <br> and the original file is definitely compressed.<br> <br>-bash-4.2$ mmlsattr -L UserGuide_13.06.pdf <br>file name:            UserGuide_13.06.pdf<br>metadata replication: 2 max 2<br>data replication:     1 max 3<br>immutable:            no<br>appendOnly:           no<br>flags:                <br>storage pool name:    sata1<br>fileset name:         userdirs<br>snapshot name:        <br>creation time:        Tue Mar  5 16:16:40 2019<br>Misc attributes:      ARCHIVE COMPRESSION (library z)<br>Encrypted:            no</font><p><font face="Calibri">Bob<br> <br> <br> <br> </font><b><font size="2" color="#0082BF" face="Arial"><br>Bob Cregan</font></b><font size="2" face="Arial"><br>HPC Systems Analyst<br>Information & Communication Technologies<br>Imperial College London,<br>South Kensington Campus London, SW7 2AZ<br>T: 07712388129<br>E: b.cregan@imperial.ac.uk<br>W: </font><a href="http://www.imperial.ac.uk/ict/rcs" target="_blank"><u><font size="2" color="#0000FF" face="Arial">www.imperial.ac.uk/ict/rcs</font></u></a><font color="#2F2F2F" face="Times New Roman"><br> </font><p><font face="Calibri"><Outlook-1505984389.png><br> </font><font size="2" face="Arial">@imperialRCS @imperialRSE</font><font face="Calibri"> </font><p><font face="Calibri"> </font><font color="#2F2F2F" face="Times New Roman"><br> </font><p><font face="Calibri"><Outlook-1505983882.png><br>  </font><p><font face="Calibri"> </font><font color="#2F2F2F" face="Times New Roman"><br> </font><p><font face="Calibri">  <br> <br> </font><p><font size="2" face="Arial"> </font><p><hr width="100%" size="2" align="left"><b><font size="2" face="Calibri"><br>From:</font></b><font size="2" face="Calibri"> gpfsug-discuss-bounces@spectrumscale.org <gpfsug-discuss-bounces@spectrumscale.org> on behalf of Daniel Kidger <daniel.kidger@uk.ibm.com></font><b><font size="2" face="Calibri"><br>Sent:</font></b><font size="2" face="Calibri"> 28 November 2019 12:30</font><b><font size="2" face="Calibri"><br>To:</font></b><font size="2" face="Calibri"> gpfsug-discuss@spectrumscale.org <gpfsug-discuss@spectrumscale.org></font><b><font size="2" face="Calibri"><br>Cc:</font></b><font size="2" face="Calibri"> gpfsug-discuss@spectrumscale.org <gpfsug-discuss@spectrumscale.org></font><b><font size="2" face="Calibri"><br>Subject:</font></b><font size="2" face="Calibri"> Re: [gpfsug-discuss] Compression question</font><font size="2" face="Arial"><br> </font><font size="2" face="Arial"> </font><table border="1"><tr valign="top"><td width="628" bgcolor="#FFFFCC" valign="middle"><font size="2" color="#FF0000" face="Arial">Caution </font><font size="2" face="Arial">- This email from daniel.kidger@uk.ibm.com originated outside Imperial </font></td></tr></table><font size="2" face="Arial"> </font><p><font size="1" face="Arial">Alexander,<br> <br>Can you then confirm then that the inodes in the snapshot will now point to fewer but compressed blocks ?<br>Daniel<br> </font><font color="#00BFFF" face="Arial"><br>_________________________________________________________</font><b><font size="2" color="#808080" face="Arial"><br>Daniel Kidger</font></b><font size="1" face="Arial"><br>IBM Technical Sales Specialist<br>Spectrum Scale, Spectrum NAS and IBM Cloud Object Store</font><font size="2" face="Arial"><br></font><font size="1" face="Arial"><br>+</font><font size="1" color="#5F5F5F" face="Verdana">44-(0)7818 522 266 </font><font size="1" color="#5F5F5F" face="Arial"><br>daniel.kidger@uk.ibm.com</font><font size="2" face="Arial"> </font><p><table border="0" cellspacing="0" cellpadding="0"><tr valign="top"><td width="86" valign="middle"> </td><td width="86" valign="middle"> </td><td width="86" valign="middle"> </td></tr></table><font size="2" face="Arial"><br> </font><font size="1" face="Arial"><br> <br> <br>----- Original message -----<br>From: "Alexander Wolf" <A.Wolf-Reber@de.ibm.com><br>Sent by: gpfsug-discuss-bounces@spectrumscale.org<br>To: gpfsug-discuss@spectrumscale.org<br>Cc:<br>Subject: [EXTERNAL] Re: [gpfsug-discuss] Compression question<br>Date: Thu, Nov 28, 2019 12:21<br> </font><font size="2" face="Arial"><br>I just tested this. Compressing a file did free up space in the file system. Looks like our compression code does not trigger COW on the snapshot. You can test this yourself by looking into mmlssnapshot -d (please not on a large production fs, this command is expensive).<br> <br>Mit freundlichen Grüßen / Kind regards</font><font size="2" face="Arial"> </font><p><font size="2" face="Arial"> </font><p><font size="2"><Image.15749424191280.png></font><p><font size="2" face="Arial"> </font><p><font size="2" face="Arial"> </font><p><table border="0" cellspacing="0" cellpadding="0"><tr valign="top"><td width="228" valign="middle"><font size="2"><Image.15749424191281.png><br> </font></td><td width="31" valign="middle">     </td><td width="459" valign="middle"><b><font face="Arial">Dr. Alexander Wolf-Reber</font></b><font size="1" face="Arial"><br>Spectrum Scale Release Lead Architect<br>Department M069 / Spectrum Scale Software Development<br><br>+49-160-90540880<br>a.wolf-reber@de.ibm.com</font></td></tr></table><font size="2"><br><Image.15749424191282.png></font><u><font size="2" color="#0000FF" face="Arial"><br></font></u><a href="https://www.ibm.com/privacy/us/en/" target="_blank"><u><font size="2" color="#0000FF" face="Arial">IBM Data Privacy Statement</font></u></a><font size="2" face="Arial"> </font><p><font size="1" color="#A2A2A2" face="Arial">IBM Deutschland Research & Development GmbH / Vorsitzende des Aufsichtsrats: Matthias Hartmann / Geschäftsführung: Dirk Wittkopp<br>Sitz der Gesellschaft: Böblingen / Registergericht: Amtsgericht Stuttgart, HRB 243294</font><p><font size="2" face="Arial"> <br> <br>----- Original message -----<br>From: "Luis Bolinches" <luis.bolinches@fi.ibm.com><br>Sent by: gpfsug-discuss-bounces@spectrumscale.org<br>To: gpfsug-discuss@spectrumscale.org<br>Cc: gpfsug-discuss@spectrumscale.org<br>Subject: [EXTERNAL] Re: [gpfsug-discuss] Compression question<br>Date: Thu, Nov 28, 2019 11:47<br> <br>Hi<br> <br>Same principle COW. The data blocks do not get modified.</font><b><font size="2" color="#80803F" face="Arial"><br>--<br>Ystävällisin terveisin / Kind regards / Saludos cordiales / Salutations / Salutacions<br>Luis Bolinches<br>Consultant IT Specialist<br>Mobile Phone: +358503112585</font></b><u><font size="2" color="#0000FF" face="Arial"><br></font></u><a href="https://www.youracclaim.com/user/luis-bolinches" target="_blank"><b><u><font size="2" color="#0000FF" face="Arial">https://www.youracclaim.com/user/luis-bolinches</font></u></b></a><font size="2" face="Arial"><br></font><b><font size="2" color="#80803F" face="Arial"><br>"If you always give you will always have" --  Anonymous</font></b><font size="1" face="Arial"><br> </font><font size="2" face="Arial"><br> <br> <br>----- Original message -----<br>From: "Cregan, Bob" <b.cregan@imperial.ac.uk><br>Sent by: gpfsug-discuss-bounces@spectrumscale.org<br>To: gpfsug main discussion list <gpfsug-discuss@spectrumscale.org><br>Cc:<br>Subject: [EXTERNAL] Re: [gpfsug-discuss] Compression question<br>Date: Thu, Nov 28, 2019 12:06 PM<br> </font><font face="Calibri"><br>Just to clarify this is SS compression, so <br> <br>mmchattr --compression yes <filename><br> <br>or an ILM equivalent<br> <br>So not a regular modification.<br> <br>Bob<br> <br> <br> </font><b><font size="2" color="#0082BF" face="Arial"><br>Bob Cregan</font></b><font size="2" face="Arial"><br>HPC Systems Analyst<br>Information & Communication Technologies<br>Imperial College London,<br>South Kensington Campus London, SW7 2AZ<br>T: 07712388129<br>E: b.cregan@imperial.ac.uk<br>W: </font><a href="http://www.imperial.ac.uk/ict/rcs" target="_blank"><u><font size="2" color="#0000FF" face="Arial">www.imperial.ac.uk/ict/rcs</font></u></a><font color="#2F2F2F" face="Times New Roman"><br> </font><p><font face="Calibri"><Image.f7e9a6a7-c4ab-4a2c-a979-4513774aa054.png><br> </font><font size="2" face="Arial">@imperialRCS @imperialRSE</font><font face="Calibri"> </font><p><font face="Calibri"> </font><font color="#2F2F2F" face="Times New Roman"><br> </font><p><font face="Calibri"><Image.dbd2fd87-b9f2-4b15-903f-c74c7b7298d3.png></font><p><font face="Calibri"> </font><font color="#2F2F2F" face="Times New Roman"><br> </font><p><font face="Calibri">  <br> <br> </font><p><font size="2" face="Arial"> </font><p><hr width="100%" size="2" align="left"><b><font size="2" face="Calibri"><br>From:</font></b><font size="2" face="Calibri"> Cregan, Bob</font><b><font size="2" face="Calibri"><br>Sent:</font></b><font size="2" face="Calibri"> 28 November 2019 09:43</font><b><font size="2" face="Calibri"><br>To:</font></b><font size="2" face="Calibri"> gpfsug main discussion list <gpfsug-discuss@spectrumscale.org></font><b><font size="2" face="Calibri"><br>Subject:</font></b><font size="2" face="Calibri"> Compression question</font><font size="2" face="Arial"> <br> </font><font face="Calibri"><br>Hi All,<br>           Can someone answer the following question on compression in a snapshot context? We have tried various experiments and they are inconclusive - too tedious to go into the detail.<br> <br>What happens to the snapshot when a file is compressed in SS? The logic as I see it is <br> <br>####### In a non compressed situation ###############<br> <br>1) create a file,<br>2) create a snapshot.<br>3) modify a file in a normal way - the blocks on disk are changed and the old blocks are then written to the snap. <br> <br>######In a compressed situation ############<br> <br>1) create a file,<br>2) create a snapshot.<br>3) Compress the file. Now IBM says the blocks are rewritten when the file is compressed. So do the old uncompressed blocks go into the snap? If so we now have 2 copies of the file and unless the compression > 50%  we have used more space until the snap is deleted.<br> <br>You get the space back in the end, but if you are in a tight situation then potentially compression might not work for you in the short term.<br>Thanks<br> <br>Bob<br> <br> </font><b><font size="2" color="#0082BF" face="Arial"><br>Bob Cregan</font></b><font size="2" face="Arial"><br>HPC Systems Analyst<br>Information & Communication Technologies<br>Imperial College London,<br>South Kensington Campus London, SW7 2AZ<br>T: 07712388129<br>E: b.cregan@imperial.ac.uk<br>W: </font><a href="http://www.imperial.ac.uk/ict/rcs" target="_blank"><u><font size="2" color="#0000FF" face="Arial">www.imperial.ac.uk/ict/rcs</font></u></a><font color="#2F2F2F" face="Times New Roman"><br> </font><font size="2" face="Arial"> </font><p><font face="Calibri"><Image.ba38b5d6-12d6-476a-bcd8-7d647bfab5b3.png><br> </font><font size="2" face="Arial">@imperialRCS @imperialRSE</font><font face="Calibri"> </font><p><font face="Calibri"> </font><font color="#2F2F2F" face="Times New Roman"><br> </font><p><font face="Calibri"><Image.e34493c2-d35b-4fff-a6df-ce87e2ae5ed4.png></font><p><font face="Calibri"> </font><font color="#2F2F2F" face="Times New Roman"><br> </font><p><font face="Calibri">  <br> <br> </font><p><tt>_______________________________________________<br>gpfsug-discuss mailing list<br>gpfsug-discuss at spectrumscale.org</tt><tt><u><font color="#0000FF"><br></font></u></tt><a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss" target="_blank"><tt><u><font color="#0000FF">http://gpfsug.org/mailman/listinfo/gpfsug-discuss</font></u></tt></a><font size="2" face="Arial"><br> </font><font size="2" face="Arial"><br></font><font size="2" face="Arial"><br>Ellei edellä ole toisin mainittu: / Unless stated otherwise above:<br>Oy IBM Finland Ab<br>PL 265, 00101 Helsinki, Finland<br>Business ID, Y-tunnus: 0195876-3<br>Registered in Finland<br> </font><tt><br>_______________________________________________<br>gpfsug-discuss mailing list<br>gpfsug-discuss at spectrumscale.org</tt><tt><u><font color="#0000FF"><br></font></u></tt><a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss" target="_blank"><tt><u><font color="#0000FF">http://gpfsug.org/mailman/listinfo/gpfsug-discuss</font></u></tt></a><font size="2" face="Arial"><br> </font><font size="1" face="Arial"><br>  </font><tt><br>_______________________________________________<br>gpfsug-discuss mailing list<br>gpfsug-discuss at spectrumscale.org</tt><tt><u><font color="#0000FF"><br></font></u></tt><a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss" target="_blank"><tt><u><font color="#0000FF">http://gpfsug.org/mailman/listinfo/gpfsug-discuss</font></u></tt></a><font size="1" face="Arial"><br> </font><font size="2" face="Arial"><br>Unless stated otherwise above:<br>IBM United Kingdom Limited - Registered in England and Wales with number 741598.<br>Registered office: PO Box 41, North Harbour, Portsmouth, Hampshire PO6 3AU</font><font size="2" face="Arial"><br><br></font><font size="2" face="Arial"><br>Ellei edellä ole toisin mainittu: / Unless stated otherwise above:<br>Oy IBM Finland Ab<br>PL 265, 00101 Helsinki, Finland<br>Business ID, Y-tunnus: 0195876-3<br>Registered in Finland<br> </font><tt><br>_______________________________________________<br>gpfsug-discuss mailing list<br>gpfsug-discuss at spectrumscale.org</tt><tt><u><font color="#0000FF"><br></font></u></tt><a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss" target="_blank"><tt><u><font color="#0000FF">http://gpfsug.org/mailman/listinfo/gpfsug-discuss</font></u></tt></a><font size="2" face="Arial"><br> </font><tt><br>_______________________________________________<br>gpfsug-discuss mailing list<br>gpfsug-discuss at spectrumscale.org</tt><tt><u><font color="#0000FF"><br></font></u></tt><a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss" target="_blank"><tt><u><font color="#0000FF">http://gpfsug.org/mailman/listinfo/gpfsug-discuss</font></u></tt></a><font size="2" face="Arial"><br><br><br> </font><p><tt><font size="2">_______________________________________________<br>gpfsug-discuss mailing list<br>gpfsug-discuss at spectrumscale.org</font></tt><tt><u><font size="2" color="#0000FF"><br></font></u></tt><a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss" target="_blank"><tt><u><font size="2" color="#0000FF">http://gpfsug.org/mailman/listinfo/gpfsug-discuss</font></u></tt></a><tt><font size="2"> </font></tt><br><font size="2" face="Arial"> </font><br>Unless stated otherwise above:<br>IBM United Kingdom Limited - Registered in England and Wales with number 741598. <br>Registered office: PO Box 41, North Harbour, Portsmouth, Hampshire PO6 3AU<br><tt><font size="2">_______________________________________________<br>gpfsug-discuss mailing list<br>gpfsug-discuss at spectrumscale.org<br></font></tt><tt><font size="2"><a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss">http://gpfsug.org/mailman/listinfo/gpfsug-discuss</a></font></tt><tt><font size="2"> <br></font></tt><br><br><BR>
</body></html>