<div class="socmaildefaultfont" dir="ltr" style="font-family:Arial, Helvetica, sans-serif;font-size:10.5pt" ><div dir="ltr" >The problem here is a combination of a few things:</div>
<div dir="ltr" > </div>
<div dir="ltr" >1) As mentioned below, user and group names in Active Directory are case-insensitive and case-preserving.</div>
<div dir="ltr" > </div>
<div dir="ltr" >2) POSIX user and group names on the other hand are case-insensitive and case-preserving. winbindd handles this case by always converting names to lower-case, which also provides a consistent view through the POSIX interfaces. Otherwise there could be side-effects when different versions are used to access the same group (e.g. group1 and Group1).</div>
<div dir="ltr" > </div>
<div dir="ltr" >3) NFSv4 uses user and group names over the wire. I might be missing details, and there are also setups where uids and gids are used.</div>
<div dir="ltr" > </div>
<div dir="ltr" >The basic problem is the mismatch beween Active Directory and POSIX. If the names are treated differently on NFS client and server, then NFS client and server cannot refer to the same user or group.</div>
<div dir="ltr" > </div>
<div dir="ltr" >The workarounds are all valid. If we should look into improving this for Scale, the best approach would be filing a RFE to request better handling of the usecase of using NFS with AD.</div>
<div dir="ltr" ><br>Regards,</div>
<div dir="ltr" ><div class="socmaildefaultfont" dir="ltr" style="font-family:Arial;font-size:10.5pt" ><div dir="ltr" ><br><font size="2" face="Default Sans Serif,Verdana,Arial,Helvetica,sans-serif" ><font face="Default Sans Serif,Verdana,Arial,Helvetica,sans-serif" >Christof Schmitt || IBM || Spectrum Scale Development || Tucson, AZ<br>christof.schmitt@us.ibm.com  ||  +1-520-799-2469    (T/L: 321-2469)</font></font></div></div></div>
<div dir="ltr" > </div>
<div dir="ltr" > </div>
<blockquote data-history-content-modified="1" dir="ltr" style="border-left:solid #aaaaaa 2px; margin-left:5px; padding-left:5px; direction:ltr; margin-right:0px" >----- Original message -----<br>From: Andreas Mattsson <andreas.mattsson@maxiv.lu.se><br>Sent by: gpfsug-discuss-bounces@spectrumscale.org<br>To: gpfsug main discussion list <gpfsug-discuss@spectrumscale.org><br>Cc:<br>Subject: Re: [gpfsug-discuss] Strange timestamp behaviour on NFS via CES<br>Date: Thu, Sep 21, 2017 5:09 AM<br> 
<div dir="ltr" id="divtagdefaultwrapper" style="font-size:12pt;color:#000000;font-family:Calibri,Arial,Helvetica,sans-serif;" ><div dir="ltr" id="divtagdefaultwrapper" style="font-size:12pt;color:#000000;font-family:Calibri,Arial,Helvetica,sans-serif;" ><p><span style="font-size: 12pt;" >Since I solved this old issue a long time ago</span><span style="font-size: 12pt;" >, I'd thought I'd come back and report the solution in case someone else encounters similar problems in the future.</span></p>
<p> </p>
<p> </p>
<p>Original problem reported by users:</p>
<p>Copying files between folders on NFS exports from a CES server gave random timestamps on the files.  Also, apart from the initial reported problem, there where issues where users sometimes couldn't change or delete files that they where owners of.</p>
<p> </p>
<p><span style="font-size: 12pt;" >Background</span><span style="font-size: 12pt;" >:</span></p>
<p>We have a Active Directory with RFC2307 posix attributes populated, and use the built in Winbind-based AD authentication with RFC2307 ID mapping of our Spectrum Scale CES protocol servers.</p>
<p>All our Linux clients and servers are also AD integrated, using Nslcd and nss-pam-ldapd.</p>
<p> </p>
<p><span style="font-size: 12pt;" >Trigger:</span></p>
<p>If a user was part of a AD group with a mixed case name, and this group gave access to a folder, and the NFS mount was done using NFSv4, the behavior in my original post occurred when copying or changing files in that folder.</p>
<p> </p>
<p>Cause:</p>
<p> </p>
<p style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 16px;" ><span style="font-size: 12pt;" >Active Directory handle LDAP-requests case insensitive, but results are returned with case retained</span><span style="font-size: 12pt;" >.</span></p>
<p style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 16px;" >Winbind and SSSD-AD converts groups and usernames to lower case. Nslcd retains case.</p>
<p style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 16px;" >We run NFS with managed GIDs. Managed GIDs in NFSv3 seems to be handled case insensitive, or to ignore the actual group name after it has resolved the GID-number of the group, while NFSv4 seems to handle group names case sensitive and check the actual group name for certain operations even if the GID-number matches.</p>
<p style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 16px;" >Don't fully understand the mechanism behind why certain file operations would work but others not, but in essence a user would be part of a group called "UserGroup" with GID-number 1234 in AD and on the client, but would be part of a group called "usergroup" with GID-number 1234 on the CES server.</p>
<p> </p>
<p>Any operation that's authorized on the GID-number, or a case insensitive lookup of the group name, would work. Any operation authorized by a case sensitive group lookup would fail.</p>
<p> </p>
<p>Three different workarounds where found to work:</p>
<p>1. Rename groups and users to lower case in AD</p>
<p>2. Change from Nslcd to either SSSD or Winbind on the clients</p>
<p>3. Change from NFSv4 to NFSv3 when mounting NFS</p>
<p> </p>
<p>Remember to clear ID-mapping caches.</p>
<p> </p>
<p>Regards,</p>
<p>Andreas</p>
<div id="Signature" ><div style="font-family:Tahoma; font-size:13px" ><div style="font-family:Tahoma; font-size:13px" > </div>
<div style="font-family:Tahoma; font-size:13px" ><span><font color="#888888" >___________________________________<br><a href="https://urldefense.proofpoint.com/v2/url?u=https-3A__www.maxlab.lu.se&d=DwMF-g&c=jf_iaSHvJObTbx-siA1ZOg&r=5Nn7eUPeYe291x8f39jKybESLKv_W_XtkTkS8fTR-NI&m=q-edR7Q_O5Y_sfI9p8sqvP50dSkN5_YUYqwPB_bcwgU&s=4T4ctwvvnuzas-IYmqiFmp-QLzgirEihod8nqtYF3r8&e=" id="LPNoLP" tabindex="-1" target="_blank" ><img s_org_src="https://mail.google.com/mail/u/0/?ui=2&ik=b0a6f02971&view=att&th=14618fab2daf0e10&attid=0.1.1&disp=emb&zw&atsh=1" style="border-style: none; user-select: none;" width="130" ></a><br><br><font size="3" ><b>Andreas Mattsson</b><br><font size="2" >System Engineer<br><br><span>MAX</span> IV Laboratory<br>Lund University<br>Tel: <a href="tel:%2B46-706-649544" id="LPNoLP" target="_blank" ><font color="3366FF" >+46-706-649544</font></a><br>E-mail: <a href="mailto:andreas.mattsson@maxlab.lu.se" id="LPNoLP" target="_blank" ><font color="3366FF" >andreas.mattsson@maxlab.lu.se</font></a></font></font></font></span><br> </div></div></div></div>
<hr style="display:inline-block;width:98%" tabindex="-1" ><div dir="ltr" id="divRplyFwdMsg" ><font style="font-size:11pt" face="Calibri, sans-serif" color="#000000" ><b>Från:</b> gpfsug-discuss-bounces@spectrumscale.org <gpfsug-discuss-bounces@spectrumscale.org> för Stephen Ulmer <ulmer@ulmer.org><br><b>Skickat:</b> den 3 februari 2017 14:35:21<br><b>Till:</b> gpfsug main discussion list<br><b>Ämne:</b> Re: [gpfsug-discuss] Strange timestamp behaviour on NFS via CES</font>
<div> </div></div>
<div>Does the cp actually complete? As in, does it copy all of the blocks?  What’s the exit code?
<div> </div>
<div>A cp’d file should have  “new” metadata. That is, it should have it’s own dates, owners, etc. (not necessarily copied from the source file).</div>
<div> </div>
<div>I ran ‘strace cp foo1 foo2’, and it was pretty instructive, maybe that would get you more info. On CentOS strace is in it’s own package, YMMV.</div>
<div> 
<div><div><div>-- <br>Stephen<br><br> </div></div></div> 

<div><blockquote type="cite" ><div>On Feb 3, 2017, at 8:19 AM, Andreas Mattsson <<a href="mailto:andreas.mattsson@maxiv.lu.se" target="_blank" >andreas.mattsson@maxiv.lu.se</a>> wrote:</div> 

<div><div><div style="margin: 0cm 0cm 0.0001pt; font-size: 12pt; font-family: 'Times New Roman', serif;" ><span style="font-size: 11pt; font-family: Calibri, sans-serif; color: rgb(31, 73, 125);" >That works.<o:p></o:p></span></div>
<div style="margin: 0cm 0cm 0.0001pt; font-size: 12pt; font-family: 'Times New Roman', serif;" ><span style="font-size: 11pt; font-family: Calibri, sans-serif; color: rgb(31, 73, 125);" ><o:p> </o:p></span></div>
<div style="margin: 0cm 0cm 0.0001pt; font-size: 12pt; font-family: 'Times New Roman', serif;" ><span style="font-size: 11pt; font-family: Calibri, sans-serif; color: rgb(31, 73, 125);" lang="EN-US" >’touch test100’<o:p></o:p></span></div>
<div style="margin: 0cm 0cm 0.0001pt; font-size: 12pt; font-family: 'Times New Roman', serif;" ><span style="font-size: 11pt; font-family: Calibri, sans-serif; color: rgb(31, 73, 125);" lang="EN-US" ><o:p> </o:p></span></div>
<div style="margin: 0cm 0cm 0.0001pt; font-size: 12pt; font-family: 'Times New Roman', serif;" ><span style="font-size: 11pt; font-family: Calibri, sans-serif; color: rgb(31, 73, 125);" lang="EN-US" >Feb 3 14:16 test100<o:p></o:p></span></div>
<div style="margin: 0cm 0cm 0.0001pt; font-size: 12pt; font-family: 'Times New Roman', serif;" ><span style="font-size: 11pt; font-family: Calibri, sans-serif; color: rgb(31, 73, 125);" lang="EN-US" ><o:p> </o:p></span></div>
<div style="margin: 0cm 0cm 0.0001pt; font-size: 12pt; font-family: 'Times New Roman', serif;" ><span style="font-size: 11pt; font-family: Calibri, sans-serif; color: rgb(31, 73, 125);" lang="EN-US" >‘cp test100 test101’<o:p></o:p></span></div>
<div style="margin: 0cm 0cm 0.0001pt; font-size: 12pt; font-family: 'Times New Roman', serif;" ><span style="font-size: 11pt; font-family: Calibri, sans-serif; color: rgb(31, 73, 125);" lang="EN-US" ><o:p> </o:p></span></div>
<div style="margin: 0cm 0cm 0.0001pt; font-size: 12pt; font-family: 'Times New Roman', serif;" ><span style="font-size: 11pt; font-family: Calibri, sans-serif; color: rgb(31, 73, 125);" lang="EN-US" >Feb 3 14:16 test100<o:p></o:p></span></div>
<div style="margin: 0cm 0cm 0.0001pt; font-size: 12pt; font-family: 'Times New Roman', serif;" ><span style="font-size: 11pt; font-family: Calibri, sans-serif; color: rgb(31, 73, 125);" lang="EN-US" >Apr 21 2027 test101<o:p></o:p></span></div>
<div style="margin: 0cm 0cm 0.0001pt; font-size: 12pt; font-family: 'Times New Roman', serif;" ><span style="font-size: 11pt; font-family: Calibri, sans-serif; color: rgb(31, 73, 125);" lang="EN-US" ><o:p> </o:p></span></div>
<div style="margin: 0cm 0cm 0.0001pt; font-size: 12pt; font-family: 'Times New Roman', serif;" ><span style="font-size: 11pt; font-family: Calibri, sans-serif; color: rgb(31, 73, 125);" lang="EN-US" >‘touch –r test100 test101’<o:p></o:p></span></div>
<div style="margin: 0cm 0cm 0.0001pt; font-size: 12pt; font-family: 'Times New Roman', serif;" ><span style="font-size: 11pt; font-family: Calibri, sans-serif; color: rgb(31, 73, 125);" lang="EN-US" ><o:p> </o:p></span></div>
<div style="margin: 0cm 0cm 0.0001pt; font-size: 12pt; font-family: 'Times New Roman', serif;" ><span style="font-size: 11pt; font-family: Calibri, sans-serif; color: rgb(31, 73, 125);" lang="EN-US" >Feb 3 14:16 test100<o:p></o:p></span></div>
<div style="margin: 0cm 0cm 0.0001pt; font-size: 12pt; font-family: 'Times New Roman', serif;" ><span style="font-size: 11pt; font-family: Calibri, sans-serif; color: rgb(31, 73, 125);" lang="EN-US" >Feb 3 14:16 test101<o:p></o:p></span></div>
<div style="margin: 0cm 0cm 0.0001pt; font-size: 12pt; font-family: 'Times New Roman', serif;" ><span style="font-size: 11pt; font-family: Calibri, sans-serif; color: rgb(31, 73, 125);" lang="EN-US" ><o:p> </o:p></span></div>
<div style="margin: 0cm 0cm 0.0001pt; font-size: 12pt; font-family: 'Times New Roman', serif;" ><span style="font-size: 11pt; font-family: Calibri, sans-serif; color: rgb(31, 73, 125);" lang="EN-US" >/Andreas<o:p></o:p></span></div>
<div style="margin: 0cm 0cm 0.0001pt; font-size: 12pt; font-family: 'Times New Roman', serif;" ><span style="font-size: 11pt; font-family: Calibri, sans-serif; color: rgb(31, 73, 125);" lang="EN-US" ><o:p> </o:p></span></div>
<div style="margin: 0cm 0cm 0.0001pt 65.2pt; font-size: 12pt; font-family: 'Times New Roman', serif;" ><span lang="EN-US" ><o:p> </o:p></span></div>
<div><div style="margin: 0cm 0cm 0.0001pt 65.2pt; font-size: 12pt; font-family: 'Times New Roman', serif;" ><span lang="EN-US" >That’s a cool one. :)<o:p></o:p></span></div></div>
<div><div style="margin: 0cm 0cm 0.0001pt 65.2pt; font-size: 12pt; font-family: 'Times New Roman', serif;" ><span lang="EN-US" ><o:p> </o:p></span></div></div>
<div style="margin: 0cm 0cm 0.0001pt 65.2pt; font-size: 12pt; font-family: 'Times New Roman', serif;" >What if you use the "random date" file as a time reference to touch another file (like, 'touch -r file02 file03’)?<o:p></o:p></div>
<div><div style="margin: 0cm 0cm 0.0001pt 65.2pt; font-size: 12pt; font-family: 'Times New Roman', serif;" ><o:p> </o:p></div></div>
<div><div><div><p style="margin: 0cm 0cm 12pt 65.2pt; font-size: 12pt; font-family: 'Times New Roman', serif;" ><span style="" >-- <br>Stephen<br><br><o:p></o:p></span></p></div></div></div>
<div style="margin: 0cm 0cm 0.0001pt 65.2pt; font-size: 12pt; font-family: 'Times New Roman', serif;" ><o:p> </o:p></div>
<div><blockquote style="margin-top: 5pt; margin-bottom: 5pt;" ><div><div style="margin: 0cm 0cm 0.0001pt 65.2pt; font-size: 12pt; font-family: 'Times New Roman', serif;" >On Feb 3, 2017, at 7:46 AM, Andreas Mattsson <<a href="mailto:andreas.mattsson@maxiv.lu.se" style="color: purple; text-decoration: underline;" target="_blank" >andreas.mattsson@maxiv.lu.se</a>> wrote:<o:p></o:p></div></div>
<div style="margin: 0cm 0cm 0.0001pt 65.2pt; font-size: 12pt; font-family: 'Times New Roman', serif;" ><o:p> </o:p></div>
<div><div><div style="margin: 0cm 0cm 0.0001pt 65.2pt; font-size: 12pt; font-family: 'Times New Roman', serif;" ><span style="font-size: 11pt; font-family: Calibri, sans-serif;" lang="EN-GB" >I’m having some really strange timestamp behaviour when doing file operations on NFS mounts shared via CES on spectrum scale 4.2.1.1</span><span style="font-size: 11pt; font-family: Calibri, sans-serif;" ><o:p></o:p></span></div></div>
<div><div style="margin: 0cm 0cm 0.0001pt 65.2pt; font-size: 12pt; font-family: 'Times New Roman', serif;" ><span style="font-size: 11pt; font-family: Calibri, sans-serif;" lang="EN-US" >The NFS clients are up to date Centos and Debian machines.</span><span style="font-size: 11pt; font-family: Calibri, sans-serif;" ><o:p></o:p></span></div></div>
<div><div style="margin: 0cm 0cm 0.0001pt 65.2pt; font-size: 12pt; font-family: 'Times New Roman', serif;" ><span style="font-size: 11pt; font-family: Calibri, sans-serif;" lang="EN-US" >All Scale servers and NFS clients have correct date and time via NTP.</span><span style="font-size: 11pt; font-family: Calibri, sans-serif;" ><o:p></o:p></span></div></div>
<div><div style="margin: 0cm 0cm 0.0001pt 65.2pt; font-size: 12pt; font-family: 'Times New Roman', serif;" ><span style="font-size: 11pt; font-family: Calibri, sans-serif;" lang="EN-US" > </span><span style="font-size: 11pt; font-family: Calibri, sans-serif;" ><o:p></o:p></span></div></div>
<div><div style="margin: 0cm 0cm 0.0001pt 65.2pt; font-size: 12pt; font-family: 'Times New Roman', serif;" ><span style="font-size: 11pt; font-family: Calibri, sans-serif;" lang="EN-US" >Creating a file, for instance ‘touch file00’, gives correct timestamp.</span><span style="font-size: 11pt; font-family: Calibri, sans-serif;" ><o:p></o:p></span></div></div>
<div><div style="margin: 0cm 0cm 0.0001pt 65.2pt; font-size: 12pt; font-family: 'Times New Roman', serif;" ><span style="font-size: 11pt; font-family: Calibri, sans-serif;" lang="EN-US" >Moving the file, ‘mv file00 file01’, gives correct timestamp</span><span style="font-size: 11pt; font-family: Calibri, sans-serif;" ><o:p></o:p></span></div></div>
<div><div style="margin: 0cm 0cm 0.0001pt 65.2pt; font-size: 12pt; font-family: 'Times New Roman', serif;" ><span style="font-size: 11pt; font-family: Calibri, sans-serif;" lang="EN-US" >Copying the file, ‘cp file01 file02’, gives a random timestamp anywhere in time, for instance Oct 12 2095 or Feb 29 1976 or something similar.</span><span style="font-size: 11pt; font-family: Calibri, sans-serif;" ><o:p></o:p></span></div></div>
<div><div style="margin: 0cm 0cm 0.0001pt 65.2pt; font-size: 12pt; font-family: 'Times New Roman', serif;" ><span style="font-size: 11pt; font-family: Calibri, sans-serif;" lang="EN-US" > </span><span style="font-size: 11pt; font-family: Calibri, sans-serif;" ><o:p></o:p></span></div></div>
<div><div style="margin: 0cm 0cm 0.0001pt 65.2pt; font-size: 12pt; font-family: 'Times New Roman', serif;" ><span style="font-size: 11pt; font-family: Calibri, sans-serif;" lang="EN-US" >This is only via NFS. Copying the file via a native gpfs-mount or via SMB gives a correct timestamp.</span><span style="font-size: 11pt; font-family: Calibri, sans-serif;" ><o:p></o:p></span></div></div>
<div><div style="margin: 0cm 0cm 0.0001pt 65.2pt; font-size: 12pt; font-family: 'Times New Roman', serif;" ><span style="font-size: 11pt; font-family: Calibri, sans-serif;" lang="EN-US" >Doing the same operation over NFS to other NFS-servers works correct, it is only when operating on the NFS-share from the Spectrum Scale CES the issue occurs.</span><span style="font-size: 11pt; font-family: Calibri, sans-serif;" ><o:p></o:p></span></div></div>
<div><div style="margin: 0cm 0cm 0.0001pt 65.2pt; font-size: 12pt; font-family: 'Times New Roman', serif;" ><span style="font-size: 11pt; font-family: Calibri, sans-serif;" lang="EN-US" > </span><span style="font-size: 11pt; font-family: Calibri, sans-serif;" ><o:p></o:p></span></div></div>
<div><div style="margin: 0cm 0cm 0.0001pt 65.2pt; font-size: 12pt; font-family: 'Times New Roman', serif;" ><span style="font-size: 11pt; font-family: Calibri, sans-serif;" lang="EN-US" >Have anyone seen this before?</span><span style="font-size: 11pt; font-family: Calibri, sans-serif;" ><o:p></o:p></span></div></div>
<div><div style="margin: 0cm 0cm 0.0001pt 65.2pt; font-size: 12pt; font-family: 'Times New Roman', serif;" ><span style="font-size: 11pt; font-family: Calibri, sans-serif;" lang="EN-US" > </span><span style="font-size: 11pt; font-family: Calibri, sans-serif;" ><o:p></o:p></span></div></div>
<div><div style="margin: 0cm 0cm 0.0001pt 65.2pt; font-size: 12pt; font-family: 'Times New Roman', serif;" ><span style="font-size: 11pt; font-family: Calibri, sans-serif;" lang="EN-US" >Regards,</span><span style="font-size: 11pt; font-family: Calibri, sans-serif;" ><o:p></o:p></span></div></div>
<div><div style="margin: 0cm 0cm 0.0001pt 65.2pt; font-size: 12pt; font-family: 'Times New Roman', serif;" ><span style="font-size: 11pt; font-family: Calibri, sans-serif;" lang="EN-US" >Andreas Mattsson</span><span style="font-size: 11pt; font-family: Calibri, sans-serif;" ><o:p></o:p></span></div></div>
<div><div style="margin: 0cm 0cm 0.0001pt 65.2pt; font-size: 12pt; font-family: 'Times New Roman', serif;" ><span lang="EN-US" >_____________________________________________</span><span style="font-size: 11pt; font-family: Calibri, sans-serif;" ><o:p></o:p></span></div></div>
<div><div style="margin: 0cm 0cm 0.0001pt 65.2pt; font-size: 12pt; font-family: 'Times New Roman', serif;" ><span style="font-size: 11pt; font-family: 'Lucida Grande';" ><image001.png></span><br><b><span style="font-size: 10pt; font-family: Calibri, sans-serif;" lang="EN-US" > <br>Andreas Mattsson</span></b><br><span style="font-size: 8pt; font-family: Calibri, sans-serif;" lang="EN-US" >Systems Engineer</span><span style="font-size: 11pt; font-family: Calibri, sans-serif;" ><o:p></o:p></span></div></div>
<div><div style="margin: 0cm 0cm 0.0001pt 65.2pt; font-size: 12pt; font-family: 'Times New Roman', serif;" ><span lang="EN-US" > </span><span style="font-size: 11pt; font-family: Calibri, sans-serif;" ><o:p></o:p></span></div></div>
<p style="margin: 0cm 0cm 12pt 65.2pt; font-size: 12pt; font-family: 'Times New Roman', serif;" ><span style="font-size: 8pt; font-family: Calibri, sans-serif;" lang="EN-US" >MAX IV Laboratory<br>Lund University</span><br><span style="font-size: 8.5pt;" lang="EN-US" >P.O. Box 118, SE-221 00 Lund, Sweden<br>Visiting address: Fotongatan 2, 225 94 Lund</span><br><span style="font-size: 8pt; font-family: Calibri, sans-serif;" lang="EN-US" >Mobile: +46 706 64 95 44</span><br><span style="font-size: 8pt; font-family: Calibri, sans-serif;" ><a href="mailto:andreas.mattsson@maxiv.se" style="color: purple; text-decoration: underline;" target="_blank" ><span lang="EN-US" >andreas.mattsson@maxiv.se</span></a></span><br><span style="font-size: 8pt; font-family: Calibri, sans-serif;" ><a href="https://urldefense.proofpoint.com/v2/url?u=http-3A__www.maxiv.se_&d=DwMF-g&c=jf_iaSHvJObTbx-siA1ZOg&r=5Nn7eUPeYe291x8f39jKybESLKv_W_XtkTkS8fTR-NI&m=q-edR7Q_O5Y_sfI9p8sqvP50dSkN5_YUYqwPB_bcwgU&s=1DVF6cxR1dpyVgX5oyEnqdgupXbcvUWtMnVBk0LhgZI&e=" style="color: purple; text-decoration: underline;" target="_blank" ><span lang="EN-US" >www.maxiv.se</span></a></span><span style="font-size: 11pt; font-family: Calibri, sans-serif;" ><o:p></o:p></span></p>
<div><div style="margin: 0cm 0cm 0.0001pt 65.2pt; font-size: 12pt; font-family: 'Times New Roman', serif;" ><span style="font-size: 11pt; font-family: Calibri, sans-serif;" lang="EN-US" > </span><span style="font-size: 11pt; font-family: Calibri, sans-serif;" ><o:p></o:p></span></div></div>
<div style="margin: 0cm 0cm 0.0001pt 65.2pt; font-size: 12pt; font-family: 'Times New Roman', serif;" ><span style="font-size: 9pt; font-family: Helvetica, sans-serif;" >_______________________________________________<br>gpfsug-discuss mailing list<br>gpfsug-discuss at<span> </span></span><a href="https://urldefense.proofpoint.com/v2/url?u=http-3A__spectrumscale.org_&d=DwMF-g&c=jf_iaSHvJObTbx-siA1ZOg&r=5Nn7eUPeYe291x8f39jKybESLKv_W_XtkTkS8fTR-NI&m=q-edR7Q_O5Y_sfI9p8sqvP50dSkN5_YUYqwPB_bcwgU&s=Vksw2EOJXW9j0uGSNAVa0jsiqJ0J67EsQYhC4zeMFfI&e=" style="color: purple; text-decoration: underline;" target="_blank" ><span style="font-size: 9pt; font-family: Helvetica, sans-serif; color: rgb(149, 79, 114);" >spectrumscale.org</span></a><br><a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss" target="_blank" >http://gpfsug.org/mailman/listinfo/gpfsug-discuss</a><o:p></o:p></div></div></blockquote></div>
<div style="margin: 0cm 0cm 0.0001pt 65.2pt; font-size: 12pt; font-family: 'Times New Roman', serif;" ><o:p> </o:p></div></div><span>_______________________________________________</span><br><span>gpfsug-discuss mailing list</span><br><span>gpfsug-discuss at<span> </span></span><a href="https://urldefense.proofpoint.com/v2/url?u=http-3A__spectrumscale.org_&d=DwMF-g&c=jf_iaSHvJObTbx-siA1ZOg&r=5Nn7eUPeYe291x8f39jKybESLKv_W_XtkTkS8fTR-NI&m=q-edR7Q_O5Y_sfI9p8sqvP50dSkN5_YUYqwPB_bcwgU&s=Vksw2EOJXW9j0uGSNAVa0jsiqJ0J67EsQYhC4zeMFfI&e=" target="_blank" >spectrumscale.org</a><br><a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss" target="_blank" >http://gpfsug.org/mailman/listinfo/gpfsug-discuss</a></div></blockquote></div></div></div></div>
<div><font size="2" face="Default Monospace,Courier New,Courier,monospace" >_______________________________________________<br>gpfsug-discuss mailing list<br>gpfsug-discuss at spectrumscale.org<br><a href="https://urldefense.proofpoint.com/v2/url?u=http-3A__gpfsug.org_mailman_listinfo_gpfsug-2Ddiscuss&d=DwICAg&c=jf_iaSHvJObTbx-siA1ZOg&r=5Nn7eUPeYe291x8f39jKybESLKv_W_XtkTkS8fTR-NI&m=q-edR7Q_O5Y_sfI9p8sqvP50dSkN5_YUYqwPB_bcwgU&s=CVaYGWC7wEFO2OFwZ0yE9TB1HhKbUu9W5rpQcQKJyog&e=" target="_blank" >https://urldefense.proofpoint.com/v2/url?u=http-3A__gpfsug.org_mailman_listinfo_gpfsug-2Ddiscuss&d=DwICAg&c=jf_iaSHvJObTbx-siA1ZOg&r=5Nn7eUPeYe291x8f39jKybESLKv_W_XtkTkS8fTR-NI&m=q-edR7Q_O5Y_sfI9p8sqvP50dSkN5_YUYqwPB_bcwgU&s=CVaYGWC7wEFO2OFwZ0yE9TB1HhKbUu9W5rpQcQKJyog&e=</a> </font></div></blockquote>
<div dir="ltr" > </div></div><BR>