<div class="socmaildefaultfont" dir="ltr" style="font-family:Arial, Helvetica, sans-serif;font-size:9pt" ><div dir="ltr" >Jose,</div>
<div dir="ltr" >I was not considering client nodes at all.</div>
<div dir="ltr" >Under the current license models, all licenses are capacity based (in two flavours: per-TiB or per-disk), and so adding new clients is never a licensing issue. </div>
<div dir="ltr" >My point was that if you own an OEM supplied cluster from say Lenovo, you can add to that legally from many vendors , just not from IBM themselves. </div>
<div dir="ltr" >(or maybe the FAQ rules need further clarification?)</div>
<div dir="ltr" ><div class="socmaildefaultfont" dir="ltr" style="font-family:Arial, Helvetica, sans-serif;font-size:10.5pt" ><div class="socmaildefaultfont" dir="ltr" style="font-family:Arial, Helvetica, sans-serif;font-size:10.5pt" ><div class="socmaildefaultfont" dir="ltr" style="font-family:Arial, Helvetica, sans-serif;font-size:10.5pt" ><div class="socmaildefaultfont" dir="ltr" style="font-family:Arial, Helvetica, sans-serif;font-size:10.5pt" ><div class="socmaildefaultfont" dir="ltr" ><div class="socmaildefaultfont" dir="ltr" ><div class="socmaildefaultfont" dir="ltr" ><div class="socmaildefaultfont" dir="ltr" ><div class="socmaildefaultfont" dir="ltr" ><div class="socmaildefaultfont" dir="ltr" ><div class="socmaildefaultfont" dir="ltr" ><div class="socmaildefaultfont" dir="ltr" ><div class="socmaildefaultfont" dir="ltr" ><div class="socmaildefaultfont" dir="ltr" ><div class="socmaildefaultfont" dir="ltr" ><div dir="ltr" style="margin-top: 20px;" ><div style="margin-top: 10px;" ><div style="font-family: sans-serif; font-size: 8pt; margin-bottom: 0.0001pt; line-height: normal;" ><span style="font-size:1.000em;" >Daniel</span></div>
<div style="font-family: sans-serif; font-size: 8pt; margin-bottom: 0.0001pt; line-height: normal;" > </div>
<div style="margin-bottom: 0.0001pt; line-height: normal;" ><font color="#19A9F3" size="3" style="font-family: "Helvetica Neue", Helvetica, Arial, "Lucida Grande", sans-serif; font-size: 8pt; outline: none;" >_________________________________________________________</font><br style="outline: none;" ><font color="#808080" face="Arial" size="2" ><span style="caret-color: rgb(18, 18, 18);" ><b>Daniel Kidger</b></span></font></div>
<div style="margin-bottom: 0.0001pt; line-height: normal;" ><span style="outline: none; caret-color: rgb(18, 18, 18); color: rgb(18, 18, 18); font-size: 10.666666984558105px;" ><span style="outline: none; font-size: 7.5pt;" >IBM Technical Sales Specialist</span></span></div>
<div style="margin-bottom: 0.0001pt; line-height: normal;" ><span style="outline: none; caret-color: rgb(18, 18, 18); color: rgb(18, 18, 18); font-size: 10.666666984558105px;" ><span style="outline: none; font-size: 7.5pt;" >Spectrum Scale, Spectrum NAS and IBM Cloud Object Store<br style="outline: none;" ><br style="outline: none;" ><span style="font-size:0.857em;" >+</span></span></span><span style="font-size:0.857em;" ><span style="outline: none; font-family: sans-serif; color: rgb(95, 95, 95);" ><span style="outline: none; font-family: Verdana, Geneva, sans-serif;" ><span style="outline: none;" >44-(0)7818 522 266 </span></span></span></span><br style="outline: none; caret-color: rgb(18, 18, 18); color: rgb(18, 18, 18); font-family: sans-serif; font-size: 10.666666984558105px;" ><span style="outline: none; font-family: sans-serif; font-size: 10.666666984558105px; color: rgb(95, 95, 95);" ><span style="outline: none; font-family: Arial, Helvetica, sans-serif;" ><span style="outline: none; font-size: 8pt;" >daniel.kidger@uk.ibm.com</span></span></span>
<table border="0" style="border-collapse:collapse;border-color:#696969;table-layout:fixed;width:264px;word-wrap:break-word;" >        <tbody>                <tr>                        <td style="overflow: hidden; width: 88px; border-color : #696969;" ><a href="https://www.youracclaim.com/badges/687cf790-fe65-4a92-b129-d23ae41862ac/public_url" target="_blank"><img alt="" src="https://images.youracclaim.com/images/c49300ae-d13e-4071-90f5-15f59d199c9e/IBM%2BVolunteers%2BGold%2Bv6.png" style="width: 88px; height: 88px;" ></a></td>                        <td style="overflow: hidden; width: 88px; border-color : #696969;" ><a href="https://www.youracclaim.com/badges/8153c6a7-3e02-40be-87ee-24e27ae9459c/public_url" target="_blank"><img alt="" src="https://images.youracclaim.com/images/f2539224-f951-46b4-b376-b88f21c2be98/IBM-Selling-Certification---Level-1.png" style="width: 88px; height: 88px;" ></a></td>                        <td style="overflow: hidden; width: 88px; border-color : #696969;" ><a href="https://www.youracclaim.com/badges/78197e2c-4277-4ec9-808b-ad6abe1e1b16/public_url" target="_blank"><img alt="" src="https://images.youracclaim.com/images/ea52b12f-97ac-4e72-8d24-b0ced8054e7d/Storage%2BTechnical%2BV1.png" style="width: 88px; height: 88px;" ></a></td>                </tr>        </tbody></table>
<div> </div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div>
<div dir="ltr" > </div>
<div dir="ltr" > </div>
<blockquote data-history-content-modified="1" dir="ltr" style="border-left:solid #aaaaaa 2px; margin-left:5px; padding-left:5px; direction:ltr; margin-right:0px" >----- Original message -----<br>From: "José Filipe Higino" <jose.filipe.higino@gmail.com><br>Sent by: gpfsug-discuss-bounces@spectrumscale.org<br>To: gpfsug main discussion list <gpfsug-discuss@spectrumscale.org><br>Cc:<br>Subject: Re: [gpfsug-discuss] Adding ESS to existing Scale Cluster<br>Date: Fri, Apr 12, 2019 11:52 AM<br> 
<div dir="ltr" >Does not this depend on the License type...
<div> </div>
<div>Being licensed by data... gives you the ability to spin as much client nodes as possible... including to the ESS cluster right?</div></div> 

<div><div dir="ltr" >On Fri, 12 Apr 2019 at 21:38, Daniel Kidger <<a href="mailto:daniel.kidger@uk.ibm.com" target="_blank">daniel.kidger@uk.ibm.com</a>> wrote:</div>
<blockquote style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex" ><div dir="ltr" style="font-family:Arial,Helvetica,sans-serif;font-size:9pt" ><div dir="ltr" > </div>
<div dir="ltr" ><div>Yes I am aware of the FAQ, and it particular Q13.17 which says:</div>
<div> </div>
<div><strong><span style="font-size:inherit;color:rgb(50,50,50);font-family:ibm-plex-sans,"Helvetica Neue",Arial,sans-serif" >No, systems from OEM vendors are considered distinct products even when they embed IBM Spectrum Scale. They cannot be part of the same cluster as IBM licenses.</span></strong></div>
<div> </div>
<div><font color="#323232" face="ibm-plex-sans, Helvetica Neue, Arial, sans-serif" >But if this statement is taken literally, then once a customer has bought say a Lenovo GSS/DSS-G, they are then "locked-in" to buying more storage other OEM/ESA partners (Lenovo, Bull, DDN, etc.), as above statement suggests that they cannot add IBM storage such as ESS to their GPFS cluster.</font></div>
<div style="text-align:center" > </div></div>
<div dir="ltr" ><div dir="ltr" style="font-family:Arial,Helvetica,sans-serif;font-size:10.5pt" ><div dir="ltr" style="font-family:Arial,Helvetica,sans-serif;font-size:10.5pt" ><div dir="ltr" style="font-family:Arial,Helvetica,sans-serif;font-size:10.5pt" ><div dir="ltr" style="font-family:Arial,Helvetica,sans-serif;font-size:10.5pt" ><div dir="ltr" ><div dir="ltr" ><div dir="ltr" ><div dir="ltr" ><div dir="ltr" ><div dir="ltr" ><div dir="ltr" ><div dir="ltr" ><div dir="ltr" ><div dir="ltr" ><div dir="ltr" ><div dir="ltr" style="margin-top:20px" ><div style="margin-top:10px" ><div style="font-family:sans-serif;font-size:8pt;margin-bottom:0.0001pt;line-height:normal" ><span style="font-size:1em" >Daniel</span></div>
<div style="font-family:sans-serif;font-size:8pt;margin-bottom:0.0001pt;line-height:normal" > </div>
<div style="margin-bottom:0.0001pt;line-height:normal" ><font color="#19A9F3" size="3" style="font-family:"Helvetica Neue",Helvetica,Arial,"Lucida Grande",sans-serif;font-size:8pt;outline:none" >_________________________________________________________</font><br style="outline:none" ><font color="#808080" face="Arial" size="2" ><span><b>Daniel Kidger</b></span></font></div>
<div style="margin-bottom:0.0001pt;line-height:normal" ><span style="outline:none;color:rgb(18,18,18);font-size:10.6667px" ><span style="outline:none;font-size:7.5pt" >IBM Technical Sales Specialist</span></span></div>
<div style="margin-bottom:0.0001pt;line-height:normal" ><span style="outline:none;color:rgb(18,18,18);font-size:10.6667px" ><span style="outline:none;font-size:7.5pt" >Spectrum Scale, Spectrum NAS and IBM Cloud Object Store<br style="outline:none" ><br style="outline:none" ><span style="font-size:0.857em" >+</span></span></span><span style="font-size:0.857em" ><span style="outline:none;font-family:sans-serif;color:rgb(95,95,95)" ><span style="outline:none;font-family:Verdana,Geneva,sans-serif" ><span style="outline:none" >44-(0)7818 522 266 </span></span></span></span><br style="outline:none;color:rgb(18,18,18);font-family:sans-serif;font-size:10.6667px" ><span style="outline:none;font-family:sans-serif;font-size:10.6667px;color:rgb(95,95,95)" ><span style="outline:none;font-family:Arial,Helvetica,sans-serif" ><span style="outline:none;font-size:8pt" ><a href="mailto:daniel.kidger@uk.ibm.com" target="_blank">daniel.kidger@uk.ibm.com</a></span></span></span>
<table border="0" style="border-collapse:collapse;border-color:rgb(105,105,105);table-layout:fixed;width:264px" >        <tbody>                <tr>                        <td style="overflow:hidden;width:88px;border-color:rgb(105,105,105)" ><a href="https://www.youracclaim.com/badges/687cf790-fe65-4a92-b129-d23ae41862ac/public_url" tabindex="-1" target="_blank"><img alt="" s_org_src="https://images.youracclaim.com/images/c49300ae-d13e-4071-90f5-15f59d199c9e/IBM%2BVolunteers%2BGold%2Bv6.png" style="width: 88px; height: 88px;" ></a></td>                        <td style="overflow:hidden;width:88px;border-color:rgb(105,105,105)" ><a href="https://www.youracclaim.com/badges/8153c6a7-3e02-40be-87ee-24e27ae9459c/public_url" tabindex="-1" target="_blank"><img alt="" s_org_src="https://images.youracclaim.com/images/f2539224-f951-46b4-b376-b88f21c2be98/IBM-Selling-Certification---Level-1.png" style="width: 88px; height: 88px;" ></a></td>                        <td style="overflow:hidden;width:88px;border-color:rgb(105,105,105)" ><a href="https://www.youracclaim.com/badges/78197e2c-4277-4ec9-808b-ad6abe1e1b16/public_url" tabindex="-1" target="_blank"><img alt="" s_org_src="https://images.youracclaim.com/images/ea52b12f-97ac-4e72-8d24-b0ced8054e7d/Storage%2BTechnical%2BV1.png" style="width: 88px; height: 88px;" ></a></td>                </tr>        </tbody></table>
<div> </div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div>
<div dir="ltr" > </div>
<div dir="ltr" > </div>
<blockquote dir="ltr" style="border-left:2px solid rgb(170,170,170);margin-left:5px;padding-left:5px;direction:ltr;margin-right:0px" >----- Original message -----<br>From: "RICHARD RUPP" <<a href="mailto:richard.rupp@us.ibm.com" target="_blank">richard.rupp@us.ibm.com</a>><br>Sent by: <a href="mailto:gpfsug-discuss-bounces@spectrumscale.org" target="_blank">gpfsug-discuss-bounces@spectrumscale.org</a><br>To: gpfsug main discussion list <<a href="mailto:gpfsug-discuss@spectrumscale.org" target="_blank">gpfsug-discuss@spectrumscale.org</a>><br>Cc:<br>Subject: Re: [gpfsug-discuss] Adding ESS to existing Scale Cluster<br>Date: Sun, Apr 7, 2019 4:49 PM<br> 
<p><b><font color="#5F5F5F" face="Arial" >This has been publically documented in the Spectrum Scale FAQ Q13.17, Q13.18 and Q13.19.</font></b><br><br><font face="Arial" >Regards,</font><br><br><b><font face="Arial" size="4" >Richard Rupp</font></b><font face="Arial" >, </font><font face="Arial" size="4" >Sales Specialist, </font><b><font color="#466BB0" face="Arial" >Phone:</font></b><font color="#5F5F5F" face="Arial" > </font><b><font color="#5F5F5F" face="Arial" >1-347-510-6746</font></b><br><br><br><img alt="Inactive hide details for "Daniel Kidger" ---04/06/2019 10:12:12 AM---There is a non-technical issue you may need to consider." border="0" height="16" src="cid:16a111c26babd5baef61" width="16" ><font color="#424282" size="2" >"Daniel Kidger" ---04/06/2019 10:12:12 AM---There is a non-technical issue you may need to consider. IBM has set licensing rules about mixing in</font><br><br><font color="#5F5F5F" size="2" >From: </font><font size="2" >"Daniel Kidger" <<a href="mailto:daniel.kidger@uk.ibm.com" target="_blank">daniel.kidger@uk.ibm.com</a>></font><br><font color="#5F5F5F" size="2" >To: </font><font size="2" >"gpfsug main discussion list" <<a href="mailto:gpfsug-discuss@spectrumscale.org" target="_blank">gpfsug-discuss@spectrumscale.org</a>></font><br><font color="#5F5F5F" size="2" >Date: </font><font size="2" >04/06/2019 10:12 AM</font><br><font color="#5F5F5F" size="2" >Subject: </font><font size="2" >Re: [gpfsug-discuss] Adding ESS to existing Scale Cluster</font><br><font color="#5F5F5F" size="2" >Sent by: </font><font size="2" ><a href="mailto:gpfsug-discuss-bounces@spectrumscale.org" target="_blank">gpfsug-discuss-bounces@spectrumscale.org</a></font></p>
<hr align="left" size="2" style="color:rgb(128,145,165)" width="100%" ><br><br><br>There is a non-technical issue you may need to consider.<br>IBM has set licensing rules about mixing in the same Spectrum Scale cluster both ESS from IBM and 3rd party storage that is licensed under ESA/OEM (Lenovo, DDN, Bull, Pixit et al.).<br><br>I am sure Carl Zetie or other IBMers who watch this list can explain the exact restrictions.<br><br>Daniel<br><br>_________________________________________________________<br><b>Daniel Kidger</b><br>IBM Technical Sales Specialist<br>Spectrum Scale, Spectrum NAS and IBM Cloud Object Store<br><br><a href="tel:+44-7818%20522%20266" target="_blank"><u><font color="#0000FF" >+</font></u></a><a href="tel:+44-7818%20522%20266" target="_blank"><u><font color="#0000FF" >44-(0)7818 522 266</font></u></a><br><a href="mailto:daniel.kidger@uk.ibm.com" target="_blank"><u><font color="#0000FF" >daniel.kidger@uk.ibm.com</font></u></a>
<table border="0" cellpadding="0" cellspacing="0" >        <tbody>                <tr valign="top" >                        <td valign="middle" width="86" > </td>                        <td valign="middle" width="86" > </td>                        <td valign="middle" width="86" > </td>                </tr>        </tbody></table><br><br><br>On 3 Apr 2019, at 19:47, Sanchez, Paul <<a href="mailto:Paul.Sanchez@deshaw.com" target="_blank"><u><font color="#0000FF" >Paul.Sanchez@deshaw.com</font></u></a>> wrote:

<ul style="list-style-type:none" >        <li>        <ul style="list-style-type:none" >                <li>                <ul style="list-style-type:none" >                        <li>                        <ul style="list-style-type:none" >                                <li>note though you can't have GNR based vdisks (ESS/DSS-G) in the same storage pool.</li>                        </ul>                        </li>                </ul>                <br>                At one time there was definitely a warning from IBM in the docs about not mixing big-endian and little-endian GNR in the same cluster/filesystem. But at least since Nov 2017, IBM has published videos showing clusters containing both. (In my opinion, they had to support this because they changed the endian-ness of the ESS from BE to LE.)<br>                <br>                I don't know about all ancillary components (e.g. GUI) but as for Scale itself, I can confirm that filesystems can contain NSDs which are provided by ESS(BE), ESS(LE), GSS, and DSS in all combinations, along with SAN storage based NSD servers. We typically do rolling upgrades of GNR building blocks by adding blocks to an existing cluster, emptying and removing the existing blocks, upgrading those in isolation, then repeating with the next cluster. As a result, we have had every combination in play at some point in time. Care just needs to be taken with nodeclass naming and mmchconfig parameters. (We derive the correct params for each new building block from its final config after upgrading/testing it in isolation.)<br>                <br>                -Paul<br>                <br>                -----Original Message-----<br>                From: <a href="mailto:gpfsug-discuss-bounces@spectrumscale.org" target="_blank"><u><font color="#0000FF" >gpfsug-discuss-bounces@spectrumscale.org</font></u></a> <<a href="mailto:gpfsug-discuss-bounces@spectrumscale.org" target="_blank"><u><font color="#0000FF" >gpfsug-discuss-bounces@spectrumscale.org</font></u></a>> On Behalf Of Simon Thompson<br>                Sent: Wednesday, April 3, 2019 12:18 PM<br>                To: gpfsug main discussion list <<a href="mailto:gpfsug-discuss@spectrumscale.org" target="_blank"><u><font color="#0000FF" >gpfsug-discuss@spectrumscale.org</font></u></a>><br>                Subject: Re: [gpfsug-discuss] Adding ESS to existing Scale Cluster<br>                <br>                We have DSS-G (Lenovo equivalent) in the same cluster as other SAN/IB storage (IBM, DDN). But we don't have them in the same file-system.<br>                <br>                In theory as a different pool it should work, note though you can't have GNR based vdisks (ESS/DSS-G) in the same storage pool.<br>                <br>                And if you want to move to new block size or v5 variable sunblocks then you are going to have to have a new filesystem and copy data. So it depends what your endgame is really. We just did such a process and one of my colleagues is going to talk about it at the London user group in May.<br>                <br>                Simon<br>                ________________________________________<br>                From: <a href="mailto:gpfsug-discuss-bounces@spectrumscale.org" target="_blank"><u><font color="#0000FF" >gpfsug-discuss-bounces@spectrumscale.org</font></u></a> [<a href="mailto:gpfsug-discuss-bounces@spectrumscale.org" target="_blank"><u><font color="#0000FF" >gpfsug-discuss-bounces@spectrumscale.org</font></u></a>] on behalf of <a href="mailto:prasad.surampudi@theatsgroup.com" target="_blank"><u><font color="#0000FF" >prasad.surampudi@theatsgroup.com</font></u></a> [<a href="mailto:prasad.surampudi@theatsgroup.com" target="_blank"><u><font color="#0000FF" >prasad.surampudi@theatsgroup.com</font></u></a>]<br>                Sent: 03 April 2019 17:12<br>                To: <a href="mailto:gpfsug-discuss@spectrumscale.org" target="_blank"><u><font color="#0000FF" >gpfsug-discuss@spectrumscale.org</font></u></a><br>                Subject: [gpfsug-discuss] Adding ESS to existing Scale Cluster<br>                <br>                We are planning to add an ESS GL6 system to our existing Spectrum Scale cluster. Can the ESS nodes be added to existing scale cluster without changing existing cluster name? Or do we need to create a new scale cluster with ESS and import existing filesystems into the new ESS cluster?<br>                <br>                Prasad Surampudi<br>                Sr. Systems Engineer<br>                The ATS Group<br>                <br>                <br>                <br>                <br>                <br>                _______________________________________________<br>                gpfsug-discuss mailing list<br>                gpfsug-discuss at <a href="http://spectrumscale.org" target="_blank"><u><font color="#0000FF" >spectrumscale.org</font></u></a><br>                <u><font color="#0000FF" ><a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss" target="_blank">http://gpfsug.org/mailman/listinfo/gpfsug-discuss</a></font></u><br>                _______________________________________________<br>                gpfsug-discuss mailing list<br>                gpfsug-discuss at <a href="http://spectrumscale.org" target="_blank"><u><font color="#0000FF" >spectrumscale.org</font></u></a><br>                <u><font color="#0000FF" ><a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss" target="_blank">http://gpfsug.org/mailman/listinfo/gpfsug-discuss</a></font></u></li>        </ul>        </li></ul>Unless stated otherwise above:<br>IBM United Kingdom Limited - Registered in England and Wales with number 741598.<br>Registered office: PO Box 41, North Harbour, Portsmouth, Hampshire PO6 3AU<br><br><tt><font face="" size="3" >_______________________________________________<br>gpfsug-discuss mailing list<br>gpfsug-discuss at <a href="http://spectrumscale.org" target="_blank">spectrumscale.org</a></font></tt><br><tt><font face="" size="3" ><a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss" target="_blank">http://gpfsug.org/mailman/listinfo/gpfsug-discuss</a></font></tt><br><br><br> 
<div><font face="Default Monospace,Courier New,Courier,monospace" size="2" >_______________________________________________<br>gpfsug-discuss mailing list<br>gpfsug-discuss at <a href="http://spectrumscale.org" target="_blank">spectrumscale.org</a><br><a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss" target="_blank">http://gpfsug.org/mailman/listinfo/gpfsug-discuss</a></font></div></blockquote>
<div dir="ltr" > </div></div>Unless stated otherwise above:<br>IBM United Kingdom Limited - Registered in England and Wales with number 741598.<br>Registered office: PO Box 41, North Harbour, Portsmouth, Hampshire PO6 3AU<br><br>_______________________________________________<br>gpfsug-discuss mailing list<br>gpfsug-discuss at <a href="http://spectrumscale.org" rel="noreferrer" target="_blank">spectrumscale.org</a><br><a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss" rel="noreferrer" target="_blank">http://gpfsug.org/mailman/listinfo/gpfsug-discuss</a></blockquote></div>
<div><font face="Default Monospace,Courier New,Courier,monospace" size="2" >_______________________________________________<br>gpfsug-discuss mailing list<br>gpfsug-discuss at spectrumscale.org<br><a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss" target="_blank">http://gpfsug.org/mailman/listinfo/gpfsug-discuss</a></font></div></blockquote>
<div dir="ltr" > </div></div>
Unless stated otherwise above:<BR>
IBM United Kingdom Limited - Registered in England and Wales with number 741598. <BR>
Registered office: PO Box 41, North Harbour, Portsmouth, Hampshire PO6 3AU<BR>
<BR>