<font size=3 face="Arial">Note, RHEL 7.6 is not yet a supported platform

for Spectrum Scale so you may want to use RHEL 7.5 or wait for RHEL 7.6

to be supported.  </font><br><br><font size=3 face="Arial">Using "generic" for the device

type should be the proper option here.</font><br><br><font size=2 face="sans-serif">Regards, The Spectrum Scale (GPFS) team<br><br>------------------------------------------------------------------------------------------------------------------<br>If you feel that your question can benefit other users of  Spectrum

Scale (GPFS), then please post it to the public IBM developerWroks Forum

at <a href="https://www.ibm.com/developerworks/community/forums/html/forum?id=11111111-0000-0000-0000-000000000479"><font size=2 face="sans-serif">https://www.ibm.com/developerworks/community/forums/html/forum?id=11111111-0000-0000-0000-000000000479</a><font size=2 face="sans-serif">.

<br><br>If your query concerns a potential software error in Spectrum Scale (GPFS)

and you have an IBM software maintenance contract please contact  1-800-237-5511

in the United States or your local IBM Service Center in other countries.

<br><br>The forum is informally monitored as time permits and should not be used

for priority messages to the Spectrum Scale (GPFS) team.</font><br><br><br><br><font size=1 color=#5f5f5f face="sans-serif">From:      

 </font><font size=1 face="sans-serif">"Uwe Falke"

<UWEFALKE@de.ibm.com></font><br><font size=1 color=#5f5f5f face="sans-serif">To:      

 </font><font size=1 face="sans-serif">gpfsug main discussion

list <gpfsug-discuss@spectrumscale.org></font><br><font size=1 color=#5f5f5f face="sans-serif">Date:      

 </font><font size=1 face="sans-serif">11/16/2018 04:35 AM</font><br><font size=1 color=#5f5f5f face="sans-serif">Subject:    

   </font><font size=1 face="sans-serif">Re: [gpfsug-discuss]

How to use RHEL 7 mdadm NVMe devices with        Spectrum

       Scale 4.2.3.10?</font><br><font size=1 color=#5f5f5f face="sans-serif">Sent by:    

   </font><font size=1 face="sans-serif">gpfsug-discuss-bounces@spectrumscale.org</font><br><hr noshade><br><br><br><tt><font size=2>Hi, <br><br>Having mentioned nsddevices, I do not know how Scale treats different <br>device types differently, so generic would be a fine choice unless <br>development tells you differently.<br>Currently known device types are listed in the comments of the script <br>/usr/lpp/mmfs/bin/mmdevdiscover<br><br> <br>Mit freundlichen Grüßen / Kind regards<br><br> <br>Dr. Uwe Falke<br> <br>IT Specialist<br>High Performance Computing Services / Integrated Technology Services /

<br>Data Center Services<br>-------------------------------------------------------------------------------------------------------------------------------------------<br>IBM Deutschland<br>Rathausstr. 7<br>09111 Chemnitz<br>Phone: +49 371 6978 2165<br>Mobile: +49 175 575 2877<br>E-Mail: uwefalke@de.ibm.com<br>-------------------------------------------------------------------------------------------------------------------------------------------<br>IBM Deutschland Business & Technology Services GmbH / Geschäftsführung:

<br>Thomas Wolter, Sven Schooß<br>Sitz der Gesellschaft: Ehningen / Registergericht: Amtsgericht Stuttgart,

<br>HRB 17122 <br><br><br><br><br>From:   Uwe Falke/Germany/IBM<br>To:     gpfsug main discussion list <gpfsug-discuss@spectrumscale.org><br>Date:   16/11/2018 10:19<br>Subject:        Re: [gpfsug-discuss] How to use RHEL

7 mdadm NVMe devices <br>with Spectrum   Scale 4.2.3.10?<br><br><br>Hi Lance, <br>you might need to use <br>/var/mmfs/etc/nsddevices<br>to tell GPFS about these devices (template in <br>/usr/lpp/mmfs/samples/nsddevices.sample)<br><br><br> <br>Mit freundlichen Grüßen / Kind regards<br><br> <br>Dr. Uwe Falke<br> <br>IT Specialist<br>High Performance Computing Services / Integrated Technology Services /

<br>Data Center Services<br>-------------------------------------------------------------------------------------------------------------------------------------------<br>IBM Deutschland<br>Rathausstr. 7<br>09111 Chemnitz<br>Phone: +49 371 6978 2165<br>Mobile: +49 175 575 2877<br>E-Mail: uwefalke@de.ibm.com<br>-------------------------------------------------------------------------------------------------------------------------------------------<br>IBM Deutschland Business & Technology Services GmbH / Geschäftsführung:

<br>Thomas Wolter, Sven Schooß<br>Sitz der Gesellschaft: Ehningen / Registergericht: Amtsgericht Stuttgart,

<br>HRB 17122 <br><br><br><br><br><br>From:   Lance Nakata <LNakata@SLAC.STANFORD.EDU><br>To:     gpfsug-discuss@spectrumscale.org<br>Cc:     "Jon L. Bergman" <jonl@SLAC.STANFORD.EDU><br>Date:   16/11/2018 04:14<br>Subject:        [gpfsug-discuss] How to use RHEL 7

mdadm NVMe devices with <br>Spectrum        Scale 4.2.3.10?<br>Sent by:        gpfsug-discuss-bounces@spectrumscale.org<br><br><br><br>We have a Dell R740xd with 24 x 1TB NVMe SSDs in the internal slots. Since

<br>PERC<br>RAID cards don't see these devices, we are using mdadm software RAID to

<br>build<br>NSDs.  We took 12 NVMe SSDs and used mdadm to create a 10 + 1 + 1

hot <br>spare RAID<br>5 stripe named /dev/md101.  We took the other 12 NVMe SSDs and created

a <br>similar<br>/dev/md102.<br><br>mmcrnsd worked without errors.  The problem is that Spectrum Scale

does <br>not see<br>the /dev/md10x devices as proper NSDs; the Device and Devtype columns are

<br>blank:<br><br>host2:~> sudo mmlsnsd -X<br><br> Disk name    NSD volume ID      Device  

      Devtype  Node name  <br>Remarks<br>---------------------------------------------------------------------------------------------------<br> nsd0001      864FD12858A36E79   /dev/sdb    

  generic <br>host1.slac.stanford.edu server node<br> nsd0002      864FD12858A36E7A   /dev/sdc    

  generic <br>host1.slac.stanford.edu server node<br> nsd0021      864FD1285956B0A7   /dev/sdd    

  generic <br>host1.slac.stanford.edu server node<br> nsd0251a     864FD1545BD0CCDF   /dev/dm-9    

 dmm <br>host2.slac.stanford.edu server node<br> nsd0251b     864FD1545BD0CCE0   /dev/dm-11    

dmm <br>host2.slac.stanford.edu server node<br> nsd0252a     864FD1545BD0CCE1   /dev/dm-10    

dmm <br>host2.slac.stanford.edu server node<br> nsd0252b     864FD1545BD0CCE2   /dev/dm-8    

 dmm <br>host2.slac.stanford.edu server node<br> nsd02nvme1   864FD1545BEC5D72   -        

     - host2.slac.stanford.edu <br>(not found) server node<br> nsd02nvme2   864FD1545BEC5D73   -        

     - host2.slac.stanford.edu <br>(not found) server node<br><br>I know we can access the internal NVMe devices by their individual <br>/dev/nvmeXX<br>paths, but non-ESS-based Spectrum Scale does not have built-in RAID<br>functionality.  Hence, the only option in that scenario is replication,

which is expensive and won't give us enough usable space. Software Environment: RHEL 7.6 with kernel 3.10.0-862.14.4.el7.x86_64 Spectrum Scale 4.2.3.10 Spectrum Scale Support has implied we can't use mdadm for NVMe devices.

Is <br>that<br>really true?  Does anyone use an mdadm-based NVMe config?  If

so, did you <br>have<br>to do some kind of customization to get it working?<br><br>Thank you,<br><br>Lance Nakata<br>SLAC National Accelerator Laboratory<br>_______________________________________________<br>gpfsug-discuss mailing list<br>gpfsug-discuss at spectrumscale.org<br></font></tt><a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss"><tt><font size=2>http://gpfsug.org/mailman/listinfo/gpfsug-discuss</font></tt></a><tt><font size=2><br><br><br><br><br><br><br><br>_______________________________________________<br>gpfsug-discuss mailing list<br>gpfsug-discuss at spectrumscale.org<br></font></tt><a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss"><tt><font size=2>http://gpfsug.org/mailman/listinfo/gpfsug-discuss</font></tt></a><tt><font size=2><br><br></font></tt><br><br><BR>