<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<meta name="Generator" content="Microsoft Word 14 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
{font-family:Calibri;
panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
{font-family:Tahoma;
panose-1:2 11 6 4 3 5 4 4 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
{margin:0in;
margin-bottom:.0001pt;
font-size:12.0pt;
font-family:"Times New Roman","serif";}
a:link, span.MsoHyperlink
{mso-style-priority:99;
color:blue;
text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
{mso-style-priority:99;
color:purple;
text-decoration:underline;}
span.EmailStyle17
{mso-style-type:personal-reply;
font-family:"Calibri","sans-serif";
color:#1F497D;}
.MsoChpDefault
{mso-style-type:export-only;
font-size:10.0pt;}
@page WordSection1
{size:8.5in 11.0in;
margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
{page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]-->
</head>
<body lang="EN-US" link="blue" vlink="purple">
<div class="WordSection1">
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D">See:
<a href="https://www.ibm.com/support/knowledgecenter/STXKQY_4.2.0/com.ibm.spectrum.scale.v4r2.adm.doc/bl1adm_nsddevices.htm">
https://www.ibm.com/support/knowledgecenter/STXKQY_4.2.0/com.ibm.spectrum.scale.v4r2.adm.doc/bl1adm_nsddevices.htm</a><o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D">GPFS has a limited set of device search specs it uses to find connected NSDs. When using exotic devices, you need to whitelist the devices yourself using the
user exit script at /var/mmfs/etc/nsddevices.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D"><o:p> </o:p></span></p>
<div>
<div style="border:none;border-top:solid #B5C4DF 1.0pt;padding:3.0pt 0in 0in 0in">
<p class="MsoNormal"><b><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif"">From:</span></b><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif""> gpfsug-discuss-bounces@spectrumscale.org [mailto:gpfsug-discuss-bounces@spectrumscale.org]
<b>On Behalf Of </b>Buterbaugh, Kevin L<br>
<b>Sent:</b> Friday, March 10, 2017 3:44 PM<br>
<b>To:</b> gpfsug main discussion list<br>
<b>Subject:</b> [gpfsug-discuss] mmcrfs issue<o:p></o:p></span></p>
</div>
</div>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Hi All, <o:p></o:p></p>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">We are testing out some flash storage. I created a couple of NSDs successfully (?):<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<div>
<p class="MsoNormal">root@nec:~/gpfs# mmlsnsd -F<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal"> File system Disk name NSD servers <o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">---------------------------------------------------------------------------<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> (free disk) nsd1 nec <o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> (free disk) nsd2 nec <o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">root@nec:~/gpfs#<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">So I tried to create a filesystem:<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<div>
<p class="MsoNormal">root@nec:~/gpfs# mmcrfs gpfs0 -F ~/gpfs/flash.stanza -A yes -B 1M -j scatter -k all -m 1 -M 3 -Q no -r 1 -R 3 -T /gpfs0<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">GPFS: 6027-441 Unable to open disk 'nsd2' on node nec.<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">GPFS: 6027-441 Unable to open disk 'nsd1' on node nec.<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">No such device<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">No such device<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">GPFS: 6027-538 Error accessing disks.<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">mmcrfs: 6027-1200 tscrfs failed. Cannot create gpfs0<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">mmcrfs: 6027-1639 Command failed. Examine previous error messages to determine cause.<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">root@nec:~/gpfs#<o:p></o:p></p>
</div>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<p class="MsoNormal">Does this output from readdescraw look normal?<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<div>
<p class="MsoNormal">root@nec:~/gpfs# mmfsadm test readdescraw /dev/zd16<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">NSD descriptor in sector 64 of /dev/zd16<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> NSDid: 0A0023D258C1C02C format version: 1403 Label: <o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> Paxos sector: -1931478434 number of sectors: 8192 isPdisk: 0<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> Comment: NSD descriptor for <unknown> Thu Mar 9 14:50:52 2017<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">No Disk descriptor in sector 96 of /dev/zd16<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">No FS descriptor in sector 2048 of /dev/zd16<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">root@nec:~/gpfs# mmfsadm test readdescraw /dev/zd32<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">NSD descriptor in sector 64 of /dev/zd32<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> NSDid: 0A0023D258C1C02B format version: 1403 Label: <o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> Paxos sector: -1880562609 number of sectors: 8192 isPdisk: 0<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> Comment: NSD descriptor for <unknown> Thu Mar 9 14:50:51 2017<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">No Disk descriptor in sector 96 of /dev/zd32<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">No FS descriptor in sector 2048 of /dev/zd32<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">root@nec:~/gpfs#<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">Thanks in advance, all…<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">Kevin<o:p></o:p></p>
</div>
<div>
<div>
<p class="MsoNormal">—<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">Kevin Buterbaugh - Senior System Administrator<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">Vanderbilt University - Advanced Computing Center for Research and Education<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><a href="mailto:Kevin.Buterbaugh@vanderbilt.edu">Kevin.Buterbaugh@vanderbilt.edu</a> - (615)875-9633<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
</div>
</body>
</html>