<div dir="ltr">Hi Mark,<div><br></div><div style>Thank you for your answer. You are right, I have the following:</div><div style><br></div><div style><div>Mon Mar 16 11:02:24 EDT 2015: mounting /dev/gpfs2</div><div>Mon Mar 16 11:02:24.296 2015: Command: mount gpfs2</div><div>Mon Mar 16 11:02:24.723 2015: Disk failure.  Volume gpfs2. rc = 5. Physical volume gpfs2nsd04.</div><div>Mon Mar 16 11:02:24.724 2015: Disk failure.  Volume gpfs2. rc = 5. Physical volume gpfs2nsd12.</div><div>Mon Mar 16 11:02:24.723 2015: File System gpfs2 unmounted by the system with return code 5 reason code 0</div><div>Mon Mar 16 11:02:24.724 2015: Input/output error</div><div>Mon Mar 16 11:02:24.725 2015: Failed to open gpfs2.</div><div>Mon Mar 16 11:02:24.724 2015: Input/output error</div><div>Mon Mar 16 11:02:24.725 2015: Command: err 666: mount gpfs2</div><div>Mon Mar 16 11:02:24.724 2015: Input/output error</div><div>mount: Stale NFS file handle</div><div>Mon Mar 16 11:02:24 EDT 2015: finished mounting /dev/gpfs2</div><div style><br></div><div style>But it is not mounted. </div><div><br></div><div>This is after issuing the "mmmount gpfs2" command </div><div><br></div><div>Mon Mar 16 11:03:52.010 2015: Command: mount gpfs2</div><div>Mon Mar 16 11:03:52.234 2015: VERBS RDMA connecting to 172.25.101.2 (heca2-ib0) on mlx4_0 port 1 id 4</div><div>Mon Mar 16 11:03:52.235 2015: VERBS RDMA connected to 172.25.101.2 (heca2-ib0) on mlx4_0 port 1 sl 0</div><div>Mon Mar 16 11:03:52.381 2015: Command: err 0: mount gpfs2</div><div><br></div><div style>Now, my next step it to figure out how the clear the failure since it is not failed anymore. The mmlsdisk reports all the nsd are up and ready.</div><div style><br></div><div style>One command I'm also looking for is a command to list which nsd server is used for a particular nsd. I have a redundant config for which 2 servers can access the same nsd. But I think that for some of them, the default server is not used and the load of the servers is not distributed as wanted.</div><div style><br></div><div style>Richard</div><div style>  </div></div></div><div class="gmail_extra"><br><div class="gmail_quote">2015-03-20 15:24 GMT-04:00 Marc A Kaplan <span dir="ltr"><<a href="mailto:makaplan@us.ibm.com" target="_blank">makaplan@us.ibm.com</a>></span>:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><font face="sans-serif">Look in /var/adm/ras/mmfs.log.* -- on a
node that should be mounting the filesystem   -- find a file that
covers the time when GPFS is starting up and should be mounting the filesystem.</font>
<br>
<br><font face="sans-serif">Look for clues and/or error messages.
  If you are not familiar, you may also want to look at what messages
are issued when everything is working just right.<br>
</font><br>_______________________________________________<br>
gpfsug-discuss mailing list<br>
gpfsug-discuss at <a href="http://gpfsug.org" target="_blank">gpfsug.org</a><br>
<a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss" target="_blank">http://gpfsug.org/mailman/listinfo/gpfsug-discuss</a><br>
<br></blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="gmail_signature"><span><font color="#888888">Richard Lefebvre, Sys-admin, CQ, <a value="+15143436111">(514)343-6111 x5313</a>       "Don't Panic"<br>
<a href="mailto:Richard.Lefebvre@calculquebec.ca" target="_blank">Richard.Lefebvre@calculquebec.ca</a>                              -- THGTTG<br>
Calcul Quebec (<a href="http://calculquebec.ca/" target="_blank">calculquebec.ca</a>) ------ Calcul Canada (<a href="http://computecanada.ca/" target="_blank">computecanada.ca</a>)</font></span></div>
</div>