<font size=2 face="sans-serif">unknown , is the state you'll get, if a

node is powered off and not reachable or doesnt has a valid config  </font><br><font size=2 face="sans-serif">down is the state, when the node is

reachable, has a valid config and the mmfsd is not started </font><br><br><font size=2 face="sans-serif">not sure, what steps you did now/where

you are now.. but once the node has a valid config (by removing/re-adding,

by restoring) and the rpms installed (don't forget to build portability

layer) </font><br><font size=2 face="sans-serif">your 're good to go...</font><br><br><br><br><br><br><br><font size=1 color=#5f5f5f face="sans-serif">From:      

 </font><font size=1 face="sans-serif">"J. Eric Wonderley"

<eric.wonderley@vt.edu></font><br><font size=1 color=#5f5f5f face="sans-serif">To:      

 </font><font size=1 face="sans-serif">gpfsug main discussion

list <gpfsug-discuss@spectrumscale.org></font><br><font size=1 color=#5f5f5f face="sans-serif">Date:      

 </font><font size=1 face="sans-serif">02/03/2017 02:47 PM</font><br><font size=1 color=#5f5f5f face="sans-serif">Subject:    

   </font><font size=1 face="sans-serif">Re: [gpfsug-discuss]

proper gpfs shutdown when node disappears</font><br><font size=1 color=#5f5f5f face="sans-serif">Sent by:    

   </font><font size=1 face="sans-serif">gpfsug-discuss-bounces@spectrumscale.org</font><br><hr noshade><br><br><br><font size=3>Well we got it into the down state using mmsdrrestore

-p to recover stuff into /var/mmfs/gen to cl004.<br></font><br><font size=3>Anyhow we ended up unknown for cl004 when it powered off. 

Short of removing node, unknown is the state you get.<br></font><br><font size=3>Unknown seems stable for a hopefully short outage of cl004.<br><br></font><br><font size=3>Thanks</font><br><br><font size=3>On Thu, Feb 2, 2017 at 4:28 PM, Olaf Weiser <</font><a href=mailto:olaf.weiser@de.ibm.com target=_blank><font size=3 color=blue><u>olaf.weiser@de.ibm.com</u></font></a><font size=3>>

wrote:</font><br><font size=2 face="sans-serif">many ways lead to Rome .. and I agree

.. mmexpelnode is a nice command .. <br>another approach... <br>power it off .. (not reachable by ping) .. mmdelnode ... power on/boot

... mmaddnode .. </font><font size=3><br><br><br></font><font size=1 color=#5f5f5f face="sans-serif"><br>From:        </font><font size=1 face="sans-serif">Aaron

Knister <</font><a href=mailto:aaron.s.knister@nasa.gov target=_blank><font size=1 color=blue face="sans-serif"><u>aaron.s.knister@nasa.gov</u></font></a><font size=1 face="sans-serif">></font><font size=1 color=#5f5f5f face="sans-serif"><br>To:        </font><font size=1 face="sans-serif"><</font><a href="mailto:gpfsug-discuss@spectrumscale.org" target=_blank><font size=1 color=blue face="sans-serif"><u>gpfsug-discuss@spectrumscale.org</u></font></a><font size=1 face="sans-serif">></font><font size=1 color=#5f5f5f face="sans-serif"><br>Date:        </font><font size=1 face="sans-serif">02/02/2017

08:37 PM</font><font size=1 color=#5f5f5f face="sans-serif"><br>Subject:        </font><font size=1 face="sans-serif">Re:

[gpfsug-discuss] proper gpfs shutdown when node disappears</font><font size=1 color=#5f5f5f face="sans-serif"><br>Sent by:        </font><a href="mailto:gpfsug-discuss-bounces@spectrumscale.org" target=_blank><font size=1 color=blue face="sans-serif"><u>gpfsug-discuss-bounces@spectrumscale.org</u></font></a><font size=3><br></font><hr noshade><font size=3><br></font><br><tt><font size=2><br>You could forcibly expel the node (one of my favorite GPFS commands):<br><br>mmexpelnode -N $nodename<br><br>and then power it off after the expulsion is complete and then do<br><br>mmepelenode -r -N $nodename<br><br>which will allow it to join the cluster next time you try and start up

<br>GPFS on it. You'll still likely have to go through recovery but you'll

skip the part where GPFS wonders where the node went prior to it  expelling it. -Aaron On 2/2/17 2:28 PM, </tt><a href=mailto:valdis.kletnieks@vt.edu target=_blank><tt><font size=2 color=blue>valdis.kletnieks@vt.edu</tt></a><tt><font size=2>wrote: > On Thu, 02 Feb 2017 18:28:22 +0100, "Olaf Weiser" said: > >> but the /var/mmfs DIR is obviously damaged/empty .. what ever..

that's why you<br>>> see a message like this..<br>>> have you reinstalled that node / any backup/restore thing ?<br>><br>> The internal RAID controller died a horrid death and basically took<br>> all the OS partitions with it.  So the node was just sort of

limping along,<br>> where the mmfsd process was still coping because it wasn't doing any<br>> I/O to the OS partitions - but 'ssh bad-node mmshutdown' wouldn't

work<br>> because that requires accessing stuff in /var.<br>><br>> At that point, it starts getting tempting to just use ipmitool from<br>> another node to power the comatose one down - but that often causes<br>> a cascade of other issues while things are stuck waiting for timeouts.<br>><br>><br>> _______________________________________________<br>> gpfsug-discuss mailing list<br>> gpfsug-discuss at </font></tt><a href=http://spectrumscale.org/ target=_blank><tt><font size=2 color=blue><u>spectrumscale.org</u></font></tt></a><tt><font size=2><br>> </font></tt><a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss" target=_blank><tt><font size=2 color=blue><u>http://gpfsug.org/mailman/listinfo/gpfsug-discuss</u></font></tt></a><tt><font size=2><br>><br><br>-- <br>Aaron Knister<br>NASA Center for Climate Simulation (Code 606.2)<br>Goddard Space Flight Center</font></tt><tt><font size=2 color=blue><u><br></u></font></tt><a href="tel:(301)%20286-2776" target=_blank><tt><font size=2 color=blue><u>(301)

286-2776</u></font></tt></a><tt><font size=2><br>_______________________________________________<br>gpfsug-discuss mailing list<br>gpfsug-discuss at </font></tt><a href=http://spectrumscale.org/ target=_blank><tt><font size=2 color=blue><u>spectrumscale.org</u></font></tt></a><font size=3 color=blue><u><br></u></font><a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss" target=_blank><tt><font size=2 color=blue><u>http://gpfsug.org/mailman/listinfo/gpfsug-discuss</u></font></tt></a><tt><font size=2><br></font></tt><font size=3><br><br><br></font><br><font size=3><br>_______________________________________________<br>gpfsug-discuss mailing list<br>gpfsug-discuss at </font><a href=http://spectrumscale.org/ target=_blank><font size=3 color=blue><u>spectrumscale.org</u></font></a><font size=3 color=blue><u><br></u></font><a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss" target=_blank><font size=3 color=blue><u>http://gpfsug.org/mailman/listinfo/gpfsug-discuss</u></font></a><font size=3><br></font><br><tt><font size=2>_______________________________________________<br>gpfsug-discuss mailing list<br>gpfsug-discuss at spectrumscale.org<br></font></tt><a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss"><tt><font size=2>http://gpfsug.org/mailman/listinfo/gpfsug-discuss</font></tt></a><tt><font size=2><br></font></tt><br><br><BR>