<font size=3 face="Arial">Are you seeing similar values for all the nodes
or just some of them?  One possible issue is how the NSD queues are
configured on the NSD servers.  You can see this with the output of
"mmfsadm dump nsd".  There are queues for LARGE IOs (greater
than 64K) and queues for SMALL IOs (64K or less).  Check the highest
pending values to see if many IOs are queueing.  There are a couple
of options to fix this but rather than explain them I suggest you look
for information about NSD queueing on the developerWorks site.  There
has been information posted there that should prove helpful.</font><br><br><font size=3 face="sans-serif">Fred<br>__________________________________________________<br>Fred Stock | IBM Pittsburgh Lab | 720-430-8821<br>stockf@us.ibm.com</font><br><br><br><br><font size=1 color=#5f5f5f face="sans-serif">From:      
 </font><font size=1 face="sans-serif">"Buterbaugh, Kevin
L" <Kevin.Buterbaugh@Vanderbilt.Edu></font><br><font size=1 color=#5f5f5f face="sans-serif">To:      
 </font><font size=1 face="sans-serif">gpfsug main discussion
list <gpfsug-discuss@spectrumscale.org></font><br><font size=1 color=#5f5f5f face="sans-serif">Date:      
 </font><font size=1 face="sans-serif">07/03/2018 03:49 PM</font><br><font size=1 color=#5f5f5f face="sans-serif">Subject:    
   </font><font size=1 face="sans-serif">[gpfsug-discuss]
High I/O wait times</font><br><font size=1 color=#5f5f5f face="sans-serif">Sent by:    
   </font><font size=1 face="sans-serif">gpfsug-discuss-bounces@spectrumscale.org</font><br><hr noshade><br><br><br><font size=3>Hi all, </font><br><br><font size=3>We are experiencing some high I/O wait times (5 - 20 seconds!)
on some of our NSDs as reported by “mmdiag —iohist" and are struggling
to understand why.  One of the confusing things is that, while certain
NSDs tend to show the problem more than others, the problem is not consistent
… i.e. the problem tends to move around from NSD to NSD (and storage array
to storage array) whenever we check … which is sometimes just a few minutes
apart.</font><br><br><font size=3>In the past when I have seen “mmdiag —iohist” report
high wait times like this it has *always* been hardware related.  In
our environment, the most common cause has been a battery backup unit on
a storage array controller going bad and the storage array switching to
write straight to disk.  But that’s *not* happening this time. </font><br><br><font size=3>Is there anything within GPFS / outside of a hardware
issue that I should be looking for??  Thanks!</font><br><br><font size=3>—</font><br><font size=3>Kevin Buterbaugh - Senior System Administrator</font><br><font size=3>Vanderbilt University - Advanced Computing Center for
Research and Education</font><br><a href="mailto:Kevin.Buterbaugh@vanderbilt.edu"><font size=3 color=blue><u>Kevin.Buterbaugh@vanderbilt.edu</u></font></a><font size=3>- (615)875-9633</font><br><br><br><tt><font size=2>_______________________________________________<br>gpfsug-discuss mailing list<br>gpfsug-discuss at spectrumscale.org<br></font></tt><a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss"><tt><font size=2>http://gpfsug.org/mailman/listinfo/gpfsug-discuss</font></tt></a><tt><font size=2><br></font></tt><br><br><BR>