<span style=" font-size:10pt;font-family:sans-serif">I would start by
making sure that the application(s)... open the file O_RDONLY and then
you may want to fiddle with the GPFS atime settings:</span><br><br><a href="https://www.ibm.com/support/knowledgecenter/en/STXKQY_4.2.0/com.ibm.spectrum.scale.v4r2.ins.doc/bl1ins_atime.htm"><span style=" font-size:10pt;color:blue;font-family:sans-serif">https://www.ibm.com/support/knowledgecenter/en/STXKQY_4.2.0/com.ibm.spectrum.scale.v4r2.ins.doc/bl1ins_atime.htm</span></a><span style=" font-size:10pt;font-family:sans-serif"><br></span><br><span style=" font-size:10pt;font-family:sans-serif">At first I thought
"uge" was a typo, but I guess you are referring to: </span><br><a href="https://supcom.hgc.jp/english/utili_info/manual/uge.html"><span style=" font-size:10pt;color:blue;font-family:sans-serif">https://supcom.hgc.jp/english/utili_info/manual/uge.html</span></a><br><br><span style=" font-size:10pt;font-family:sans-serif">Still not begin
familiar, it would be "interesting" to know from a file operations
point of view, what's going on in terms of opens, reads, closes : per second.</span><br><br><br><br><span style=" font-size:9pt;color:#5f5f5f;font-family:sans-serif">From:
       </span><span style=" font-size:9pt;font-family:sans-serif">Peter
Childs <p.childs@qmul.ac.uk></span><br><span style=" font-size:9pt;color:#5f5f5f;font-family:sans-serif">To:
       </span><span style=" font-size:9pt;font-family:sans-serif">"gpfsug-discuss@spectrumscale.org"
<gpfsug-discuss@spectrumscale.org></span><br><span style=" font-size:9pt;color:#5f5f5f;font-family:sans-serif">Date:
       </span><span style=" font-size:9pt;font-family:sans-serif">07/10/2018
10:51 AM</span><br><span style=" font-size:9pt;color:#5f5f5f;font-family:sans-serif">Subject:
       </span><span style=" font-size:9pt;font-family:sans-serif">[gpfsug-discuss]
Same file opened by many nodes / processes</span><br><span style=" font-size:9pt;color:#5f5f5f;font-family:sans-serif">Sent
by:        </span><span style=" font-size:9pt;font-family:sans-serif">gpfsug-discuss-bounces@spectrumscale.org</span><br><hr noshade><br><br><br><tt><span style=" font-size:10pt">We have an situation where the same
file is being read by around 5000<br>"jobs" this is an array job in uge with a tc set, so the file
in<br>question is being opened by about 100 processes/jobs at the same time.<br><br>Its a ~200GB file so copying the file locally first is not an easy<br>answer, and these jobs are causing issues with mmbackup scanning the<br>file system, in that the scan is taking 3 hours instead of the normal<br>40-60 minutes.<br><br>This is read only access to the file, I don't know the specifics about<br>the job.<br><br>It looks like the metanode is moving around a fair amount (given what I<br>can see from mmfsadm saferdump file)<br><br>I'm wondering if we there is anything we can do to improve things or<br>that can be tuned within GPFS, I'm don't think we have an issue with<br>token management, but would increasing maxFileToCache on our token<br>manager node help say?<br><br>Is there anything else I should look at, to try and attempt to allow<br>GPFS to share this file better.<br><br>Thanks in advance<br><br>Peter Childs<br><br>-- <br>Peter Childs<br>ITS Research Storage<br>Queen Mary, University of London<br>_______________________________________________<br>gpfsug-discuss mailing list<br>gpfsug-discuss at spectrumscale.org<br></span></tt><a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss"><tt><span style=" font-size:10pt">http://gpfsug.org/mailman/listinfo/gpfsug-discuss</span></tt></a><tt><span style=" font-size:10pt"><br><br></span></tt><br><br><BR>