<p dir="ltr">Aaron,</p>
<p dir="ltr">Do you have experience running this on native GPFS?  The docs say Lustre and any NFS filesystem.</p>
<p dir="ltr">Thanks,<br>
Brian</p>
<div class="gmail_extra"><br><div class="gmail_quote">On Aug 22, 2016 10:37 PM, "Aaron Knister" <<a href="mailto:aaron.s.knister@nasa.gov">aaron.s.knister@nasa.gov</a>> wrote:<br type="attribution"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Yes, indeed. Note that these are my personal opinions.<br>
<br>
It seems to work quite well and it's not terribly hard to set up or get running. That said, if you've got a traditional HPC cluster with reasonably good bandwidth (and especially if your data is already on the HPC cluster) I wouldn't bother with FPO and just use something like magpie (<a href="https://github.com/LLNL/magpie" rel="noreferrer" target="_blank">https://github.com/LLNL/magpi<wbr>e</a>) to run your hadoopy workload on GPFS on your traditional HPC cluster. I believe FPO (and by extension data locality) is important when the available bandwidth between your clients and servers/disks (in a traditional GPFS environment) is less than the bandwidth available within a node (e.g. between your local disks and the host CPU).<br>
<br>
-Aaron<br>
<br>
On 8/22/16 10:23 PM, Brian Marshall wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Does anyone have any experiences to share (good or bad) about setting up<br>
and utilizing FPO for hadoop compute on top of GPFS?<br>
<br>
<br>
______________________________<wbr>_________________<br>
gpfsug-discuss mailing list<br>
gpfsug-discuss at <a href="http://spectrumscale.org" rel="noreferrer" target="_blank">spectrumscale.org</a><br>
<a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss" rel="noreferrer" target="_blank">http://gpfsug.org/mailman/list<wbr>info/gpfsug-discuss</a><br>
<br>
</blockquote>
<br>
-- <br>
Aaron Knister<br>
NASA Center for Climate Simulation (Code 606.2)<br>
Goddard Space Flight Center<br>
<a href="tel:%28301%29%20286-2776" value="+13012862776" target="_blank">(301) 286-2776</a><br>
______________________________<wbr>_________________<br>
gpfsug-discuss mailing list<br>
gpfsug-discuss at <a href="http://spectrumscale.org" rel="noreferrer" target="_blank">spectrumscale.org</a><br>
<a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss" rel="noreferrer" target="_blank">http://gpfsug.org/mailman/list<wbr>info/gpfsug-discuss</a><br>
</blockquote></div></div>