<font size=2 face="sans-serif">Vic, </font><tt><font size=2>Sergi</font></tt><font size=2 face="sans-serif">,</font>
<br>
<br><font size=2 face="sans-serif">you can not compare Lustre and GPFS
without providing a clear usecase as otherwise you compare apple with oranges.
</font>
<br><font size=2 face="sans-serif">the reason for this is quite simple,
Lustre plays well in pretty much one usecase - HPC, GPFS on the other hand
is used in many forms of deployments from Storage for Virtual Machines,
HPC, Scale-Out NAS, Solutions in digital media, to hosting some of the
biggest, most business critical Transactional database installations in
the world. you look at 2 products with completely different usability spectrum,
functions and features unless as said above you narrow it down to a very
specific usecase with a lot of details.</font>
<br><font size=2 face="sans-serif">even just HPC has a very large spectrum
and not everybody is working in a single directory, which is the main scale
point for Lustre compared to GPFS and the reason is obvious, if you have
only 1 active metadata server (which is what 99% of all lustre systems
run) some operations like single directory contention is simpler to make
fast, but only up to the limit of your one node, but what happens when
you need to go beyond that and only a real distributed architecture can
support your workload ? </font>
<br><font size=2 face="sans-serif">for example look at most chip design
workloads, which is a form of HPC, it is something thats extremely metadata
and small file dominated, you talk about 100's of millions (in some cases
even billions) of files, majority of them <4k, the rest larger files
, majority of it with random access patterns that benefit from massive
client side caching and distributed data coherency models supported by
GPFS token manager infrastructure across 10's or 100's of metadata server
and 1000's of compute nodes. </font>
<br><font size=2 face="sans-serif">you also need to look at the rich feature
set GPFS provides, which not all may be important for some environments
but are for others like Snapshot, Clones, Hierarchical Storage Management
(ILM) , Local Cache acceleration (LROC), Global Namespace Wan Integration
(AFM), Encryption, etc just to name a few. </font>
<br>
<br><font size=2 face="sans-serif">Sven</font>
<br>
<br><font size=2 face="sans-serif">------------------------------------------<br>
Sven Oehme <br>
Scalable Storage Research <br>
email: oehmes@us.ibm.com <br>
Phone: +1 (408) 824-8904 <br>
IBM Almaden Research Lab <br>
------------------------------------------</font>
<br>
<br>
<br>
<br><font size=1 color=#5f5f5f face="sans-serif">From:      
 </font><font size=1 face="sans-serif">Vic Cornell <viccornell@gmail.com></font>
<br><font size=1 color=#5f5f5f face="sans-serif">To:      
 </font><font size=1 face="sans-serif">gpfsug main discussion
list <gpfsug-discuss@gpfsug.org></font>
<br><font size=1 color=#5f5f5f face="sans-serif">Date:      
 </font><font size=1 face="sans-serif">08/08/2014 10:16 AM</font>
<br><font size=1 color=#5f5f5f face="sans-serif">Subject:    
   </font><font size=1 face="sans-serif">Re: [gpfsug-discuss]
GPFS and Lustre on same node</font>
<br><font size=1 color=#5f5f5f face="sans-serif">Sent by:    
   </font><font size=1 face="sans-serif">gpfsug-discuss-bounces@gpfsug.org</font>
<br>
<hr noshade>
<br>
<br>
<br><tt><font size=2>Disclaimers - I work for DDN - we sell lustre and
GPFS. I know GPFS much better than I know Lustre.<br>
<br>
The biggest difference we find between GPFS and Lustre is that GPFS - can
usually achieve 90% of the bandwidth available to a single client with
a single thread.<br>
<br>
Lustre needs multiple parallel streams to saturate - say an Infiniband
connection.<br>
<br>
Lustre is often faster than GPFS and often has superior metadata performance
- particularly where lots of files are created in a single directory.<br>
<br>
GPFS can support Windows - Lustre cannot. I think GPFS is better integrated
and easier to deploy than Lustre - some people disagree with me.<br>
<br>
Regards,<br>
<br>
Vic<br>
<br>
<br>
On 8 Aug 2014, at 14:14, Sergi Moré Codina <sergi.more@bsc.es> wrote:<br>
<br>
> Hi all,<br>
> <br>
> About main differences between GPFS and Lustre, here you have some
bits from our experience:<br>
> <br>
> -Reliability: GPFS its been proved to be more stable and reliable.
Also offers more flexibility in terms of fail-over. It have no restriction
in number of servers. As far as I know, an NSD can have as many secondary
servers as you want (we are using 8).<br>
> <br>
> -Metadata: In Lustre each file system is restricted to two servers.
No restriction in GPFS.<br>
> <br>
> -Updates: In GPFS you can update the whole storage cluster without
stopping production, one server at a time.<br>
> <br>
> -Server/Client role: As Jeremy said, in GPFS every server act as a
client as well. Useful for administrative tasks.<br>
> <br>
> -Troubleshooting: Problems with GPFS are easier to track down. Logs
are more clear, and offers better tools than Lustre.<br>
> <br>
> -Support: No problems at all with GPFS support. It is true that it
could take time to go up within all support levels, but we always got a
good solution. Quite different in terms of hardware. IBM support quality
has drop a lot since about last year an a half. Really slow and tedious
process to get replacements. Moreover, we keep receiving bad "certified
reutilitzed parts" hardware, which slow the whole process even more.<br>
> <br>
> <br>
> These are the main differences I would stand out after some years
of experience with both file systems, but do not take it as a fact.<br>
> <br>
> PD: Salvatore, I would suggest you to contact Jordi Valls. He joined
EBI a couple of months ago, and has experience working with both file systems
here at BSC.<br>
> <br>
> Best Regards,<br>
> Sergi.<br>
> <br>
> <br>
> On 08/08/2014 01:40 PM, Jeremy Robst wrote:<br>
>> On Fri, 8 Aug 2014, Salvatore Di Nardo wrote:<br>
>> <br>
>>> Now, skipping all this GSS rant, which have nothing to do
with the file<br>
>>> system anyway  and  going back to my question:<br>
>>> <br>
>>> Could someone point the main differences between GPFS and
Lustre?<br>
>> <br>
>> I'm looking at making the same decision here - to buy GPFS or
to roll<br>
>> our own Lustre configuration. I'm in the process of setting up
test<br>
>> systems, and so far the main difference seems to be in the that
in GPFS<br>
>> each server sees the full filesystem, and so you can run other<br>
>> applications (e.g backup) on a GPFS server whereas the Luste OSS
(object<br>
>> storage servers) see only a portion of the storage (the filesystem
is<br>
>> striped across the OSSes), so you need a Lustre client to mount
the full<br>
>> filesystem for things like backup.<br>
>> <br>
>> However I have very little practical experience of either and
would also<br>
>> be interested in any comments.<br>
>> <br>
>> Thanks<br>
>> <br>
>> Jeremy<br>
>> <br>
>> <br>
>> _______________________________________________<br>
>> gpfsug-discuss mailing list<br>
>> gpfsug-discuss at gpfsug.org<br>
>> </font></tt><a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss"><tt><font size=2>http://gpfsug.org/mailman/listinfo/gpfsug-discuss</font></tt></a><tt><font size=2><br>
>> <br>
> <br>
> <br>
> -- <br>
> <br>
> ------------------------------------------------------------------------<br>
> <br>
>     Sergi More Codina<br>
>     Barcelona Supercomputing Center<br>
>     Centro Nacional de Supercomputacion<br>
>     WWW: </font></tt><a href=http://www.bsc.es/><tt><font size=2>http://www.bsc.es</font></tt></a><tt><font size=2>
     Tel: +34-93-405 42 27<br>
>     e-mail: sergi.more@bsc.es   Fax: +34-93-413 77
21<br>
> <br>
> ------------------------------------------------------------------------<br>
> <br>
> WARNING / LEGAL TEXT: This message is intended only for the use of
the<br>
> individual or entity to which it is addressed and may contain<br>
> information which is privileged, confidential, proprietary, or exempt<br>
> from disclosure under applicable law. If you are not the intended<br>
> recipient or the person responsible for delivering the message to
the<br>
> intended recipient, you are strictly prohibited from disclosing,<br>
> distributing, copying, or in any way using this message. If you have<br>
> received this communication in error, please notify the sender and<br>
> destroy and delete any copies you may have received.<br>
> <br>
> </font></tt><a href=http://www.bsc.es/disclaimer.htm><tt><font size=2>http://www.bsc.es/disclaimer.htm</font></tt></a><tt><font size=2><br>
> <br>
> <br>
> _______________________________________________<br>
> gpfsug-discuss mailing list<br>
> gpfsug-discuss at gpfsug.org<br>
> </font></tt><a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss"><tt><font size=2>http://gpfsug.org/mailman/listinfo/gpfsug-discuss</font></tt></a><tt><font size=2><br>
<br>
_______________________________________________<br>
gpfsug-discuss mailing list<br>
gpfsug-discuss at gpfsug.org<br>
</font></tt><a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss"><tt><font size=2>http://gpfsug.org/mailman/listinfo/gpfsug-discuss</font></tt></a><tt><font size=2><br>
<br>
</font></tt>
<br>