
<html dir="ltr">

<head>

<meta http-equiv="Content-Type" content="text/html; charset=iso-8859-1">

<style id="owaParaStyle" type="text/css">P {margin-top:0;margin-bottom:0;}</style>

</head>

<body ocsi="0" fpstyle="1">

<div style="direction: ltr;font-family: Tahoma;color: #000000;font-size: 10pt;">Hi All,<br>

<br>

My name is Stewart Howard and I work for Indiana University as an admin on a two-site replicated GPFS cluster.  I'm a new member of this mailing list and this is my first post  :)<br>

<br>

Recently, we've discovered that small-file performance on our system is pretty lack-luster.  For comparison, here are some numbers:<br>

<br>

1)  When transferring large files (~2 GB), we get outstanding performance and can typically saturate the client's network connection.  We generally see about 490 MB/s over a 10Gb line, which should be about right, given that we lose half of our bandwidth to

 replication.<br>

<br>

2)  When transferring a large number of small files, we get a very poor transfer rate, generally on the order of 2 MB/s, writing from a client node *inside* the GPFS cluster.<br>

<br>

I'm wondering if anyone else has experience with similar performance issues and what ended up being the cause/solution.  Also, I would be interested in hearing any general rules-of-thumb that the group has found helpful in balancing performance between large-file

 and small-file I/O.<br>

<br>

We have gathered some diagnostic information while performing various small-file I/O operations, as well as a variety of metadata operations in quick succession.  I'd be happy to share results of the diagnostics, if it would help provide context.<br>

<br>

Thank you so much for all of your help!<br>

<br>

Stewart Howard<br>

Indiana University<br>

<br>

<br>

</div>

</body>

</html>