<div dir="ltr">When comparing compression performance I see the following performance, is anyone else getting significantly higher on any other systems?<div><br></div><div>Read Speeds:</div><div>lz4 with null fill data, ~ 90MB/s</div><div>lz4 with a SAS data set, ~40-50MB/s</div><div>z with null fill data, ~ 15MB/s</div><div>z with a SAS data set, ~ 5MB/s</div><div><br></div><div>While on a 4G page pool I tested each of these file sizes and got roughly identical performance in all cases:</div><div>1 GB, 5 GB, and 10GB.</div><div><br></div><div>This was on an S824 (p8) with read performance typically going to 1.2GB/s of read on a single thread (non-compressed).</div><div><br></div><div>Doing a "very limited test" in Production hardware E850, 8gb Page Pool, with ~2.4 GB/s of read on a single thread (non-compressed) I got very similar results.</div><div><br></div><div>In all cases the work was done from the NSD master, and due to the file sizes and the difference in page pool, i'd expect the 1gb files to move at a significantly faster pace if pagepool was a factor.</div><div><br></div><div>If anyone could tell me what performance they get on their platform and what OS or Hardware they're using, I'd very much be interested.<br></div><div><br></div><div>I'm debating if using GPFS to migrate the files to a .gz compressed version, and then providing a fifo mechanism to pipe through the compressed data wouldn't be a better solution.</div><div><br></div><div>Alec</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, Jan 20, 2021 at 2:10 PM Alec <<a href="mailto:anacreo@gmail.com">anacreo@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="auto">I see a lot of references to the page pool. Our page pool is only 8 gb and our files can be very large into the terrabytes.<div dir="auto"><br></div><div dir="auto">I will try increasing the page pool in dev to 2x a test file and see if the problem resolves.</div><div dir="auto"><br></div><div dir="auto">Any documentation on the correlation here would be nice.</div><div dir="auto"><br></div><div dir="auto">I will see if I can get rights for the debug as well.</div><div dir="auto"><br></div><div dir="auto">Alec</div></div>
</blockquote></div>