<div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr">Dear all,<br></div><div><br></div><div>Please consider the submission of results to the new list.<br><br></div><div>Deadline: 10 November 2018 AoE<br><br>The IO500 is now accepting and encouraging submissions for the<br>upcoming IO500 list revealed at Supercomputing 2018 in Dallas, Texas.<br>We also announce the 10 compute node I/O challenge to encourage<br>submission of small-scale results. The new ranked lists will be<br>announced at our SC18 BOF on Wednesday, November 14th at 5:15pm. We<br>hope to see you, and your results, there.<br><br>The benchmark suite is designed to be easy to run and the community<br>has multiple active support channels to help with any questions.<br>Please submit and we look forward to seeing many of you at SC 2018!<br>Please note that submissions of all size are welcome; the site has<br>customizable sorting so it is possible to submit on a small system and<br>still get a very good per-client score for example. Additionally, the<br>list is about much more than just the raw rank; all submissions help<br>the community by collecting and publishing a wider corpus of data.<br>More details below.<br><br>Following the success of the Top500 in collecting and analyzing<br>historical trends in supercomputer technology and evolution, the IO500<br>was created in 2017 and published its first list at SC17. The need for<br>such an initiative has long been known within High-Performance<br>Computing; however, defining appropriate benchmarks had long been<br>challenging. Despite this challenge, the community, after long and<br>spirited discussion, finally reached consensus on a suite of<br>benchmarks and a metric for resolving the scores into a single<br>ranking.<br><br>The multi-fold goals of the benchmark suite are as follows:<br><br>Maximizing simplicity in running the benchmark suite<br>Encouraging complexity in tuning for performance<br>Allowing submitters to highlight their “hero run” performance numbers<br>Forcing submitters to simultaneously report performance for<br>challenging IO patterns.<br><br>Specifically, the benchmark suite includes a hero-run of both IOR and<br>mdtest configured, however, possible to maximize performance and<br>establish an upper-bound for performance. It also includes an IOR and<br>mdtest run with highly prescribed parameters in an attempt to<br>determine a lower-bound. Finally, it includes a namespace search as<br>this has been determined to be a highly sought-after feature in HPC<br>storage systems that have historically not been well measured.<br>Submitters are encouraged to share their tuning insights for<br>publication.<br><br>The goals of the community are also multi-fold:<br><br>Gather historical data for the sake of analysis and to aid predictions<br>of storage futures<br>Collect tuning information to share valuable performance optimizations<br>across the community<br>Encourage vendors and designers to optimize for workloads beyond “hero runs”<br>Establish bounded expectations for users, procurers, and administrators<br><br>10 Compute Node I/O Challenge<br><br>At SC, we will announce another IO-500 award for the 10 Compute Node<br>I/O Challenge. This challenge is conducted using the regular IO-500<br>benchmark, however, with the rule that exactly 10 computes nodes must<br>be used to run the benchmark (one exception is find, which may use 1<br>node). You may use any shared storage with, e.g., any number of<br>servers. When submitting for the IO-500 list, you can opt-in for<br>“Participate in the 10 compute node challenge only”, then we won't<br>include the results into the ranked list. Other 10 compute node<br>submission will be included in the full list and in the ranked list.<br>We will announce the result in a separate derived list and in the full<br>list but not on the ranked IO-500 list at <a href="http://io500.org" rel="noreferrer" target="_blank">io500.org</a>.<br><br>Birds-of-a-feather<br><br>Once again, we encourage you to submit [1], to join our community, and<br>to attend our BoF “The IO-500 and the Virtual Institute of I/O” at SC<br>2018 [2] where we will announce the third ever IO500 list. The<br>current list includes results from BeeGPFS, DataWarp, IME, Lustre, and<br>Spectrum Scale. We hope that the next list has even more.<br><br>We look forward to answering any questions or concerns you might have.<br><br>[1] <a href="http://io500.org/submission">http://io500.org/submission</a><br>[2] <a href="https://sc18.supercomputing.org/presentation/?id=bof134&sess=sess390" rel="noreferrer" target="_blank">https://sc18.supercomputing.org/presentation/?id=bof134&sess=sess390</a><br></div></div></div></div></div>