
<html>


<head>


<meta http-equiv="Content-Type" content="text/html; charset=utf-8">


</head>


<body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space; color: rgb(0, 0, 0); font-size: 14px; font-family: Calibri, sans-serif;">


<div>


<div>Hi,</div>


<div><br>


</div>


<div>I think this question would be better suited to the ceph maillinglist but I will have a go at it.</div>


<div><br>


</div>


<div>> I have a client who isn't happy with the performance of their storage.</div>


</div>


<span id="OLK_SRC_BODY_SECTION">


<div dir="ltr">


<div>> The client is currently running a mix of SAS HDDs and SATA SSDs.</div>


</div>


</span>


<div><br>


</div>


<div>What part are they not happy about? Throughput or IOPS?</div>


<div>Unless you only have very big writes going to ceph throughput does not say a lot.</div>


<div>In general it is easy to get high throughput but IOPS are a whole different story.</div>


<div>E.g. Getting high IOPS on a single instance (e.g. running a mysql database) based on a ceph volume is problematic.</div>


<div>However it is pretty good at lots of low-load (100-200 IOPS) instances.</div>


<div><br>


</div>


<div>> They wanted to remove the SAS HDDs and replace them with SSDs, so the entire array would be SSDs.</div>


<div>> I was running benchmarks on the current hardware and I found that the performance of the HDD array was close to the performance of the SSD array.</div>


<div><br>


</div>


<div>The current ceph code does not make great use of SSDs yet.</div>


<div>There are some improvements being made (using tcmalloc) but afaik it is not in mainline ceph.</div>


<div><br>


</div>


<div>Also do not forget you have quite a few network round-trips before a write can be acked.</div>


<div>There is a nice thread about that here:</div>


<div><a href="http://www.spinics.net/lists/ceph-users/msg24249.html">http://www.spinics.net/lists/ceph-users/msg24249.html</a></div>


<div><br>


</div>


<div><br>


</div>


<div>Something else to think about is that not all SSDs are created equal.</div>


<div>For journals ceph is very picky. </div>


<div>There are some benchmarks here but in general I would stick with Intel 3700 series because of good performance and endurance:</div>


<div><a href="http://www.sebastien-han.fr/blog/2014/10/10/ceph-how-to-test-if-your-ssd-is-suitable-as-a-journal-device">http://www.sebastien-han.fr/blog/2014/10/10/ceph-how-to-test-if-your-ssd-is-suitable-as-a-journal-device</a>/</div>


<div><br>


</div>


<div>> Right now my benchmarks are showing that sequential reads are hitting about 600Mb/s. (I haven't confirmed if their server is PCI-E 2.0 or 3.0)</div>


<span id="OLK_SRC_BODY_SECTION">


<div dir="ltr">


<div>As mentioned before, does the client really want MB/sec or do they want IOPS?</div>


</div>


</span>


<div>Check the workloads before investing any money.</div>


<div><br>


</div>


<div>Cheers,</div>


<div>Robert van Leeuwen</div>


<div><br>


</div>


</body>


</html>