<div dir="ltr">Thanks William ! I'm really interested in any contention issues between the compute workload and the storage workload in converged nodes, and how folks who are doing this are managing that.</div><div class="gmail_extra"><br><div class="gmail_quote">On 3 September 2016 at 13:21, William Josefsson <span dir="ltr"><<a href="mailto:william.josefson@gmail.com" target="_blank">william.josefson@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi matt, the hardware depends on your workload requirements,<br>
especially when we are talking latency. I do Dell PE R630s for<br>
Controllers, and R730 for Compute/Ceph. The latter got 8x400G Intel<br>
S3610+18xHitachi 1.8T SAS. Depending on the workload sensitivity if<br>
you have DBs and long distance between servers, you probably wanna<br>
look at fiber NICs and Switches, mellanox is popular but doesn't come<br>
for free. I do pure 6x10G Intel ixgbe in the 730s, all bonded LACP to<br>
Arista 7050X copper, total capacity per bond is 20Gbit (2x10G active<br>
active). I will test a pure flash array and see how it works too.<br>
<br>
If you have some very large flash array, you may wanna consider single<br>
socket. You can watch this video where they run DBs etc., on pure<br>
flash arrays and give some advice<br>
<a href="https://www.youtube.com/watch?v=OqlC7S3cUKs" rel="noreferrer" target="_blank">https://www.youtube.com/watch?<wbr>v=OqlC7S3cUKs</a> . thx will<br>
<div class="HOEnZb"><div class="h5"><br>
On Wed, Aug 31, 2016 at 8:01 PM, Matt Jarvis<br>
<<a href="mailto:matt.jarvis@datacentred.co.uk">matt.jarvis@datacentred.co.uk</a><wbr>> wrote:<br>
> Time once again to dredge this topic up and see what the wider operators<br>
> community thinks this time :) There were a fair amount of summit submissions<br>
> for Barcelona talking about converged and hyper-converged infrastructure, it<br>
> seems to be the topic de jour from vendors at the minute despite feeling<br>
> like we've been round this before with Nebula, Piston Cloud etc.<br>
><br>
> Like a lot of others we run Ceph, and we absolutely don't converge our<br>
> storage and compute nodes for a variety of performance and management<br>
> related reasons. In our experience, the hardware and tuning characteristics<br>
> of both types of nodes are pretty different, in any kind of recovery<br>
> scenarios Ceph eats memory, and it feels like creating a SPOF.<br>
><br>
> Having said that, with pure SSD clusters becoming more common, some of those<br>
> issues may well be mitigated, so is anyone doing this in production now ? If<br>
> so, what does your hardware platform look like, and are there issues with<br>
> these kinds of architectures ?<br>
><br>
> Matt<br>
><br>
</div></div><div class="HOEnZb"><div class="h5">> DataCentred Limited registered in England and Wales no. 05611763<br>
> ______________________________<wbr>_________________<br>
> OpenStack-operators mailing list<br>
> <a href="mailto:OpenStack-operators@lists.openstack.org">OpenStack-operators@lists.<wbr>openstack.org</a><br>
> <a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-operators" rel="noreferrer" target="_blank">http://lists.openstack.org/<wbr>cgi-bin/mailman/listinfo/<wbr>openstack-operators</a><br>
><br>
</div></div></blockquote></div><br></div>

<br>
<span style="color:rgb(34,34,34);font-family:arial,sans-serif;background-color:rgb(255,255,255)">DataCentred Limited registered in England and Wales no. 05611763</span>