<div dir="ltr"><div class="gmail_extra"><div class="gmail_quote">On Fri, Nov 7, 2014 at 11:43 AM, MailingLists - EWS <span dir="ltr"><<a href="mailto:mailinglists@expresswebsystems.com" target="_blank">mailinglists@expresswebsystems.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div lang="EN-US" link="blue" vlink="purple"><div><p class="MsoNormal">Since there seems to be a fair amount of people on this list running Ceph with Openstack, I wanted to ask what configuration most people are using for their Ceph/Openstack configuration.<u></u><u></u></p><p class="MsoNormal"><u></u> <u></u></p><p class="MsoNormal">We tried installing Ceph on CentOS 6 (storage nodes and nova nodes) but discovered that the kernel that is included in RDO (for nova) doesn’t include rbd support in qemu-img. No problem we thought, we will just use the kernel-lt from elrepo which does include support for rbd. However after installing those kernels we discovered that our GRE based networking didn’t work. After some additional troubleshooting we determined that the kernel-lt didn’t include the backported ovs vport GRE capability that the RDO kernel has (it apparently was added in 3.11 but kernel-lt is 3.10).<u></u><u></u></p><p class="MsoNormal"><u></u></p></div></div></blockquote><div><br></div><div>You shouldn't need a special kernel unless you're going to do things like try to mount an rbd image directly to one of your nodes. I'm running my Icehouse cluster with the stock 2.6 kernel. Same for the ceph nodes if you run them separately. What you do need are the qemu-kvm and qemu-img packages from the ceph-extras repo on your compute nodes as the stock Redhat ones do not have RBD support compiled in. If you're going to run Juno though, you'll need to go to CentOS 7 as i don't believe there are RDO packages for 6.5. That eliminates the need for the custom qemu packages.</div><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div lang="EN-US" link="blue" vlink="purple"><div><p class="MsoNormal"> <u></u></p><p class="MsoNormal">So we have to decide how we want to implement our cluster and cloud. <u></u><u></u></p><p class="MsoNormal"><u></u> <u></u></p><p class="MsoNormal">Are you implementing Openstack on Debian/Ubuntu to get around these sorts of issues? <u></u><u></u></p><p class="MsoNormal">Are you running newer mainline kernels (kernel-ml) with CentOS 6? <u></u><u></u></p><p class="MsoNormal">Or are you running vlan based tenant isolation for your tenant networks? <u></u><u></u></p><p class="MsoNormal">Are you running custom compiled kernels?<u></u><u></u></p><p class="MsoNormal">Is there something else I am missing?<u></u><u></u></p><p class="MsoNormal"><u></u></p></div></div></blockquote><div><br></div><div>I'm using GRE on Icehouse and VXLAN on Juno. Both work fine. Be aware there is at least one bug I've run into with Juno and Glance with RBD that will cause slow performance. It's easily remedied though either by tweaking the code or setting your chunk size to 8192 instead of 8.</div><div><br></div><div><a href="https://bugs.launchpad.net/glance/+bug/1390386">https://bugs.launchpad.net/glance/+bug/1390386</a></div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div lang="EN-US" link="blue" vlink="purple"><div><p class="MsoNormal"> <u></u></p><p class="MsoNormal">Any input from your experience is greatly appreciated.<u></u><u></u></p><p class="MsoNormal"><u></u> <u></u></p><p class="MsoNormal">Warm regards,<u></u><u></u></p><p class="MsoNormal"><u></u> <u></u></p><p class="MsoNormal">Tom Walsh<u></u><u></u></p><p class="MsoNormal">Express Web Systems<u></u><u></u></p></div></div><br>_______________________________________________<br>
OpenStack-operators mailing list<br>
<a href="mailto:OpenStack-operators@lists.openstack.org">OpenStack-operators@lists.openstack.org</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-operators" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-operators</a><br>
<br></blockquote></div><br></div><div class="gmail_extra">Cheers,</div><div class="gmail_extra">Erik</div></div>