<div dir="ltr">Hello,<div><br></div><div>I have created an OpenStack Havana environment and configured Nova to use libgfapi. I'm running into an odd issue, though:</div><div><br></div><div>The cloud consists of five compute nodes. Four of them are also running Gluster and host a Distributed Replicated volume called "volumes". All Cinder services are running on the Cloud Controller. cinder-volume can successfully mount the Gluster volume and create volumes with it.</div>
<div><br></div><div>nova-compute is able to boot from a volume and is successfully using libgfapi (grep gluster /etc/libvirt/qemu/*.xml).</div><div><br></div><div>Except on the fifth compute node -- the one that is not running Gluster.</div>
<div><br></div><div>I have narrowed the issue down to the "libvirt-qemu" user on c05 not being able to use qemu to connect to the Gluster service on any of the other four compute nodes. "root" on c05 can. When libvirt-qemu tries, the command just hangs.</div>
<div><br></div><div>On any of the other four compute nodes, as long as they connect to their local Gluster service, everything works.</div><div><br></div><div>I have previously posted this to the gluster-users mailing list, but haven't found a solution. There's a lot of supplemental details, so here's the link to the thread:</div>
<div><br></div><div><a href="http://supercolony.gluster.org/pipermail/gluster-users/2013-December/038302.html">http://supercolony.gluster.org/pipermail/gluster-users/2013-December/038302.html</a><br></div><div><br></div><div>
<br></div><div>In order to get libgfapi working on Ubuntu, I had to jump through a few hoops. First, I used, what I believe is, an unofficial Gluster repo:</div><div><br></div><div><a href="https://launchpad.net/~semiosis/+archive/ubuntu-glusterfs-3.4">https://launchpad.net/~semiosis/+archive/ubuntu-glusterfs-3.4</a><br>
</div><div><br></div><div>Next, I had to recompile the qemu package that is in the Ubuntu Havana repo to support libgfapi:</div><div><br></div><div><a href="https://bugs.launchpad.net/ubuntu/+source/qemu/+bug/1224517">https://bugs.launchpad.net/ubuntu/+source/qemu/+bug/1224517</a><br>
</div><div><br></div><div>I haven't had time to try to replicate this issue on a RedHat-based distribution. If anyone can confirm this issue does *not* exist on RedHat, at least I know the issue is localized to Ubuntu and can focus attention there.</div>
<div><br></div><div>Or if anyone knows what the exact cause and solution is, that'd be great, too  :)</div><div><br></div><div><br></div><div>To get around this issue for now, I have dropped c05 from the cloud. On the Cloud Controller, I have made an entry in /etc/hosts called "gluster" that points to c01. On the four other compute nodes, the "gluster" entry in /etc/hosts points to 127.0.0.1. This allows me to specify </div>
<div><br></div><div>gluster:/volumes</div><div><br></div><div>in /etc/cinder/shares.conf and everyone will connect to the right Gluster service. I feel this is a dirty hack, though.</div><div><br></div><div>Thanks,</div><div>
Joe</div></div>