<div dir="ltr">Ah, thanks! I never even noticed that.</div><div class="gmail_extra"><br><br><div class="gmail_quote">On Tue, May 14, 2013 at 7:10 PM, Heling Yao <span dir="ltr"><<a href="mailto:yaoheling@gmail.com" target="_blank">yaoheling@gmail.com</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div><div>Thanks for sharing this. Kernel 3.5.0 is in official ubuntu repo, and one can install by apt-get install. <br>
<br></div>Cheers,<br><br></div>Heling<br></div><div class="gmail_extra"><br><br><div class="gmail_quote"><div><div class="h5">
On Tue, May 14, 2013 at 11:03 PM, Joe Topjian <span dir="ltr"><<a href="mailto:joe.topjian@cybera.ca" target="_blank">joe.topjian@cybera.ca</a>></span> wrote:<br></div></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div><div class="h5">
<div dir="ltr">Hello,<div><br></div><div>I thought I would post this due to the frequent Gluster talk on the list:</div><div><br></div><div>Just an FYI for anyone thinking of using this volume driver: make sure you are using a kernel greater than 3.3. For Ubuntu 12.04, the 3.4 kernel found here works:</div>


<div><a href="http://kernel.ubuntu.com/~kernel-ppa/mainline/v3.4-precise/" target="_blank">http://kernel.ubuntu.com/~kernel-ppa/mainline/v3.4-precise/</a><br></div><div><br></div><div>The reason for this is that Nova tries to attach the volume using cache="none". This requires the filesystem to support O_DIRECT, which is only available for FUSE-based filesystems in kernels above 3.3.</div>


<div><br></div><div>When trying to attach a gluster-based volume to an instance on a compute node that runs a kernel below 3.3 (eg the stock Ubuntu 12.04 kernel), you will get a very helpful error message of "DeviceIsBusy: The supplied device (vdx) is busy)"...</div>


<div><br></div><div>Hopefully this saves someone the 2 hours of troubleshooting that I went through to figure out the real answer  :)</div><div><br></div><div>This morning I went to file a bug and saw one has already filed:</div>


<div><a href="https://bugs.launchpad.net/nova/+bug/1177103" target="_blank">https://bugs.launchpad.net/nova/+bug/1177103</a></div><div><br></div><div>I love when that happens when you already know the answer you're looking for  :)</div>


<div><br></div><div>I will also be amending the Gluster volume driver docs to note this.</div><div><br></div><div>Finally, this issue seems to be resolved for using Gluster as an instance store. If I remember right, I ran into this same issue several months ago and it was resolved by updating the kernel. Seems like Grizzly correctly detects if O_DIRECT is available or not. </div>


<div><br></div><div>Thanks,</div><div>Joe<span><font color="#888888"><br clear="all"><div><br></div>-- <br>Joe Topjian<div>Systems Administrator</div><div>Cybera Inc.</div><div><br></div><div><a href="http://www.cybera.ca" target="_blank">www.cybera.ca</a></div>


<div><br></div><div><font color="#666666"><span>Cybera</span><span> is a not-for-profit organization that works to spur and support innovation, for the economic benefit of Alberta, through the use of cyberinfrastructure.</span></font></div>



</font></span></div></div>
<br></div></div><div class="im">_______________________________________________<br>
OpenStack-operators mailing list<br>
<a href="mailto:OpenStack-operators@lists.openstack.org" target="_blank">OpenStack-operators@lists.openstack.org</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-operators" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-operators</a><br>
<br></div></blockquote></div><br></div>
</blockquote></div><br><br clear="all"><div><br></div>-- <br><div dir="ltr">Joe Topjian<div>Systems Architect</div><div>Cybera Inc.</div><div><br></div><div><a href="http://www.cybera.ca" target="_blank">www.cybera.ca</a></div>
<div><br></div><div><font color="#666666"><span>Cybera</span><span> is a not-for-profit organization that works to spur and support innovation, for the economic benefit of Alberta, through the use of cyberinfrastructure.</span></font></div>
</div>
</div>