<div dir="ltr"><div><div><div><div><div>Update:<br><br></div>   Cinder - GlusterFS CI job (ubuntu based) was added as experimental (non voting) to cinder project [1]<br></div>Its running successfully without any issue so far [2], [3]<br><br></div>We will monitor it for few days and if it continues to run fine, we will propose a patch to make it check (voting)<br><br>[1]: <a href="https://review.openstack.org/160664">https://review.openstack.org/160664</a><br>[2]: <a href="https://jenkins07.openstack.org/job/gate-tempest-dsvm-full-glusterfs/">https://jenkins07.openstack.org/job/gate-tempest-dsvm-full-glusterfs/</a><br>[3]: <a href="https://jenkins02.openstack.org/job/gate-tempest-dsvm-full-glusterfs/">https://jenkins02.openstack.org/job/gate-tempest-dsvm-full-glusterfs/</a><br><br></div>thanx,<br></div>deepak<br></div><div class="gmail_extra"><br><div class="gmail_quote">On Fri, Feb 27, 2015 at 10:47 PM, Deepak Shetty <span dir="ltr"><<a href="mailto:dpkshetty@gmail.com" target="_blank">dpkshetty@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote"><div><div class="h5">On Fri, Feb 27, 2015 at 4:02 PM, Deepak Shetty <span dir="ltr"><<a href="mailto:dpkshetty@gmail.com" target="_blank">dpkshetty@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><br><div class="gmail_extra"><div><div><br><div class="gmail_quote">On Wed, Feb 25, 2015 at 11:48 PM, Deepak Shetty <span dir="ltr"><<a href="mailto:dpkshetty@gmail.com" target="_blank">dpkshetty@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote"><span>On Wed, Feb 25, 2015 at 8:42 PM, Deepak Shetty <span dir="ltr"><<a href="mailto:dpkshetty@gmail.com" target="_blank">dpkshetty@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote"><span>On Wed, Feb 25, 2015 at 6:34 PM, Jeremy Stanley <span dir="ltr"><<a href="mailto:fungi@yuggoth.org" target="_blank">fungi@yuggoth.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">On 2015-02-25 17:02:34 +0530 (+0530), Deepak Shetty wrote:<br>
[...]<br>
<span>> Run 2) We removed glusterfs backend, so Cinder was configured with<br>
> the default storage backend i.e. LVM. We re-created the OOM here<br>
> too<br>
><br>
> So that proves that glusterfs doesn't cause it, as its happening<br>
> without glusterfs too.<br>
<br>
</span>Well, if you re-ran the job on the same VM then the second result is<br>
potentially contaminated. Luckily this hypothesis can be confirmed<br>
by running the second test on a fresh VM in Rackspace.<br></blockquote><div><br></div></span><div>Maybe true, but we did the same on hpcloud provider VM too and both time<br></div><div>it ran successfully with glusterfs as the cinder backend. Also before starting<br></div><div>the 2nd run, we did unstack and saw that free memory did go back to 5G+<br>and then re-invoked your script, I believe the contamination could result in some<br></div><div>additional testcase failures (which we did see) but shouldn't be related to<br></div><div>whether system can OOM or not, since thats a runtime thing.<br><br></div><div>I see that the VM is up again. We will execute the 2nd run afresh now and update<br></div><div>here.<br></div></div></div></div></blockquote><div><br></div></span><div>Ran tempest with configured with default backend i.e. LVM and was able to recreate<br></div><div>the OOM issue, so running tempest without gluster against a fresh VM reliably<br></div><div>recreates the OOM issue, snip below from syslog.<br><br>Feb 25 16:58:37 devstack-centos7-rax-dfw-979654 kernel: glance-api invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0<br><br></div><div>Had a discussion with clarkb on IRC and given that F20 is discontinued, F21 has issues with tempest (under debug by ianw)<br></div><div>and centos7 also has issues on rax (as evident from this thread), the only option left is to go with ubuntu based CI job, which<br></div><div>BharatK is working on now.<br></div></div></div></div></blockquote><div><br></div></div></div></div>Quick Update:<br><br></div><div class="gmail_extra">    Cinder-GlusterFS CI job on ubuntu was added (<a href="https://review.openstack.org/159217" target="_blank">https://review.openstack.org/159217</a>)<br><br></div><div class="gmail_extra">We ran it 3 times against our stackforge repo patch @ <a href="https://review.openstack.org/159711" target="_blank">https://review.openstack.org/159711</a><br>and it works fine (2 testcase failures, which are expected and we're working towards fixing them)<br><br></div><div class="gmail_extra">For the logs of the 3 experimental runs, look @ <br><a href="http://logs.openstack.org/11/159711/1/experimental/gate-tempest-dsvm-full-glusterfs/" target="_blank">http://logs.openstack.org/11/159711/1/experimental/gate-tempest-dsvm-full-glusterfs/</a><br><br></div><div class="gmail_extra">Of the 3 jobs, 1 was schedued on rax and 2 on hpcloud, so its working nicely across<br>the different cloud providers.<br></div></div></blockquote><div><br></div></div></div><div>Clarkb, Fungi,<br></div><div>  Given that the ubuntu job is stable, I would like to propose to add it as experimental to the<br></div><div>openstack cinder while we work on fixing the 2 failed test cases in parallel<br><br></div><div>thanx,<br></div><div>deepak<br></div></div><br></div></div>
</blockquote></div><br></div>