<div dir="ltr"><div><div><div>Alexander,<br><br></div>Thanks for the response.<br><br></div>As for tasks hanging bug, I removed "deadlock" from its title: there is another exception, which I didn't find due to huge number of traces from deadlock detector.<br><br></div>As for random test failures bugs, I totally agree we should focus on them. Just look at this: <a href="https://review.openstack.org/#/c/262183/">https://review.openstack.org/#/c/262183/</a> - I ran "recheck" 5 times, rebased on master 1 time and still no luck: sometimes I get -1 from Jenkins, sometimes from Fuel CI. I think this is a Critical issue.<br></div><div class="gmail_extra"><br><div class="gmail_quote">2015-12-30 16:39 GMT+03:00 Alexander Kislitsky <span dir="ltr"><<a href="mailto:akislitsky@mirantis.com" target="_blank">akislitsky@mirantis.com</a>></span>:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Hi, guys.<div><br></div><div>Igor is absolutelly right - there are no deadlocks. We have only warnings from detector, but they caused by difference between actual locking order in the code and allowed by detector. It is annoying, but detection is used only in development environment, thus it is not high bug.</div><div><br></div><div>When DB deadlock occurs we have ShareLock exception in the logs and it raised before detector warning. So we always have deadlock exception in the logs if it occurs.<br></div><div>I think tests failures are caused by another issue. As I can see we have a set of random failures in the tests now and bugs on it:</div><div><br></div><div><a href="https://bugs.launchpad.net/fuel/+bug/1437232" target="_blank">https://bugs.launchpad.net/fuel/+bug/1437232</a><br></div><div><a href="https://bugs.launchpad.net/fuel/+bug/1502908" target="_blank">https://bugs.launchpad.net/fuel/+bug/1502908</a><br></div><div><a href="https://bugs.launchpad.net/fuel/+bug/1518268" target="_blank">https://bugs.launchpad.net/fuel/+bug/1518268</a><br></div><div><a href="https://bugs.launchpad.net/fuel/+bug/1521966" target="_blank">https://bugs.launchpad.net/fuel/+bug/1521966</a><br></div><div><br></div><div>We should focus on fixing these bugs. Could you please help us with detection of the root cause of UI tests failures? May be we have another floating bug in tests.</div></div><div class="HOEnZb"><div class="h5"><div class="gmail_extra"><br><div class="gmail_quote">On Wed, Dec 30, 2015 at 4:11 PM, Igor Kalnitsky <span dir="ltr"><<a href="mailto:ikalnitsky@mirantis.com" target="_blank">ikalnitsky@mirantis.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hey Vitaly,<br>
<br>
Are you the problem is in deadlock? I see the deadlock detecter<br>
traceback, but not an actual deadlock.<br>
<br>
I'm not sure could it be a reason for failure or not, it's better to<br>
ask Alexander Kislitsky.<br>
<br>
Thanks,<br>
Igor<br>
<div><div><br>
On Wed, Dec 30, 2015 at 2:57 PM, Vitaly Kramskikh<br>
<<a href="mailto:vkramskikh@mirantis.com" target="_blank">vkramskikh@mirantis.com</a>> wrote:<br>
> Hi,<br>
><br>
> We have a long-living issue with deadlocks in nailgun which used to almost<br>
> harmless and caused rare test failures. But test failures become more<br>
> frequent and today there is ~20% probability that they will fail on a<br>
> working code, which is really annoying. Moreover, a few weeks ago it started<br>
> to affect UI functional tests: cluster reset task may hang, so this issue<br>
> now may affect real deployments.<br>
><br>
> I think we need to do something with it ASAP.<br>
><br>
> --<br>
> Vitaly Kramskikh,<br>
> Fuel UI Tech Lead,<br>
> Mirantis, Inc.<br>
><br>
</div></div>> __________________________________________________________________________<br>
> OpenStack Development Mailing List (not for usage questions)<br>
> Unsubscribe: <a href="http://OpenStack-dev-request@lists.openstack.org?subject:unsubscribe" rel="noreferrer" target="_blank">OpenStack-dev-request@lists.openstack.org?subject:unsubscribe</a><br>
> <a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" rel="noreferrer" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
><br>
<br>
__________________________________________________________________________<br>
OpenStack Development Mailing List (not for usage questions)<br>
Unsubscribe: <a href="http://OpenStack-dev-request@lists.openstack.org?subject:unsubscribe" rel="noreferrer" target="_blank">OpenStack-dev-request@lists.openstack.org?subject:unsubscribe</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" rel="noreferrer" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
</blockquote></div><br></div>
</div></div><br>__________________________________________________________________________<br>
OpenStack Development Mailing List (not for usage questions)<br>
Unsubscribe: <a href="http://OpenStack-dev-request@lists.openstack.org?subject:unsubscribe" rel="noreferrer" target="_blank">OpenStack-dev-request@lists.openstack.org?subject:unsubscribe</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" rel="noreferrer" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
<br></blockquote></div><br><br clear="all"><br>-- <br><div class="gmail_signature"><div dir="ltr"><div><div dir="ltr">Vitaly Kramskikh,<br>Fuel UI Tech Lead,<br>Mirantis, Inc.</div></div></div></div>
</div>