<div dir="ltr">Hi Rossella, <div><br></div><div>thanks for doing this work!</div><div>I think your results are pretty much consistent with what we've been empirically observing in recent days.</div><div><br></div><div>
elastic-recheck is flagging a resurgence of bug 1253896, and we need to have somebody look at it as soon as possib.e</div><div>For bug 1291922, I've marked it as a duplicate (so far it's been reported independently by at least 4 people). A patch for it has already merged.</div>
<div>Similarly, I've marked bug 1291918 as a duplicate of bug 1283522. Looking at the logs for this failure, I found out that the actual root cause is a "lock wait timeout". We've seen a spike in this kind of failures in the last 36 hours; for this reason the severity of bug 1283522 was raised to "critical".</div>
<div><br></div><div>I am a bit surprised by seeing an high occurrence of bug 1281969, perhaps because I have no idea how it relates with neutron!</div><div>However, pushing Elastic Recheck queries won't be such a bad idea.</div>
<div>Finally, some of the bugs you found do not seem to be exclusive to neutron (such as bug 1291947). In that case an Elastic Recheck query would be even more useful.</div><div><br></div><div><br></div><div>Thanks again,</div>
<div>Salvatore</div></div><div class="gmail_extra"><br><br><div class="gmail_quote">On 13 March 2014 13:08, Rossella Sblendido <span dir="ltr"><<a href="mailto:rsblendido@suse.com" target="_blank">rsblendido@suse.com</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hello devs,<br>
<br>
I wanted the update the analysis performed by Salvatore Orlando few weeks ago [1]<br>
I used the following query for Logstash [2] to detect the failures of the last 48 hours.<br>
<br>
There were 77 failures (40% of the total).<br>
I classified them and obtained the following:<br>
<br>
21% due to infra issues<br>
16% <a href="https://bugs.launchpad.net/tempest/+bug/1253896" target="_blank">https://bugs.launchpad.net/<u></u>tempest/+bug/1253896</a><br>
14% <a href="https://bugs.launchpad.net/neutron/+bug/1291922" target="_blank">https://bugs.launchpad.net/<u></u>neutron/+bug/1291922</a><br>
12% <a href="https://bugs.launchpad.net/tempest/+bug/1281969" target="_blank">https://bugs.launchpad.net/<u></u>tempest/+bug/1281969</a><br>
10% <a href="https://bugs.launchpad.net/neutron/+bug/1291920" target="_blank">https://bugs.launchpad.net/<u></u>neutron/+bug/1291920</a><br>
7% <a href="https://bugs.launchpad.net/neutron/+bug/1291918" target="_blank">https://bugs.launchpad.net/<u></u>neutron/+bug/1291918</a><br>
7% <a href="https://bugs.launchpad.net/neutron/+bug/1291926" target="_blank">https://bugs.launchpad.net/<u></u>neutron/+bug/1291926</a><br>
5% <a href="https://bugs.launchpad.net/neutron/+bug/1291947" target="_blank">https://bugs.launchpad.net/<u></u>neutron/+bug/1291947</a><br>
3% <a href="https://bugs.launchpad.net/neutron/+bug/1277439" target="_blank">https://bugs.launchpad.net/<u></u>neutron/+bug/1277439</a><br>
3% <a href="https://bugs.launchpad.net/neutron/+bug/1283599" target="_blank">https://bugs.launchpad.net/<u></u>neutron/+bug/1283599</a><br>
2% <a href="https://bugs.launchpad.net/nova/+bug/1255627" target="_blank">https://bugs.launchpad.net/<u></u>nova/+bug/1255627</a><br>
<br>
I had to file 5 new bugs, that are on the previous list and can be viewed here [3].<br>
<br>
cheers,<br>
<br>
Rossella<br>
<br>
[1] <a href="http://lists.openstack.org/pipermail/openstack-dev/2014-February/027862.html" target="_blank">http://lists.openstack.org/<u></u>pipermail/openstack-dev/2014-<u></u>February/027862.html</a><br>
[2] <a href="http://logstash.openstack.org/#eyJzZWFyY2giOiJidWlsZF9uYW1lOlwiY2hlY2stdGVtcGVzdC1kc3ZtLW5ldXRyb24tZnVsbFwiICBBTkQgcHJvamVjdDpcIm9wZW5zdGFjay9uZXV0cm9uXCIgQU5EIG1lc3NhZ2U6XCJGaW5pc2hlZDpcIiBBTkQgYnVpbGRfc3RhdHVzOlwiRkFJTFVSRVwiIEFORCBidWlsZF9icmFuY2g6XCJtYXN0ZXJcIiIsImZpZWxkcyI6W10sIm9mZnNldCI6MCwidGltZWZyYW1lIjoiMTcyODAwIiwiZ3JhcGhtb2RlIjoiY291bnQiLCJ0aW1lIjp7InVzZXJfaW50ZXJ2YWwiOjB9LCJzdGFtcCI6MTM5NDcwNzAzODk5NywibW9kZSI6IiIsImFuYWx5emVfZmllbGQiOiIifQ==" target="_blank">http://logstash.openstack.org/<u></u>#<u></u>eyJzZWFyY2giOiJidWlsZF9uYW1lOl<u></u>wiY2hlY2stdGVtcGVzdC1kc3ZtLW5l<u></u>dXRyb24tZnVsbFwiICBBTkQgcHJvam<u></u>VjdDpcIm9wZW5zdGFjay9uZXV0cm9u<u></u>XCIgQU5EIG1lc3NhZ2U6XCJGaW5pc2<u></u>hlZDpcIiBBTkQgYnVpbGRfc3RhdHVz<u></u>OlwiRkFJTFVSRVwiIEFORCBidWlsZF<u></u>9icmFuY2g6XCJtYXN0ZXJcIiIsImZp<u></u>ZWxkcyI6W10sIm9mZnNldCI6MCwidG<u></u>ltZWZyYW1lIjoiMTcyODAwIiwiZ3Jh<u></u>cGhtb2RlIjoiY291bnQiLCJ0aW1lIj<u></u>p7InVzZXJfaW50ZXJ2YWwiOjB9LCJz<u></u>dGFtcCI6MTM5NDcwNzAzODk5NywibW<u></u>9kZSI6IiIsImFuYWx5emVfZmllbGQi<u></u>OiIifQ==</a><br>

[3] <a href="https://bugs.launchpad.net/neutron/+bugs?field.tag=neutron-full-job" target="_blank">https://bugs.launchpad.net/<u></u>neutron/+bugs?field.tag=<u></u>neutron-full-job</a><br>
<br>
______________________________<u></u>_________________<br>
OpenStack-dev mailing list<br>
<a href="mailto:OpenStack-dev@lists.openstack.org" target="_blank">OpenStack-dev@lists.openstack.<u></u>org</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" target="_blank">http://lists.openstack.org/<u></u>cgi-bin/mailman/listinfo/<u></u>openstack-dev</a><br>
</blockquote></div><br></div>