<div dir="ltr">Hi Sean,<div><br></div><div>I looked further yesterday and nailed down an issue which cause a spike of failures due to a patch merged on thursday early morning (GMT), for which a patch was pushed to gerrit.</div>
<div>I then handed off to Armando Migliaccio, who has already pushed a few patches to solve these issues. (which are apparently more than one).</div><div><br></div><div><a href="https://review.openstack.org/#/c/54752/">https://review.openstack.org/#/c/54752/</a><br>
</div><div><a href="https://review.openstack.org/#/c/54850/">https://review.openstack.org/#/c/54850/</a><br></div><div><br></div><div>there are also other patches related to postgres from Armando, but I'll leave to him to comment on whether they're related or not.</div>
<div><br></div><div>Salvatore</div></div><div class="gmail_extra"><br><br><div class="gmail_quote">On 1 November 2013 18:07, Sean Dague <span dir="ltr"><<a href="mailto:sean@dague.net" target="_blank">sean@dague.net</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Over the last 7 days -<br>
<a href="http://logstash.openstack.org/#eyJzZWFyY2giOiIobWVzc2FnZTpcIkZpbmlzaGVkOiBTVUNDRVNTXCIgT1IgbWVzc2FnZTpcIkZpbmlzaGVkOiBGQUlMVVJFXCIpIEFORCBidWlsZF9uYW1lOmdhdGUtdGVtcGVzdC1kZXZzdGFjay12bS1uZXV0cm9uLXBnLWlzb2xhdGVkIiwiZmllbGRzIjpbXSwib2Zmc2V0IjowLCJ0aW1lZnJhbWUiOiI2MDQ4MDAiLCJncmFwaG1vZGUiOiJjb3VudCIsInRpbWUiOnsidXNlcl9pbnRlcnZhbCI6MH0sInN0YW1wIjoxMzgzMzI4OTEyNzEzfQ==" target="_blank">http://logstash.openstack.org/#eyJzZWFyY2giOiIobWVzc2FnZTpcIkZpbmlzaGVkOiBTVUNDRVNTXCIgT1IgbWVzc2FnZTpcIkZpbmlzaGVkOiBGQUlMVVJFXCIpIEFORCBidWlsZF9uYW1lOmdhdGUtdGVtcGVzdC1kZXZzdGFjay12bS1uZXV0cm9uLXBnLWlzb2xhdGVkIiwiZmllbGRzIjpbXSwib2Zmc2V0IjowLCJ0aW1lZnJhbWUiOiI2MDQ4MDAiLCJncmFwaG1vZGUiOiJjb3VudCIsInRpbWUiOnsidXNlcl9pbnRlcnZhbCI6MH0sInN0YW1wIjoxMzgzMzI4OTEyNzEzfQ==</a><br>

<br>
There is a 45% Failure rate of the<br>
gate-tempest-devstack-vm-neutron-pg-isolated in neutron. Salvadore and I<br>
were looking at logs the other day, and there are clearly SQL errors<br>
being through because some of the Neutron queries are mysql specific<br>
now. That may or may not be the issue, but it's at least suspicious.<br>
<br>
This is only currently affecting the neutron project jobs, because we<br>
removed this from tempest yesterday as it was preventing us from merging<br>
any non related code.<br>
<br>
But 45% is a really high race failure rate, it would be really good if<br>
the neutron team could prioritize addressing this. I realize it's summit<br>
week, so things are slow, but please ensure this comes up as part of the<br>
overall discussion.<br>
<span class="HOEnZb"><font color="#888888"><br>
        -Sean<br>
<br>
--<br>
Sean Dague<br>
<a href="http://dague.net" target="_blank">http://dague.net</a><br>
<br>
</font></span><br>_______________________________________________<br>
OpenStack-dev mailing list<br>
<a href="mailto:OpenStack-dev@lists.openstack.org">OpenStack-dev@lists.openstack.org</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
<br></blockquote></div><br></div>