<div dir="ltr"><br><div class="gmail_extra"><br><br><div class="gmail_quote">On Thu, Dec 12, 2013 at 7:19 PM, Matt Riedemann <span dir="ltr"><<a href="mailto:mriedem@linux.vnet.ibm.com" target="_blank">mriedem@linux.vnet.ibm.com</a>></span> wrote:<br>

<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div class=""><div class="h5"><br>
<br>
On 12/12/2013 7:20 AM, Sean Dague wrote:<br>
</div></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div><div class="h5">
Current Gate Length: 12hrs*, 41 deep<br>
<br>
(top of gate entered 12hrs ago)<br>
<br>
It's been an *exciting* week this week. For people not paying attention<br>
we had 2 external events which made things terrible earlier in the week.<br>
<br>
==========================<br>
Event 1: sphinx 1.2 complete breakage - MOSTLY RESOLVED<br>
==========================<br>
<br>
It turns out sphinx 1.2 + distutils (which pbr magic call through) means<br>
total sadness. The fix for this was a requirements pin to sphinx < 1.2,<br>
and until a project has taken that they will fail in the gate.<br>
<br>
It also turns out that tox installs pre-released software by default (a<br>
terrible default behavior), so you also need a tox.ini change like this<br>
- <a href="https://github.com/openstack/nova/blob/master/tox.ini#L9" target="_blank">https://github.com/openstack/<u></u>nova/blob/master/tox.ini#L9</a> otherwise<br>
local users will install things like sphinx 1.2b3. They will also break<br>
in other ways.<br>
<br>
Not all projects have merged this. If you are a project that hasn't,<br>
please don't send any other jobs to the gate until you do. A lot of<br>
delay was added to the gate yesterday by Glance patches being pushed to<br>
the gate before their doc jobs were done.<br>
<br>
==========================<br>
Event 2: <a href="http://apt.puppetlabs.com" target="_blank">apt.puppetlabs.com</a> outage - RESOLVED<br>
==========================<br>
<br>
We use that apt repository to setup the devstack nodes in nodepool with<br>
puppet. We were triggering an issue with grenade where it's apt-get<br>
calls were failing, because it does apt-get update once to make sure<br>
life is good. This only triggered in grenade (noth other devstack runs)<br>
because we do set -o errexit aggressively.<br>
<br>
A fix in grenade to ignore these errors was merged yesterday afternoon<br>
(the purple line - <a href="http://status.openstack.org/elastic-recheck/" target="_blank">http://status.openstack.org/<u></u>elastic-recheck/</a> you can<br>
see where it showed up).<br>
<br>
==========================<br>
Top Gate Bugs<br>
==========================<br>
<br>
We normally do this as a list, and you can see the whole list here -<br>
<a href="http://status.openstack.org/elastic-recheck/" target="_blank">http://status.openstack.org/<u></u>elastic-recheck/</a> (now sorted by number of<br>
FAILURES in the last 2 weeks)<br>
<br>
That being said, our bigs race bug is currently this one bug -<br>
<a href="https://bugs.launchpad.net/tempest/+bug/1253896" target="_blank">https://bugs.launchpad.net/<u></u>tempest/+bug/1253896</a> - and if you want to<br>
merge patches, fixing that one bug will be huge.<br>
<br>
Basically, you can't ssh into guests that get created. That's sort of a<br>
fundamental property of a cloud. It shows up more frequently on neutron<br>
jobs, possibly due to actually testing the metadata server path. There<br>
have been many attempts on retry logic on this, we actually retry for<br>
196 seconds to get in and only fail once we can't get in, so waiting<br>
isn't helping. It doesn't seem like the env is under that much load.<br>
<br>
Until we resolve this, life will not be good in landing patches.<br>
<br>
        -Sean<br>
<br>
<br>
<br></div></div><div class="im">
______________________________<u></u>_________________<br>
OpenStack-dev mailing list<br>
<a href="mailto:OpenStack-dev@lists.openstack.org" target="_blank">OpenStack-dev@lists.openstack.<u></u>org</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" target="_blank">http://lists.openstack.org/<u></u>cgi-bin/mailman/listinfo/<u></u>openstack-dev</a><br>
<br>
</div></blockquote>
<br>
There have been a few threads [1][2] on gate failures and the process around what happens when we go about identifying, tracking and fixing them.<br>
<br>
I couldn't find anything outside of the mailing list to keep a record of this so started a page here [3].<br></blockquote><div><br></div><div>Thanks for writing down all that content! but we are trying to keep all the elastic-recheck documentation in elastic-recheck.  So a patch to elastic-recheck docs would be very welcome.</div>

<div><br></div><div><a href="https://review.openstack.org/#/c/61300/1">https://review.openstack.org/#/c/61300/1</a><br></div><div><a href="https://review.openstack.org/#/c/61298/">https://review.openstack.org/#/c/61298/</a><br>

</div><div><br></div><div><br></div><div>The one big thing that wiki doesn't mention, is one of the most important parts, actually fixing the bugs from <a href="http://status.openstack.org/elastic-recheck/">http://status.openstack.org/elastic-recheck/</a>. </div>

<div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">
<br>
Feel free to contribute so we can point people to how they can easily help in working these faster.<br>
<br>
[1] <a href="http://lists.openstack.org/pipermail/openstack-dev/2013-November/020280.html" target="_blank">http://lists.openstack.org/<u></u>pipermail/openstack-dev/2013-<u></u>November/020280.html</a><br>
[2] <a href="http://lists.openstack.org/pipermail/openstack-dev/2013-November/019931.html" target="_blank">http://lists.openstack.org/<u></u>pipermail/openstack-dev/2013-<u></u>November/019931.html</a><br>
[3] <a href="https://wiki.openstack.org/wiki/ElasticRecheck" target="_blank">https://wiki.openstack.org/<u></u>wiki/ElasticRecheck</a><span class=""><font color="#888888"><br>
<br>
-- <br>
<br>
Thanks,<br>
<br>
Matt Riedemann</font></span><div class=""><div class="h5"><br>
<br>
<br>
______________________________<u></u>_________________<br>
OpenStack-dev mailing list<br>
<a href="mailto:OpenStack-dev@lists.openstack.org" target="_blank">OpenStack-dev@lists.openstack.<u></u>org</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" target="_blank">http://lists.openstack.org/<u></u>cgi-bin/mailman/listinfo/<u></u>openstack-dev</a><br>
</div></div></blockquote></div><br></div></div>