<div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Jan 31, 2017 at 10:37 AM, Matthew Treinish <span dir="ltr"><<a href="mailto:mtreinish@kortar.org" target="_blank">mtreinish@kortar.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span class="">On Tue, Jan 31, 2017 at 01:19:41PM -0500, Steve Martinelli wrote:<br>
> On Tue, Jan 31, 2017 at 12:49 PM, Davanum Srinivas <<a href="mailto:davanum@gmail.com">davanum@gmail.com</a>><br>
> wrote:<br>
><br>
> > Folks,<br>
> ><br>
> > Here's the list of job failures that failed in the gate queue.<br>
> > captured with my script[1][2] since around 10:00 AM today. All jobs<br>
> > failed with just one bad test.<br>
> ><br>
> > <a href="http://logs.openstack.org/48/423548/11/gate/gate-keystone-" rel="noreferrer" target="_blank">http://logs.openstack.org/48/<wbr>423548/11/gate/gate-keystone-</a><br>
> > python27-db-ubuntu-xenial/<wbr>a1f55ca/<br>
> >        - keystone.tests.unit.test_v3_<wbr>auth.TestMFARules<br>
> ><br>
</span>> > <<a href="http://logs.openstack.org/61/424961/1/gate/gate-tempest-dsvm-cells-ubuntu-xenial/8a1f9e7/" rel="noreferrer" target="_blank">http://logs.openstack.org/61/<wbr>424961/1/gate/gate-tempest-<wbr>dsvm-cells-ubuntu-xenial/<wbr>8a1f9e7/</a>><br>
<span class="">><br>
><br>
> This was due to a race condition between token issuance and validation,<br>
> should be fixed.<br>
<br>
</span>Is there a bug open for this? If so lets get an elastic-recheck query up for it<br>
so we can track it and get it off the uncategorized page:<br>
<br></blockquote><div><br></div><div>No bug. Also this is not really fixable because time resolution within tokens and revocations is 1 second. The answer is</div><div>to use freezegun and freeze time when doing things that can cause revocations at the same time as issuance (usually can only really be hit within keystone's unit tests). It is also unlikely to be something that can easily be searched for in elastic search as it revolves around a "token cannot be validated" message (token Not found/revoked/etc), which is used in many cases where tokens cannot be validated (both correctly and in cases like this).</div><div><br></div><div>The other case(es) that hit this actually were so bad they only passed at a ~5% rate.</div><div><br></div><div>So in short, an elastic-recheck-query would be pointless here short of looking specifically for the test name as a failure.</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<a href="http://status.openstack.org/elastic-recheck/data/integrated_gate.html" rel="noreferrer" target="_blank">http://status.openstack.org/<wbr>elastic-recheck/data/<wbr>integrated_gate.html</a><br>
<br>
Our categorization rate is quite low right now and it'll only make things harder<br>
to debug other failures if we've got a bunch of unknown races going on.<br>
<br>
We have a lot of tools to make debugging the gate easier and making everyone more<br>
productive. But, it feels like we haven't been utilizing them fully lately which<br>
makes gate backups more likely and digging out of the hole harder.<br>
<br>
Thanks,<br>
<br>
Matt Treinish<br>
<br>______________________________<wbr>______________________________<wbr>______________<br>
OpenStack Development Mailing List (not for usage questions)<br>
Unsubscribe: <a href="http://OpenStack-dev-request@lists.openstack.org?subject:unsubscribe" rel="noreferrer" target="_blank">OpenStack-dev-request@lists.<wbr>openstack.org?subject:<wbr>unsubscribe</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" rel="noreferrer" target="_blank">http://lists.openstack.org/<wbr>cgi-bin/mailman/listinfo/<wbr>openstack-dev</a><br>
<br></blockquote></div><br></div></div>