<div dir="ltr"><div id="magicdomid7" class="" style="margin:0px;padding:0px 1px 0px 0px"><div id="magicdomid7" class="" style="margin:0px;padding:0px 1px 0px 0px"><font color="#000000" face="Arial, sans-serif"><span style="font-size:12px;line-height:16px">Hi All,</span></font></div>

<div id="magicdomid7" class="" style="margin:0px;padding:0px 1px 0px 0px"><font color="#000000" face="Arial, sans-serif"><span style="font-size:12px;line-height:16px"><br></span></font></div><div id="magicdomid7" class="" style="margin:0px;padding:0px 1px 0px 0px">

<font color="#000000" face="Arial, sans-serif"><span style="font-size:12px;line-height:16px">TL;DR: We will be automatically identifying your flaky tempest runs, so you just have to confirm that you hit bug x, not identify which bug you hit.</span></font></div>

<div id="magicdomid7" class="" style="margin:0px;padding:0px 1px 0px 0px"><font color="#000000" face="Arial, sans-serif"><span style="font-size:12px;line-height:16px"><br></span></font></div><div id="magicdomid7" class="" style="margin:0px;padding:0px 1px 0px 0px">

<font color="#000000" face="Arial, sans-serif"><span style="font-size:12px;line-height:16px"><br></span></font></div><div id="magicdomid7" class="" style="margin:0px;padding:0px 1px 0px 0px"><font color="#000000" face="Arial, sans-serif"><span style="font-size:12px;line-height:16px"><a href="http://status.openstack.org/rechecks/">http://status.openstack.org/rechecks/</a> is a great tool to identify which bugs are causing our gating to be flaky allowing for better prioritization of bug fixing. But as many of you have noticed hunting down which bug to use for your recheck can be tedious, and using 'recheck no bug' just kicks the problem down the road for someone else to deal with.</span></font></div>

<div id="magicdomid7" class="" style="margin:0px;padding:0px 1px 0px 0px"><font color="#000000" face="Arial, sans-serif"><span style="font-size:12px;line-height:16px"><br></span></font></div><div id="magicdomid7" class="" style="margin:0px;padding:0px 1px 0px 0px">

<font color="#000000" face="Arial, sans-serif"><span style="font-size:12px;line-height:16px">To address this issue, Matthew Treinish, Clark Boylan, myself, and others have started elastic-recheck [<a href="https://github.com/openstack-infra/elastic-recheck">https://github.com/openstack-infra/elastic-recheck</a>] to classify tempest-devstack failures using ElasticSearch [<a href="http://logstash.openstack.org">http://logstash.openstack.org</a>].  When we hit a new bug, we use <a href="http://logstash.openstack.org">http://logstash.openstack.org</a> to manually find an ElasticSearch fingerprint for it <a href="(https://github.com/openstack-infra/elastic-recheck/blob/master/queries.json">(https://github.com/openstack-infra/elastic-recheck/blob/master/queries.json</a>).  And every time we see a new tempst-devstack failure we try to classify it, and report back to <a href="http://review.openstack.org">review.openstack.org</a> so the patch author can confirm that was the bug they saw and run a recheck.</span></font></div>

<div id="magicdomid7" class="" style="margin:0px;padding:0px 1px 0px 0px"><font color="#000000" face="Arial, sans-serif"><span style="font-size:12px;line-height:16px"><br></span></font></div><div id="magicdomid7" class="" style="margin:0px;padding:0px 1px 0px 0px">

<font color="#000000" face="Arial, sans-serif"><span style="font-size:12px;line-height:16px">We are in the middle of rolling this out, and you can expect to see elastic-recheck commenting on your failed tempest jobs in the next few days.</span></font></div>

<div id="magicdomid7" class="" style="margin:0px;padding:0px 1px 0px 0px"><font color="#000000" face="Arial, sans-serif"><span style="font-size:12px;line-height:16px"><br></span></font></div><div id="magicdomid7" class="" style="margin:0px;padding:0px 1px 0px 0px">

<font color="#000000" face="Arial, sans-serif"><span style="font-size:12px;line-height:16px">Gotchas:</span></font></div><div id="magicdomid7" class="" style="margin:0px;padding:0px 1px 0px 0px"><font color="#000000" face="Arial, sans-serif"><span style="font-size:12px;line-height:16px"><br>

</span></font></div><div id="magicdomid7" class="" style="margin:0px;padding:0px 1px 0px 0px"><font color="#000000" face="Arial, sans-serif"><span style="font-size:12px;line-height:16px">* Identifying which bugs are frequent is only the first step, we still need to fix them.  Otherwise tempest will stay flaky.  We have about a 25% failure rate in the gate pipeline, as of the most recent numbers.</span></font></div>

<div id="magicdomid7" class="" style="margin:0px;padding:0px 1px 0px 0px"><font color="#000000" face="Arial, sans-serif"><span style="font-size:12px;line-height:16px">* ElasticSearch is currently slow, and although we are fixing that, it may take a few hours before elastic-recheck can classify your failures.</span></font></div>

<div id="magicdomid7" class="" style="margin:0px;padding:0px 1px 0px 0px"><font color="#000000" face="Arial, sans-serif"><span style="font-size:12px;line-height:16px">* We have more work to do on this, so help welcome!</span></font></div>

</div></div>