<div dir="ltr"><br><div class="gmail_extra"><br><br><div class="gmail_quote">On Mon, Nov 25, 2013 at 11:06 AM, Joe Gordon <span dir="ltr"><<a href="mailto:joe.gordon0@gmail.com" target="_blank">joe.gordon0@gmail.com</a>></span> wrote:<br>

<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><br><div class="gmail_extra"><br><br><div class="gmail_quote"><div class="im">On Mon, Nov 18, 2013 at 2:58 PM, David Kranz <span dir="ltr"><<a href="mailto:dkranz@redhat.com" target="_blank">dkranz@redhat.com</a>></span> wrote:<br>


<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">So we are close to being able to start doing this. The current whitelist is here <a href="https://github.com/openstack/tempest/blob/master/etc/whitelist.yaml" target="_blank">https://github.com/openstack/<u></u>tempest/blob/master/etc/<u></u>whitelist.yaml</a>. I have a "find-errors" script that watches for successful builds and pulls out the non-whitelisted errors. For the past few weeks I have been doing the following:<br>



<br>
1. Run find-errors<br>
2. File bugs on any new errors<br>
3. Add to whitelist<br>
4. Repeat<br>
<br>
There are still some very flaky cases. I will do one more iteration of this. Right now this script <a href="https://github.com/openstack/tempest/blob/master/tools/check_logs.py" target="_blank">https://github.com/openstack/<u></u>tempest/blob/master/tools/<u></u>check_logs.py</a> dumps non-whitelisted errors to the console log but<br>



always returns success. The question now is how long should all jobs run with no new errors showing, before changing check_logs.py to fail if there are any new errors?<br></blockquote><div><br></div></div><div>The sooner the better.</div>

<div class="im">
<div> </div></div></div></div></div></blockquote><div><br></div><div><br></div><div>Also this is awesome. I expect this to significantly help with keeping the gate stable.</div><div><br></div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">

<div dir="ltr"><div class="gmail_extra"><div class="gmail_quote"><div class="im"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
 -David<br>
<br>
______________________________<u></u>_________________<br>
OpenStack-dev mailing list<br>
<a href="mailto:OpenStack-dev@lists.openstack.org" target="_blank">OpenStack-dev@lists.openstack.<u></u>org</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" target="_blank">http://lists.openstack.org/<u></u>cgi-bin/mailman/listinfo/<u></u>openstack-dev</a><br>
</blockquote></div></div><br></div></div>
</blockquote></div><br></div></div>