<p dir="ltr"><br>
On Nov 27, 2013 11:06 AM, "Jay Pipes" <<a href="mailto:jaypipes@gmail.com">jaypipes@gmail.com</a>> wrote:<br>
><br>
> On 11/27/2013 01:53 PM, David Kranz wrote:<br>
>><br>
>> tl;dr Soon, perhaps next week, tempest gate jobs will start failing if<br>
>> there are any ERROR lines in the logs that are not matched by an entry<br>
>> in <a href="https://github.com/openstack/tempest/blob/master/etc/whitelist.yaml">https://github.com/openstack/tempest/blob/master/etc/whitelist.yaml</a>.<br>
>> There is an exception for neutron because<br>
>> more work needs to be done there for this to be feasible.<br>
>><br>
>> The whitelist file contains a lot of entries that look more like<br>
>> substantial bugs than incorrectly logging an ERROR due to bad<br>
>> client data. I have been tracking this for a while and new things show<br>
>> up frequently. But since the tests pass no one looks at the logs and<br>
>> notices the bug indicators. We need to stop these bugs from getting<br>
>> merged. I have filed individual bugs for many of the items in the<br>
>> whitelist, but by no means all of them. The neutron team is taking on<br>
>> the task of getting rid of their errors and there are so many it is too<br>
>> much work to keep an up-to-date whitelist for neutron. So for the time<br>
>> being, neutron runs will dump all errors to the console but not fail.<br>
>><br>
>> In addition to the fact that these log errors indicate bugs, they make<br>
>> it more difficult to diagnose a problem when builds actually fail in the<br>
>> tempest tests because it can be hard to tell which log errors are<br>
>> "known" and which might be causing the failure. Hopefully some priority<br>
>> will be given to fixing these bugs and removing entries from the<br>
>> whitelist until it is driven to zero.<br>
>><br>
>> If any one has any comments or suggestions to improve this process,<br>
>> please speak up.<br>
><br>
><br>
> Yay! \o/</p>
<p dir="ltr">+1</p>
<p dir="ltr">><br>
> -jay<br>
><br>
><br>
><br>
> _______________________________________________<br>
> OpenStack-dev mailing list<br>
> <a href="mailto:OpenStack-dev@lists.openstack.org">OpenStack-dev@lists.openstack.org</a><br>
> <a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
</p>