<div dir="ltr"><div class="gmail_extra"><div class="gmail_quote">On Fri, Nov 22, 2013 at 2:28 AM, Matt Riedemann <span dir="ltr"><<a href="mailto:mriedem@linux.vnet.ibm.com" target="_blank">mriedem@linux.vnet.ibm.com</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="HOEnZb"><div class="h5"><br>
<br>
On Wednesday, November 20, 2013 11:53:45 PM, Clark Boylan wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
On Wed, Nov 20, 2013 at 9:43 PM, Ken'ichi Ohmichi <<a href="mailto:ken1ohmichi@gmail.com" target="_blank">ken1ohmichi@gmail.com</a>> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Hi Joe,<br>
<br>
2013/11/20 Joe Gordon <<a href="mailto:joe.gordon0@gmail.com" target="_blank">joe.gordon0@gmail.com</a>>:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Hi All,<br>
<br>
As many of you have noticed the gate has been in very bad shape over the<br>
past few days.  Here is a list of some of the top open bugs (without pending<br>
patches, and many recent hits) that we are hitting.  Gate won't be stable,<br>
and it will be hard to get your code merged, until we fix these bugs.<br>
<br>
1) <a href="https://bugs.launchpad.net/bugs/1251920" target="_blank">https://bugs.launchpad.net/<u></u>bugs/1251920</a><br>
nova<br>
468 Hits<br>
</blockquote>
<br>
Can we know the frequency of each failure?<br>
I'm trying 1251920 and putting the investigation tempest patch.<br>
  <a href="https://review.openstack.org/#/c/57193/" target="_blank">https://review.openstack.org/#<u></u>/c/57193/</a><br>
<br>
The patch can avoid this problem 4 times, but I am not sure this is<br>
worth or not.<br>
<br>
<br>
Thanks<br>
Ken'ichi Ohmichi<br>
<br>
---<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
2) <a href="https://bugs.launchpad.net/bugs/1251784" target="_blank">https://bugs.launchpad.net/<u></u>bugs/1251784</a><br>
neutron, Nova<br>
328 Hits<br>
3) <a href="https://bugs.launchpad.net/bugs/1249065" target="_blank">https://bugs.launchpad.net/<u></u>bugs/1249065</a><br>
neutron<br>
   122 hits<br>
4) <a href="https://bugs.launchpad.net/bugs/1251448" target="_blank">https://bugs.launchpad.net/<u></u>bugs/1251448</a><br>
neutron<br>
65 Hits<br>
<br>
Raw Data:<br>
<br>
<br>
Note: If a bug has any hits for anything besides failure, it means the<br>
fingerprint isn't perfect.<br>
<br>
Elastic recheck known issues<br>
Bug: <a href="https://bugs.launchpad.net/bugs/1251920" target="_blank">https://bugs.launchpad.net/<u></u>bugs/1251920</a> => message:"assertionerror:<br>
console output was empty" AND filename:"console.html" Title: Tempest<br>
failures due to failure to return console logs from an instance Project:<br>
Status nova: Confirmed Hits FAILURE: 468 Bug:<br>
<a href="https://bugs.launchpad.net/bugs/1251784" target="_blank">https://bugs.launchpad.net/<u></u>bugs/1251784</a> => message:"Connection to neutron<br>
failed: Maximum attempts reached" AND filename:"logs/screen-n-cpu.<u></u>txt"<br>
Title: nova+neutron scheduling error: Connection to neutron failed: Maximum<br>
attempts reached Project: Status neutron: New nova: New Hits FAILURE: 328<br>
UNSTABLE: 13 SUCCESS: 275 Bug: <a href="https://bugs.launchpad.net/bugs/1240256" target="_blank">https://bugs.launchpad.net/<u></u>bugs/1240256</a> =><br>
message:" 503" AND filename:"logs/syslog.txt" AND<br>
syslog_program:"proxy-server" Title: swift proxy-server returning 503 during<br>
tempest run Project: Status openstack-ci: Incomplete swift: New tempest: New<br>
Hits FAILURE: 136 SUCCESS: 83<br>
Pending Patch Bug: <a href="https://bugs.launchpad.net/bugs/1249065" target="_blank">https://bugs.launchpad.net/<u></u>bugs/1249065</a> => message:"No<br>
nw_info cache associated with instance" AND filename:"logs/screen-n-api.<u></u>txt"<br>
Title: Tempest failure: tempest/scenario/test_<u></u>snapshot_pattern.py Project:<br>
Status neutron: New nova: Confirmed Hits FAILURE: 122 Bug:<br>
<a href="https://bugs.launchpad.net/bugs/1252514" target="_blank">https://bugs.launchpad.net/<u></u>bugs/1252514</a> => message:"Got error from Swift:<br>
put_object" AND filename:"logs/screen-g-api.<u></u>txt" Title: glance doesn't<br>
recover if Swift returns an error Project: Status devstack: New glance: New<br>
swift: New Hits FAILURE: 95<br>
Pending Patch Bug: <a href="https://bugs.launchpad.net/bugs/1244255" target="_blank">https://bugs.launchpad.net/<u></u>bugs/1244255</a> =><br>
message:"NovaException: Unexpected vif_type=binding_failed" AND<br>
filename:"logs/screen-n-cpu.<u></u>txt" Title: binding_failed because of l2 agent<br>
assumed down Project: Status neutron: Fix Committed Hits FAILURE: 92<br>
SUCCESS: 29 Bug: <a href="https://bugs.launchpad.net/bugs/1251448" target="_blank">https://bugs.launchpad.net/<u></u>bugs/1251448</a> => message:"<br>
possible networks found, use a Network ID to be more specific. (HTTP 400)"<br>
AND filename:"console.html" Title: BadRequest: Multiple possible networks<br>
found, use a Network ID to be more specific. Project: Status neutron: New<br>
Hits FAILURE: 65 Bug: <a href="https://bugs.launchpad.net/bugs/1239856" target="_blank">https://bugs.launchpad.net/<u></u>bugs/1239856</a> =><br>
message:"tempest/services" AND message:"/images_client.py" AND<br>
message:"wait_for_image_<u></u>status" AND filename:"console.html" Title:<br>
"TimeoutException: Request timed out" on<br>
tempest.api.compute.images.<u></u>test_list_image_filters.<u></u>ListImageFiltersTestXML<br>
Project: Status glance: New Hits FAILURE: 62 Bug:<br>
<a href="https://bugs.launchpad.net/bugs/1235435" target="_blank">https://bugs.launchpad.net/<u></u>bugs/1235435</a> => message:"One or more ports have<br>
an IP allocation from this subnet" AND message:" SubnetInUse: Unable to<br>
complete operation on subnet" AND filename:"logs/screen-q-svc.<u></u>txt" Title:<br>
'SubnetInUse: Unable to complete operation on subnet UUID. One or more ports<br>
have an IP allocation from this subnet.' Project: Status neutron: Incomplete<br>
nova: Fix Committed tempest: New Hits FAILURE: 48 Bug:<br>
<a href="https://bugs.launchpad.net/bugs/1224001" target="_blank">https://bugs.launchpad.net/<u></u>bugs/1224001</a> =><br>
message:"tempest.scenario.<u></u>test_network_basic_ops AssertionError: Timed out<br>
waiting for" AND filename:"console.html" Title: test_network_basic_ops fails<br>
waiting for network to become available Project: Status neutron: In Progress<br>
swift: Invalid tempest: Invalid Hits FAILURE: 42 Bug:<br>
<a href="https://bugs.launchpad.net/bugs/1218391" target="_blank">https://bugs.launchpad.net/<u></u>bugs/1218391</a> => message:"Cannot 'createImage'"<br>
AND filename:"console.html" Title:<br>
tempest.api.compute.images.<u></u>test_images_oneserver.<u></u>ImagesOneServerTestXML.test_<u></u>delete_image_that_is_not_yet_<u></u>active<br>
spurious failure Project: Status nova: Confirmed swift: Confirmed tempest:<br>
Confirmed Hits FAILURE: 25<br>
<br>
<br>
<br>
best,<br>
Joe Gordon<br>
<br>
______________________________<u></u>_________________<br>
OpenStack-dev mailing list<br>
<a href="mailto:OpenStack-dev@lists.openstack.org" target="_blank">OpenStack-dev@lists.openstack.<u></u>org</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" target="_blank">http://lists.openstack.org/<u></u>cgi-bin/mailman/listinfo/<u></u>openstack-dev</a><br>
<br>
</blockquote>
<br>
______________________________<u></u>_________________<br>
OpenStack-dev mailing list<br>
<a href="mailto:OpenStack-dev@lists.openstack.org" target="_blank">OpenStack-dev@lists.openstack.<u></u>org</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" target="_blank">http://lists.openstack.org/<u></u>cgi-bin/mailman/listinfo/<u></u>openstack-dev</a><br>
</blockquote>
<br>
Joe seemed to be on the same track with<br>
<a href="https://review.openstack.org/#/q/status:open+project:openstack/tempest+branch:master+topic:57578,n,z" target="_blank">https://review.openstack.org/#<u></u>/q/status:open+project:<u></u>openstack/tempest+branch:<u></u>master+topic:57578,n,z</a><br>

but went far enough to revert the change that introduced that test. A<br>
couple people were going to keep hitting those changes to run them<br>
through more tests and see if 1251920 goes away.<br>
<br>
I don't quite understand why this test is problematic (Joe indicated<br>
it went in at about the time 1251920 became a problem). I would be<br>
very interested in finding out why this caused a problem.<br>
<br>
You can see frequencies for bugs with known signatures at<br>
<a href="http://status.openstack.org/elastic-recheck/" target="_blank">http://status.openstack.org/<u></u>elastic-recheck/</a><br>
<br>
Hope this helps.<br>
<br>
Clark<br>
<br>
______________________________<u></u>_________________<br>
OpenStack-dev mailing list<br>
<a href="mailto:OpenStack-dev@lists.openstack.org" target="_blank">OpenStack-dev@lists.openstack.<u></u>org</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" target="_blank">http://lists.openstack.org/<u></u>cgi-bin/mailman/listinfo/<u></u>openstack-dev</a><br>
<br>
</blockquote>
<br></div></div>
Joe is tracking some notes in an etherpad here:<br>
<br>
<a href="https://etherpad.openstack.org/p/critical-patches-gatecrash-November-2013" target="_blank">https://etherpad.openstack.<u></u>org/p/critical-patches-<u></u>gatecrash-November-2013</a><br>
<br>
I've added <a href="https://review.openstack.org/#/c/57069/" target="_blank">https://review.openstack.org/#<u></u>/c/57069/</a> and <a href="https://review.openstack.org/#/c/57042/" target="_blank">https://review.openstack.org/#<u></u>/c/57042/</a> to the list.<br>

<br></blockquote><div><br>That has been really useful. I think having a known page we can go to when the gate<br>gets in really poor shape would be very handy (or maybe just put it in the various irc channel topics).<br>
<br></div><div>Also does it make sense to ask people to stop doing rechecks as well when the gate is stuck to<br></div><div>allow those who are putting through debugging patches quicker feedback?<br></div><div> <br></div>
<div>Chris<br></div></div></div></div>