<div dir="ltr">Nope, you're totally right, corolocal.local is a class, whose instances are the actual coroutine local storage.<div><br></div><div>Alex</div></div><div class="gmail_extra"><br><br><div class="gmail_quote">
On Wed, Nov 20, 2013 at 9:11 AM, Roman Podoliaka <span dir="ltr"><<a href="mailto:rpodolyaka@mirantis.com" target="_blank">rpodolyaka@mirantis.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Hey all,<br>
<br>
I think I found a serious bug in our usage of eventlet thread local<br>
storage. Please check out this snippet [1].<br>
<br>
This is how we use eventlet TLS in Nova and common Oslo code [2]. This<br>
could explain how [3] actually breaks TripleO devtest story and our<br>
gates.<br>
<br>
Am I right? Or I am missing something and should get some sleep? :)<br>
<br>
Thanks,<br>
Roman<br>
<br>
[1] <a href="http://paste.openstack.org/show/53686/" target="_blank">http://paste.openstack.org/show/53686/</a><br>
[2] <a href="https://github.com/openstack/nova/blob/master/nova/openstack/common/local.py#L48" target="_blank">https://github.com/openstack/nova/blob/master/nova/openstack/common/local.py#L48</a><br>
[3] <a href="https://github.com/openstack/nova/commit/85332012dede96fa6729026c2a90594ea0502ac5" target="_blank">https://github.com/openstack/nova/commit/85332012dede96fa6729026c2a90594ea0502ac5</a><br>
<div class="HOEnZb"><div class="h5"><br>
On Wed, Nov 20, 2013 at 5:55 PM, Derek Higgins <<a href="mailto:derekh@redhat.com">derekh@redhat.com</a>> wrote:<br>
> On 20/11/13 14:21, Anita Kuno wrote:<br>
>> Thanks for posting this, Joe. It really helps to create focus so we can<br>
>> address these bugs.<br>
>><br>
>> We are chatting in #openstack-neutron about 1251784, 1249065, and 1251448.<br>
>><br>
>> We are looking for someone to work on 1251784 - I had mentioned it at<br>
>> Monday's Neutron team meeting and am trying to shop it around in<br>
>> -neutron now. We need someone other than Salvatore, Aaron or Maru to<br>
>> work on this since they each have at least one very important bug they<br>
>> are working on. Please join us in #openstack-neutron and lend a hand -<br>
>> all of OpenStack needs your help.<br>
><br>
> I've been hitting this in tripleo intermittently for the last few days<br>
> (or it at least looks to be the same bug), this morning while trying to<br>
> debug the problem I noticed http request/responses happening out of<br>
> order. I've added details to the bug.<br>
><br>
> <a href="https://bugs.launchpad.net/tripleo/+bug/1251784" target="_blank">https://bugs.launchpad.net/tripleo/+bug/1251784</a><br>
><br>
>><br>
>> Bug 1249065 is assigned to Aaron Rosen, who isn't in the channel at the<br>
>> moment, so I don't have an update on his progress or any blockers he is<br>
>> facing. Hopefully (if you are reading this Aaron) he will join us in<br>
>> channel soon and I had hear from him about his status.<br>
>><br>
>> Bug 1251448 is assigned to Maru Newby, who I am talking with now in<br>
>> -neutron. He is addressing the bug. I will share what information I have<br>
>> regarding this one when I have some.<br>
>><br>
>> We are all looking forward to a more stable gate and this information<br>
>> really helps.<br>
>><br>
>> Thanks again, Joe,<br>
>> Anita.<br>
>><br>
>> On 11/20/2013 01:09 AM, Joe Gordon wrote:<br>
>>> Hi All,<br>
>>><br>
>>> As many of you have noticed the gate has been in very bad shape over the<br>
>>> past few days.  Here is a list of some of the top open bugs (without<br>
>>> pending patches, and many recent hits) that we are hitting.  Gate won't be<br>
>>> stable, and it will be hard to get your code merged, until we fix these<br>
>>> bugs.<br>
>>><br>
>>> 1) <a href="https://bugs.launchpad.net/bugs/1251920" target="_blank">https://bugs.launchpad.net/bugs/1251920</a><br>
>>>  nova<br>
>>> 468 Hits<br>
>>> 2) <a href="https://bugs.launchpad.net/bugs/1251784" target="_blank">https://bugs.launchpad.net/bugs/1251784</a><br>
>>>  neutron, Nova<br>
>>>  328 Hits<br>
>>> 3) <a href="https://bugs.launchpad.net/bugs/1249065" target="_blank">https://bugs.launchpad.net/bugs/1249065</a><br>
>>>  neutron<br>
>>>   122 hits<br>
>>> 4) <a href="https://bugs.launchpad.net/bugs/1251448" target="_blank">https://bugs.launchpad.net/bugs/1251448</a><br>
>>>  neutron<br>
>>> 65 Hits<br>
>>><br>
>>> Raw Data:<br>
>>><br>
>>><br>
>>> Note: If a bug has any hits for anything besides failure, it means the<br>
>>> fingerprint isn't perfect.<br>
>>><br>
>>> Elastic recheck known issues<br>
>>>  Bug: <a href="https://bugs.launchpad.net/bugs/1251920" target="_blank">https://bugs.launchpad.net/bugs/1251920</a> => message:"assertionerror:<br>
>>> console output was empty" AND filename:"console.html" Title: Tempest<br>
>>> failures due to failure to return console logs from an instance Project:<br>
>>> Status nova: Confirmed Hits FAILURE: 468 Bug:<br>
>>> <a href="https://bugs.launchpad.net/bugs/1251784" target="_blank">https://bugs.launchpad.net/bugs/1251784</a> => message:"Connection to neutron<br>
>>> failed: Maximum attempts reached" AND filename:"logs/screen-n-cpu.txt"<br>
>>> Title: nova+neutron scheduling error: Connection to neutron failed: Maximum<br>
>>> attempts reached Project: Status neutron: New nova: New Hits FAILURE: 328<br>
>>> UNSTABLE: 13 SUCCESS: 275 Bug: <a href="https://bugs.launchpad.net/bugs/1240256" target="_blank">https://bugs.launchpad.net/bugs/1240256</a> =><br>
>>> message:" 503" AND filename:"logs/syslog.txt" AND<br>
>>> syslog_program:"proxy-server" Title: swift proxy-server returning 503<br>
>>> during tempest run Project: Status openstack-ci: Incomplete swift: New<br>
>>> tempest: New Hits FAILURE: 136 SUCCESS: 83<br>
>>> Pending Patch Bug: <a href="https://bugs.launchpad.net/bugs/1249065" target="_blank">https://bugs.launchpad.net/bugs/1249065</a> => message:"No<br>
>>> nw_info cache associated with instance" AND<br>
>>> filename:"logs/screen-n-api.txt" Title: Tempest failure:<br>
>>> tempest/scenario/test_snapshot_pattern.py Project: Status neutron: New<br>
>>> nova: Confirmed Hits FAILURE: 122 Bug:<br>
>>> <a href="https://bugs.launchpad.net/bugs/1252514" target="_blank">https://bugs.launchpad.net/bugs/1252514</a> => message:"Got error from Swift:<br>
>>> put_object" AND filename:"logs/screen-g-api.txt" Title: glance doesn't<br>
>>> recover if Swift returns an error Project: Status devstack: New glance: New<br>
>>> swift: New Hits FAILURE: 95<br>
>>> Pending Patch Bug: <a href="https://bugs.launchpad.net/bugs/1244255" target="_blank">https://bugs.launchpad.net/bugs/1244255</a> =><br>
>>> message:"NovaException: Unexpected vif_type=binding_failed" AND<br>
>>> filename:"logs/screen-n-cpu.txt" Title: binding_failed because of l2 agent<br>
>>> assumed down Project: Status neutron: Fix Committed Hits FAILURE: 92<br>
>>> SUCCESS: 29 Bug: <a href="https://bugs.launchpad.net/bugs/1251448" target="_blank">https://bugs.launchpad.net/bugs/1251448</a> => message:"<br>
>>> possible networks found, use a Network ID to be more specific. (HTTP 400)"<br>
>>> AND filename:"console.html" Title: BadRequest: Multiple possible networks<br>
>>> found, use a Network ID to be more specific. Project: Status neutron: New<br>
>>> Hits FAILURE: 65 Bug: <a href="https://bugs.launchpad.net/bugs/1239856" target="_blank">https://bugs.launchpad.net/bugs/1239856</a> =><br>
>>> message:"tempest/services" AND message:"/images_client.py" AND<br>
>>> message:"wait_for_image_status" AND filename:"console.html" Title:<br>
>>> "TimeoutException: Request timed out" on<br>
>>> tempest.api.compute.images.test_list_image_filters.ListImageFiltersTestXML<br>
>>> Project: Status glance: New Hits FAILURE: 62 Bug:<br>
>>> <a href="https://bugs.launchpad.net/bugs/1235435" target="_blank">https://bugs.launchpad.net/bugs/1235435</a> => message:"One or more ports have<br>
>>> an IP allocation from this subnet" AND message:" SubnetInUse: Unable to<br>
>>> complete operation on subnet" AND filename:"logs/screen-q-svc.txt" Title:<br>
>>> 'SubnetInUse: Unable to complete operation on subnet UUID. One or more<br>
>>> ports have an IP allocation from this subnet.' Project: Status neutron:<br>
>>> Incomplete nova: Fix Committed tempest: New Hits FAILURE: 48 Bug:<br>
>>> <a href="https://bugs.launchpad.net/bugs/1224001" target="_blank">https://bugs.launchpad.net/bugs/1224001</a> =><br>
>>> message:"tempest.scenario.test_network_basic_ops AssertionError: Timed out<br>
>>> waiting for" AND filename:"console.html" Title: test_network_basic_ops<br>
>>> fails waiting for network to become available Project: Status neutron: In<br>
>>> Progress swift: Invalid tempest: Invalid Hits FAILURE: 42 Bug:<br>
>>> <a href="https://bugs.launchpad.net/bugs/1218391" target="_blank">https://bugs.launchpad.net/bugs/1218391</a> => message:"Cannot 'createImage'"<br>
>>> AND filename:"console.html" Title:<br>
>>> tempest.api.compute.images.test_images_oneserver.ImagesOneServerTestXML.test_delete_image_that_is_not_yet_active<br>
>>> spurious failure Project: Status nova: Confirmed swift: Confirmed tempest:<br>
>>> Confirmed Hits FAILURE: 25<br>
>>><br>
>>><br>
>>><br>
>>> best,<br>
>>> Joe Gordon<br>
>>><br>
>>><br>
>>><br>
>>> _______________________________________________<br>
>>> OpenStack-dev mailing list<br>
>>> <a href="mailto:OpenStack-dev@lists.openstack.org">OpenStack-dev@lists.openstack.org</a><br>
>>> <a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
>>><br>
>><br>
>><br>
>> _______________________________________________<br>
>> OpenStack-dev mailing list<br>
>> <a href="mailto:OpenStack-dev@lists.openstack.org">OpenStack-dev@lists.openstack.org</a><br>
>> <a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
>><br>
><br>
><br>
> _______________________________________________<br>
> OpenStack-dev mailing list<br>
> <a href="mailto:OpenStack-dev@lists.openstack.org">OpenStack-dev@lists.openstack.org</a><br>
> <a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
<br>
_______________________________________________<br>
OpenStack-dev mailing list<br>
<a href="mailto:OpenStack-dev@lists.openstack.org">OpenStack-dev@lists.openstack.org</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
</div></div></blockquote></div><br><br clear="all"><div><br></div>-- <br><div dir="ltr">"I disapprove of what you say, but I will defend to the death your right to say it." -- Evelyn Beatrice Hall (summarizing Voltaire)<br>
"The people's good is the highest law." -- Cicero<br><div>GPG Key fingerprint: 125F 5C67 DFE9 4084</div></div>
</div>