<div dir="ltr">That's really interesting - thanks for the link.<div><br></div><div>We've been able to narrow down why didn't see this with Cinder or Swift: in short, Swift isn't using Oslo (AFAIK) and we had some previous logging issues with Cinder in Havana so we altered the logging setup a bit.</div><div><br></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Mon, Oct 13, 2014 at 3:05 AM, Francois Deppierraz <span dir="ltr"><<a href="mailto:francois@ctrlaltdel.ch" target="_blank">francois@ctrlaltdel.ch</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi Joe,<br>
<br>
Yes, same problem here running Ubuntu 14.04.<br>
<br>
The symptom is nova-api, nova-conductor and glance-api eating all CPU<br>
without responding to API requests anymore.<br>
<br>
It is possible to reproduce it thanks to the following script.<br>
<br>
<a href="https://gist.github.com/dbishop/7a2e224f3aafea1a1fc3" target="_blank">https://gist.github.com/dbishop/7a2e224f3aafea1a1fc3</a><br>
<br>
François<br>
<div><div class="h5"><br>
On 11. 10. 14 00:40, Joe Topjian wrote:<br>
> Hello,<br>
><br>
> This morning we noticed various nova, glance, and keystone services (not<br>
> cinder or swift) not working in two different clouds and required a restart.<br>
><br>
> We thought it was a network issue since one of the only commonalities<br>
> between the two clouds was that they are on the same network.<br>
><br>
> Then later in the day I logged into a test cloud on a totally separate<br>
> network and had the same problem.<br>
><br>
> Looking at all three environments, the commonality is now that they have<br>
> Ubuntu security updates automatically applied in the morning and this<br>
> morning rsyslog was patched and restarted.<br>
><br>
> I found this oslo bug that kind of sounds like the issue we saw:<br>
><br>
> <a href="https://bugs.launchpad.net/oslo.log/+bug/1076466" target="_blank">https://bugs.launchpad.net/oslo.log/+bug/1076466</a><br>
><br>
> Doing further investigation, log files do indeed show a lack of entries<br>
> for various services/daemons until they were restarted.<br>
><br>
> Has anyone else run into this? Maybe even this morning, too? :)<br>
><br>
> Thanks,<br>
> Joe<br>
><br>
><br>
><br>
><br>
</div></div>> _______________________________________________<br>
> OpenStack-operators mailing list<br>
> <a href="mailto:OpenStack-operators@lists.openstack.org">OpenStack-operators@lists.openstack.org</a><br>
> <a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-operators" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-operators</a><br>
><br>
<br>
<br>
_______________________________________________<br>
OpenStack-operators mailing list<br>
<a href="mailto:OpenStack-operators@lists.openstack.org">OpenStack-operators@lists.openstack.org</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-operators" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-operators</a><br>
</blockquote></div><br></div>