<div dir="ltr">Hey,<div><br></div><div>I've brought the service back up, but have no new clues as to why.</div><div><br></div><div>- Josh</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Feb 14, 2017 at 6:50 PM, Tom Fifield <span dir="ltr"><<a href="mailto:tom@openstack.org" target="_blank">tom@openstack.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span class="">On 10/02/17 22:39, Jeremy Stanley wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
On 2017-02-10 16:08:51 +0800 (+0800), Tom Fifield wrote:<br>
[...]<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Down again, this time with "Network is unreachable".<br>
</blockquote>
[...]<br>
<br>
I'm not finding any obvious errors on the server nor relevant<br>
maintenance notices/trouble tickets from the service provider to<br>
explain this. I do see conspicuous gaps in network traffic volume<br>
and system load from ~06:45 to ~08:10 UTC according to cacti:<br>
<br>
    <a href="http://cacti.openstack.org/?tree_id=1&leaf_id=156" rel="noreferrer" target="_blank">http://cacti.openstack.org/?tr<wbr>ee_id=1&leaf_id=156</a><br>
<br>
Skipping back through previous days I find some similar gaps<br>
starting anywhere from 06:30 to 07:00 and ending between 07:00 and<br>
08:00 but they don't seem to occur every day and I'm not having much<br>
luck finding a pattern. It _is_ conspicuously close to when<br>
/etc/cron.daily scripts get fired from the crontab so might coincide<br>
with log rotation/service restarts? The graphs don't show these gaps<br>
correlating with any spikes in CPU, memory or disk activity so it<br>
doesn't seem to be resource starvation (at least not for any common<br>
resources we're tracking).<br>
<br>
</blockquote>
<br></span>
Indeed. It's down again today during the same timeslot.<br>
<br>
Another idea for the cron-based theory:<br>
<br>
<a href="https://github.com/openstack/uc-recognition/blob/master/tools/get_active_moderator.py" rel="noreferrer" target="_blank">https://github.com/openstack/u<wbr>c-recognition/blob/master/tool<wbr>s/get_active_moderator.py</a><br>
<br>
loops through the list of Ask OpenStack users via the API on a cron running on <a href="http://www.openstack.org" rel="noreferrer" target="_blank">www.openstack.org</a>. Not sure when that cron runs, but if it's similar, this could potentially be a high-load generator.<br>
<br>
<br>
<br>
<br>
Regards,<br>
<br>
<br>
Tom<div class="HOEnZb"><div class="h5"><br>
<br>
______________________________<wbr>_________________<br>
OpenStack-Infra mailing list<br>
<a href="mailto:OpenStack-Infra@lists.openstack.org" target="_blank">OpenStack-Infra@lists.openstac<wbr>k.org</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-infra" rel="noreferrer" target="_blank">http://lists.openstack.org/cgi<wbr>-bin/mailman/listinfo/openstac<wbr>k-infra</a><br>
</div></div></blockquote></div><br></div>