<div dir="ltr">Tom,<div><br></div><div>Thanks you very much for this! ceilometer.conf file contains "verbose" option. Perhaps, switching it to True would have shown any errors too. I'll check this behaviour one more time.</div><div><br></div><div>Thanks,</div><div>Nadya</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Mar 3, 2016 at 9:29 PM, Tom Walsh <span dir="ltr"><<a href="mailto:expresswebsys@gmail.com" target="_blank">expresswebsys@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">In case anybody runs into this issue in the future, we have determined<br>
what the issue is and how to correct it.<br>
<br>
First the ceilometer-agent-notification process seems to be<br>
suppressing the exceptions that were being thrown from the daemon.<br>
This is why the logs didn't seem to shine any light on the issue. The<br>
logs were missing a critical exception message. So I had to run the<br>
agent manually with the --verbose switch:<br>
<br>
/usr/bin/python /usr/bin/ceilometer-agent-notification --verbose<br>
--config-file=/etc/ceilometer/ceilometer.conf<br>
<br>
Which then yielded this exception:<br>
<br>
Traceback (most recent call last):<br>
  File "/usr/local/lib/python2.7/dist-packages/eventlet/hubs/hub.py",<br>
line 457, in fire_timers<br>
    timer()<br>
  File "/usr/local/lib/python2.7/dist-packages/eventlet/hubs/timer.py",<br>
line 58, in __call__<br>
    cb(*args, **kw)<br>
  File "/usr/local/lib/python2.7/dist-packages/eventlet/greenthread.py",<br>
line 214, in main<br>
    result = function(*args, **kwargs)<br>
  File "/usr/local/lib/python2.7/dist-packages/oslo_service/service.py",<br>
line 671, in run_service<br>
    service.start()<br>
  File "/usr/lib/python2.7/dist-packages/ceilometer/notification.py",<br>
line 174, in start<br>
    self.event_pipe_manager)<br>
  File "/usr/lib/python2.7/dist-packages/ceilometer/notification.py",<br>
line 223, in _configure_main_queue_listeners<br>
    for new_tar in handler.get_targets(cfg.CONF):<br>
  File "/usr/lib/python2.7/dist-packages/ceilometer/ipmi/notifications/ironic.py",<br>
line 87, in get_targets<br>
    for topic in conf.notification_topics]<br>
  File "/usr/local/lib/python2.7/dist-packages/oslo_config/cfg.py",<br>
line 2062, in __getattr__<br>
    raise NoSuchOptError(name)<br>
NoSuchOptError: no such option in group DEFAULT: notification_topics<br>
<br>
A little quick googling resulted in this patchset:<br>
<br>
<a href="https://review.openstack.org/#/c/255296/" rel="noreferrer" target="_blank">https://review.openstack.org/#/c/255296/</a><br>
<br>
After applying this patchset to the current ceilometer installation we<br>
are seeing the notifications from the message bus being processed by<br>
the ceilometer agent and then passed to the ceilometer collector.<br>
<br>
My guess is that the underlying changes to oslo.messaging have now<br>
broken the config parsing in ceilometer.<br>
<br>
It appears that this patchset is missing from the current Ubuntu<br>
cloudarchive ceilometer install (1:5.0.1-0ubuntu1~cloud0)<br>
<br>
I hope that helps somebody... I spent enough time on it.<br>
<span class="HOEnZb"><font color="#888888"><br>
Tom Walsh<br>
ExpressHosting.net<br>
</font></span></blockquote></div><br></div>