<div dir="ltr">Hi Sergey,<div><br></div><div>We are using Kolla Ansible with monasca log API, and have added support for customising the fluentd configuration [1][2]. Doug Szumski (dougsz) made some changes in Queens to try to standardise the log message format. I think Kolla Ansible would benefit from some better documentation on what this format is.</div><div><br></div><div>On the monasca log API side there is support for transforming logs using logstash.</div><div><br></div><div>[1] <a href="https://docs.openstack.org/kolla-ansible/latest/reference/central-logging-guide.html#custom-log-forwarding">https://docs.openstack.org/kolla-ansible/latest/reference/central-logging-guide.html#custom-log-forwarding</a></div><div>[2] <a href="https://docs.openstack.org/kolla-ansible/latest/reference/central-logging-guide.html#custom-log-filtering">https://docs.openstack.org/kolla-ansible/latest/reference/central-logging-guide.html#custom-log-filtering</a></div><div><br></div><div>Cheers,</div><div>Mark</div></div><div class="gmail_extra"><br><div class="gmail_quote">On 14 July 2018 at 14:29, Sergey Glazyrin <span dir="ltr"><<a href="mailto:sergey.glazyrin.dev@gmail.com" target="_blank">sergey.glazyrin.dev@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Hello guys!<div>We are migrating our product to kolla-ansible and as far as probably you know, it uses fluentd to control logs, etc. In non containerized openstack we use rsyslog to send data to logstash. We get data from syslog events. It looks like it's impossible to use syslog in kolla-ansible. Unfortunately external_syslog_server option doesn't work. Is there anyone who was able to use it ? But, nevermind, we may use fluentd BUT.. we have one problem - different data format for each service/container.</div><div><br></div><div>So, probably the most optimal solution is to use default logging idea in kolla-ansible. (to be honest, I am not sure... but I've no found better option). But even with default logging idea in kolla - ansible we have one serious problem. Fluentd has different data format for each service, for instance, you may see this link with explanation how its designed in kolla-ansible</div><div><a href="https://github.com/openstack/kolla-ansible/commit/3026cef7cfd1828a27e565d4211692f0ab0ce22e" target="_blank">https://github.com/openstack/<wbr>kolla-ansible/commit/<wbr>3026cef7cfd1828a27e565d4211692<wbr>f0ab0ce22e</a></div><div>there are grok patterns which parses log messages, etc</div><div><br></div><div>so, we managed to put data to elasticsearch but we need to solve two problems:</div><div>1. unify data format for log events. We may solve it using logstash to unify it before putting it to elasticsearch (or should we change fluentd configs in our own version of kolla-ansible repository ? )</div><div>For instance, we may do it using this logstash plugin</div><div><a href="https://www.elastic.co/guide/en/logstash/2.4/plugins-filters-mutate.html#plugins-filters-mutate-rename" target="_blank">https://www.elastic.co/guide/<wbr>en/logstash/2.4/plugins-<wbr>filters-mutate.html#plugins-<wbr>filters-mutate-rename</a><br></div><div><br></div><div>What's your suggestion ?</div><span class="HOEnZb"><font color="#888888"><div><br clear="all"><div><br></div>-- <br><div class="m_8941794051642597853gmail_signature"><div dir="ltr">Best, Sergey</div></div>
</div></font></span></div>
<br>______________________________<wbr>______________________________<wbr>______________<br>
OpenStack Development Mailing List (not for usage questions)<br>
Unsubscribe: <a href="http://OpenStack-dev-request@lists.openstack.org?subject:unsubscribe" rel="noreferrer" target="_blank">OpenStack-dev-request@lists.<wbr>openstack.org?subject:<wbr>unsubscribe</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" rel="noreferrer" target="_blank">http://lists.openstack.org/<wbr>cgi-bin/mailman/listinfo/<wbr>openstack-dev</a><br>
<br></blockquote></div><br></div>