<div dir="ltr">Hello guys!<div>We are migrating our product to kolla-ansible and as far as probably you know, it uses fluentd to control logs, etc. In non containerized openstack we use rsyslog to send data to logstash. We get data from syslog events. It looks like it's impossible to use syslog in kolla-ansible. Unfortunately external_syslog_server option doesn't work. Is there anyone who was able to use it ? But, nevermind, we may use fluentd BUT.. we have one problem - different data format for each service/container.</div><div><br></div><div>So, probably the most optimal solution is to use default logging idea in kolla-ansible. (to be honest, I am not sure... but I've no found better option). But even with default logging idea in kolla - ansible we have one serious problem. Fluentd has different data format for each service, for instance, you may see this link with explanation how its designed in kolla-ansible</div><div><a href="https://github.com/openstack/kolla-ansible/commit/3026cef7cfd1828a27e565d4211692f0ab0ce22e">https://github.com/openstack/kolla-ansible/commit/3026cef7cfd1828a27e565d4211692f0ab0ce22e</a></div><div>there are grok patterns which parses log messages, etc</div><div><br></div><div>so, we managed to put data to elasticsearch but we need to solve two problems:</div><div>1. unify data format for log events. We may solve it using logstash to unify it before putting it to elasticsearch (or should we change fluentd configs in our own version of kolla-ansible repository ? )</div><div>For instance, we may do it using this logstash plugin</div><div><a href="https://www.elastic.co/guide/en/logstash/2.4/plugins-filters-mutate.html#plugins-filters-mutate-rename">https://www.elastic.co/guide/en/logstash/2.4/plugins-filters-mutate.html#plugins-filters-mutate-rename</a><br></div><div><br></div><div>What's your suggestion ?</div><div><br clear="all"><div><br></div>-- <br><div class="gmail_signature"><div dir="ltr">Best, Sergey</div></div>
</div></div>