<div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote">On 13 May 2016 at 18:12, Jonathan Harker <span dir="ltr"><<a href="mailto:jesusaurus@hpe.com" target="_blank">jesusaurus@hpe.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">The openstack-infra team has put a lot of effort into creating logstash<br>
filters to parse openstack logs. These filters are primarily used to<br>
parse service logs from devstack runs, but should work for production<br>
deployments as well. Yesterday I worked with Clark Boylan to move these<br>
filters out of puppet and into their own project called<br>
openstack-infra/logstash-filters to make them easy to reconsume. This<br>
project has three files in the filters/ directory: an example input<br>
section, an example output section, and the filters section used to<br>
index devstack service log data into <a href="http://logstash.openstack.org" rel="noreferrer" target="_blank">logstash.openstack.org</a>. Using<br>
conf.d style logstash configs, you can easily drop these filters into<br>
your own config while using custom input and output config sections. You<br>
can see how this is done for <a href="http://logstash.openstack.org" rel="noreferrer" target="_blank">logstash.openstack.org</a> using puppet at [1].<br></blockquote><div><br></div><div>Is this intended as a general place for filters that might be of interest to the community to consume? Or just those that would be used by infra?<br></div><div><br></div><div>Have some written for ansible and vagrant log parsing that might help people avoid rewriting, as well as rule that drops empty messages.<br><br><br></div><div>Been wondering whether there was somewhere to contribute them.<br><br><br></div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">

[1]<br>
<a href="https://review.openstack.org/#/c/310052/6/modules/openstack_project/manifests/logstash_worker.pp" rel="noreferrer" target="_blank">https://review.openstack.org/#/c/310052/6/modules/openstack_project/manifests/logstash_worker.pp</a><br>
[2]<br>
<a href="http://git.openstack.org/cgit/openstack-infra/system-config/tree/modules/openstack_project/files/logstash/jenkins-log-client.yaml#n31" rel="noreferrer" target="_blank">http://git.openstack.org/cgit/openstack-infra/system-config/tree/modules/openstack_project/files/logstash/jenkins-log-client.yaml#n31</a><br>
<span class="HOEnZb"><font color="#888888"><br>
--<br>
Jonathan Harker</font></span><br></blockquote></div><br clear="all"><br>-- <br><div class="gmail_signature">Darragh Bailey<br>"Nothing is foolproof to a sufficiently talented fool"</div>
</div></div>