<div dir="ltr"><div class="gmail_extra"><div class="gmail_quote">On 27 May 2015 at 20:58, Joe Gordon <span dir="ltr"><<a href="mailto:joe.gordon0@gmail.com" target="_blank">joe.gordon0@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div dir="ltr"><div class="gmail_extra"><br><div class="gmail_quote"><span class="">On Wed, May 27, 2015 at 12:27 PM, Joseph Bajin <span dir="ltr"><<a href="mailto:josephbajin@gmail.com" target="_blank">josephbajin@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div dir="ltr">I think those from the Infra Project are a great start, but I do think they are missing a lot.  </div></blockquote><div><br></div></span><div>I am sure they are, and we would love contributions to make them better. The filters from the infra project are used every day by developers use to hunt down issues. And the more similar the developer and operator experience is here the easier it will be for the two groups to talk about the same problems.</div></div></div></div></blockquote><div><br></div><div>As part of development for Rackspace Private Cloud we've done a ton of work in this space and are happy to contribute the work upstream. The current work is exposed in <a href="https://github.com/rcbops/rpc-extras/pull/123">https://github.com/rcbops/rpc-extras/pull/123</a> and is available for anyone to review/comment/consume.</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote"><span class=""><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div dir="ltr"><div>Instead of breaking down the message into parts, it just breaks down the type (INFO, DEBUG, etc) and then makes the rest of the message greedy.  That doesn't help searching or graphing or anything like that (or at least makes it more difficult over time). At least that is what I have seen.</div></div></blockquote><div><br></div></span><div>One of the reasons for this is because most of the log messages are very unstructured. But I have a hunch we can do better then what we have today.</div></div></div></div></blockquote><div><br></div><div>We've done quite a bit of this. We extract transaction ID's for each project we deploy (including swift), response times to API queries, byte sizes, etc.</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote"><span class=""><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div dir="ltr"><div>We are using a little bit tweaked version of the godaddy's scripts.  That seems to give us a good amount of detail that we can search and filter on.  I'll see if I can post my versions of them to the repo. </div></div></blockquote></span></div></div></div></blockquote><div><br></div><div>We derived some stuff from <a href="https://github.com/godaddy/openstack-logstash">https://github.com/godaddy/openstack-logstash</a> and other stuff from <a href="https://github.com/osops/tools-logging">https://github.com/osops/tools-logging</a> - I think it's time that we find a common place to consolidate and standardise. openstack-infra would appear to be a good place to do this.</div></div>
</div></div>