<div dir="ltr"><div class="gmail_extra"><div class="gmail_quote">On 28 May 2015 at 22:45, Nick Jones <span dir="ltr"><<a href="mailto:nick.jones@datacentred.co.uk" target="_blank">nick.jones@datacentred.co.uk</a>></span> wrote:<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div style="word-wrap:break-word"><span class=""><blockquote type="cite"><div>On 28 May 2015, at 19:10, Tim Bell <<a href="mailto:Tim.Bell@cern.ch" target="_blank">Tim.Bell@cern.ch</a>> wrote:</div><div><br>Using UDP is a great workaround but it does not feel like a fix... can't the daemons realise that the syslog socket is not alive and reconnect. Given it affects most of the OpenStack projects, a fix inside one of the oslo logging libraries (if the error can be detected there) would be great.</div></blockquote></span><div>We too have been bitten hard by this issue in the past - way before Juno - when using rsyslog logging to a remote target (i.e Logstash).  We eventually went down the route of using log-courier [1] on x86 and beaver [2] on ARM (due to the lack of support for Go).<div><br></div><div>Both have worked out well for us - if you’re using Logstash it might be worth looking into either of these as a solution instead of switching to UDP and hoping that you don’t lose any messages that you might care about.<br><div><br></div><div>[1] <a href="https://github.com/driskell/log-courier" target="_blank">https://github.com/driskell/log-courier</a></div><div>[2] <a href="https://github.com/josegonzalez/python-beaver" target="_blank">https://github.com/josegonzalez/python-beaver</a></div></div></div><div><br></div></div></blockquote><div><br></div><div>We also tried using direct syslog logging from OpenStack services and hit the same issues. We've opted to rather let the services log natively, then have python-beaver forward the logs. This scales well, provides a consistent log forwarding method and also allows us to do multi-line event consolidation at the source (necessary because logstash doesn't scale well if you try to do it there). You can find our work, use it, derive from it and contribute feedback here: <a href="https://github.com/rcbops/rpc-extras/pull/123">https://github.com/rcbops/rpc-extras/pull/123</a> </div></div>
</div></div>