<html><head><style>body{font-family:Helvetica,Arial;font-size:13px}</style></head><body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;"><div id="bloop_customfont" style="font-family:Helvetica,Arial;font-size:13px; color: rgba(0,0,0,1.0); margin: 0px; line-height: auto;">+1 Providing service crashing information is very valuable. In general we need to provide as much information about why the service exited (critically/traceback/unexpectedly) for our operators.</div><div id="bloop_customfont" style="font-family:Helvetica,Arial;font-size:13px; color: rgba(0,0,0,1.0); margin: 0px; line-height: auto;"><br></div><div id="bloop_customfont" style="font-family:Helvetica,Arial;font-size:13px; color: rgba(0,0,0,1.0); margin: 0px; line-height: auto;">—Morgan</div> <div id="bloop_sign_1401292313484024064" class="bloop_sign"><p><strong>—</strong><br><strong>Morgan Fainberg</strong></p></div> <div style="color:black"><br>From: <span style="color:black">Jay Pipes</span> <a href="mailto:jaypipes@gmail.com">jaypipes@gmail.com</a><br>Reply: <span style="color:black">OpenStack Development Mailing List (not for usage questions)</span> <a href="mailto:openstack-dev@lists.openstack.org">openstack-dev@lists.openstack.org</a><br>Date: <span style="color:black">May 28, 2014 at 08:50:25</span><br>To: <span style="color:black">openstack-dev@lists.openstack.org</span> <a href="mailto:openstack-dev@lists.openstack.org">openstack-dev@lists.openstack.org</a><br>Subject: <span style="color:black"> Re: [openstack-dev] Oslo logging eats system level tracebacks by default <br></span></div><br> <blockquote type="cite" class="clean_bq"><span><div><div></div><div>On 05/28/2014 11:39 AM, Doug Hellmann wrote:

<br>> On Wed, May 28, 2014 at 10:38 AM, Sean Dague <sean@dague.net> wrote:

<br>>> When attempting to build a new tool for Tempest, I found that my python

<br>>> syntax errors were being completely eaten. After 2 days of debugging I

>> found that oslo log.py does the following *very unexpected* thing.

<br>>>

<br>>>   - replaces the sys.excepthook with it's own function

<br>>>   - eats the execption traceback unless debug or verbose are set to True

<br>>>   - sets debug and verbose to False by default

<br>>>   - prints out a completely useless summary log message at Critical

<br>>> ([CRITICAL] [-] 'id' was my favorite of these)

<br>>>

<br>>> This is basically for an exit level event. Something so breaking that

>> your program just crashed.

<br>>>

<br>>> Note this has nothing to do with preventing stack traces that are

<br>>> currently littering up the logs that happen at many logging levels, it's

<br>>> only about removing the stack trace of a CRITICAL level event that's

<br>>> going to very possibly result in a crashed daemon with no information as

<br>>> to why.

<br>>>

<br>>> So the process of including oslo log makes the code immediately

>> undebuggable unless you change your config file to not the default.

<br>>>

<br>>> Whether or not there was justification for this before, one of the

<br>>> things we heard loud and clear from the operator's meetup was:

<br>>>

<br>>>   - Most operators are running at DEBUG level for all their OpenStack

<br>>> services because you can't actually do problem determination in

<br>>> OpenStack for anything < that.

<br>>>   - Operators reacted negatively to the idea of removing stack traces

<br>>> from logs, as that's typically the only way to figure out what's going

<br>>> on. It took a while of back and forth to explain that our initiative to

<br>>> do that wasn't about removing them per say, but having the code

<br>>> correctly recover.

<br>>>

<br>>> So the current oslo logging behavior seems inconsistent (we spew

<br>>> exceptions at INFO and WARN levels, and hide all the important stuff

<br>>> with a legitimately uncaught system level crash), undebuggable, and

>> completely against the prevailing wishes of the operator community.

<br>>>

<br>>> I'd like to change that here - https://review.openstack.org/#/c/95860/

<br>>>

<br>>>          -Sean

<br>>

<br>> I agree, we should dump as much detail as we can when we encounter an

> unhandled exception that causes an app to die.

<br>

<br>+1

<br>

<br>-jay

<br>

<br>_______________________________________________

<br>OpenStack-dev mailing list

<br>OpenStack-dev@lists.openstack.org

<br>http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev

<br></div></div></span></blockquote></body></html>