<div>Jay had responded to a similar issue [1] some time ago (I swear I saw talk of this last week but can’t find the newer thread).  Since the posting referenced we also found rabbit 3.2.x with esl erlang helped a ton.</div><div><br></div><div>tl;dr It is a client issue.  See the thread for further details.</div><div>
                </div><div><br></div><div>[1] http://lists.openstack.org/pipermail/openstack/2013-August/000934.html</div>
                <div></div>
                 
                <p style="color: #A0A0A8;">On Monday, March 24, 2014 at 10:40 AM, Chris Friesen wrote:</p>
                <blockquote type="cite" style="border-left-style:solid;border-width:1px;margin-left:0px;padding-left:10px;">
                    <span><div><div><div>On 03/24/2014 11:31 AM, Chris Friesen wrote:</div><div><br></div><blockquote type="cite"><div><div>It looks like we're raising</div><div><br></div><div>RecoverableConnectionError: connection already closed</div><div><br></div><div>down in /usr/lib64/python2.7/site-packages/amqp/abstract_channel.py, but</div><div>nothing handles it.</div><div><br></div><div>It looks like the most likely place that should be handling it is</div><div>nova.openstack.common.rpc.impl_kombu.Connection.ensure().</div><div><br></div><div><br></div><div>In the current oslo.messaging code the ensure() routine explicitly</div><div>handles connection errors (which RecoverableConnectionError is) and</div><div>socket timeouts--the ensure() routine in Havana doesn't do this.</div></div></blockquote><div><br></div><div>I misread the code, ensure() in Havana does in fact monitor socket </div><div>timeouts, but it doesn't handle connection errors.</div><div><br></div><div>It looks like support for handling connection errors was added to </div><div>oslo.messaging just recently in git commit 0400cbf.  The git commit </div><div>comment talks about clustered rabbit nodes and mirrored queues which </div><div>doesn't apply to our scenario, but I suspect it would probably fix the </div><div>problem that we're seeing as well.</div><div><br></div><div>Chris</div><div><br></div><div>_______________________________________________</div><div>OpenStack-dev mailing list</div><div><a href="mailto:OpenStack-dev@lists.openstack.org">OpenStack-dev@lists.openstack.org</a></div><div><a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a></div></div></div></span>
                 
                 
                 
                 
                </blockquote>
                 
                <div>
                    <br>
                </div>