
<html>

<head>

<meta http-equiv="Content-Type" content="text/html; charset=us-ascii">

</head>

<body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space; color: rgb(0, 0, 0); font-size: 14px; font-family: Calibri, sans-serif; ">

<div>Hey folks,</div>

<div>Apologies if any of this has been discussed on the list already.  I've tried to check everything ahead of time.</div>

<div><br>

</div>

<div>We recently had two bugs combine to hit us in some of our regions as we rolled out some new code.  The result of them was rabbit servers not accept connections and/or crashing with OOM errors.   I wanted to pass them along as I know from the Large Deployments

 Team, there are more and more folks using cells to manage larger regions.   Here are the specific bugs:</div>

<div><br>

</div>

<div>Cells doesn't properly track RabbitMQ connection pools:</div>

<div><a href="https://review.openstack.org/#/c/152667/">https://review.openstack.org/#/c/152667/</a></div>

<div><br>

</div>

<div>Oslo messaging bgt in version 1.5.1 that leaks channels :</div>

<div>Upstream bug: <a href="https://bugs.launchpad.net/oslo.messaging/+bug/1406629">https://bugs.launchpad.net/oslo.messaging/+bug/1406629</a></div>

<div>Upstream fix: <a href="https://review.openstack.org/#/c/145232/9/oslo_messaging/_drivers/impl_rabbit.py">https://review.openstack.org/#/c/145232/9/oslo_messaging/_drivers/impl_rabbit.py</a></div>

<div><br>

</div>

<div><br>

</div>

<div>We are deploying patches for both in our problem areas now and the rest of the fleet in the immediate future, but this gave us quite a run for our money last week.  I wanted to share in case anyone else is chasing these issues and/or might after an upcoming

 code update.</div>

<div><br>

</div>

<div>Thanks!</div>

<div>Matt</div>

</body>

</html>