<div dir="ltr">Hello everyone.<div><br></div><div>I'm testing Icehouse on Ubuntu 14.04 nodes, and seems like it works ok, except for one thing - cinder randomly gives me unpleasant surprises which from a perspective of nova appears as:</div>

<div><br></div><div>...</div><div><span style="color:rgb(51,51,51);font-family:'Helvetica Neue',Helvetica,Arial,sans-serif;font-size:13px;line-height:18px">Max retries exceeded with url: /v1/a5286f8e7e2440ab9e8fcc120d59b872/volumes/fc10ef37-43ce-4b49-a943-f9cda7f97fac/action (Caused by <class 'httplib.BadStatusLine'>: '')</span><br>

</div><div><span style="color:rgb(51,51,51);font-family:'Helvetica Neue',Helvetica,Arial,sans-serif;font-size:13px;line-height:18px">...</span></div><div><span style="color:rgb(51,51,51);font-family:'Helvetica Neue',Helvetica,Arial,sans-serif;font-size:13px;line-height:18px"><br>

</span></div><div><span style="color:rgb(51,51,51);font-family:'Helvetica Neue',Helvetica,Arial,sans-serif;font-size:13px;line-height:18px">at approximately the same time I see following stuff in cinder-volume.log:</span></div>

<div><span style="color:rgb(51,51,51);font-family:'Helvetica Neue',Helvetica,Arial,sans-serif;font-size:13px;line-height:18px"><br></span></div><div><span style="color:rgb(51,51,51);font-family:'Helvetica Neue',Helvetica,Arial,sans-serif;font-size:13px;line-height:18px"><div>

2014-05-20 13:08:15.139 16400 ERROR oslo.messaging._drivers.impl_rabbit [-] Failed to consume message from queue: Socket closed</div><div>...</div><div>stacktrace goes here</div><div>...</div><div>2014-05-20 13:08:15.139 16400 TRACE oslo.messaging._drivers.impl_rabbit IOError: Socket closed</div>

<div>2014-05-20 13:08:15.139 16400 TRACE oslo.messaging._drivers.impl_rabbit </div><div>2014-05-20 13:08:15.141 16400 INFO oslo.messaging._drivers.impl_rabbit [-] Reconnecting to AMQP server on <a href="http://127.0.0.1:5672">127.0.0.1:5672</a></div>

<div>2014-05-20 13:08:15.142 16400 INFO oslo.messaging._drivers.impl_rabbit [-] Delaying reconnect for 1.0 seconds...</div><div>2014-05-20 13:08:16.184 16400 INFO oslo.messaging._drivers.impl_rabbit [-] Connected to AMQP server on <a href="http://127.0.0.1:5672">127.0.0.1:5672</a></div>

<div><br></div><div>That's the only suspicious thing I see in logs.</div><div><br></div><div><a href="http://127.0.0.1:5672">127.0.0.1:5672</a> is HAProxy balancing between 2 controllers with rabbitmq. HAProxy config for Rabbit:</div>

<div><div><div><br></div><div>listen rabbitmq-cluster</div><div><span class="" style="white-space:pre">       </span>bind <a href="http://127.0.0.1:5672">127.0.0.1:5672</a></div></div><div>        mode    tcp</div><div><span class="" style="white-space:pre">  </span>option  tcpka</div>

<div><span class="" style="white-space:pre">    </span>balance roundrobin </div><div>        server controller01 <a href="http://10.1.2.231:5672">10.1.2.231:5672</a> check inter 5000 rise 2 fall 3</div><div>        server controller02 <a href="http://10.1.2.232:5672">10.1.2.232:5672</a> check inter 5000 rise 2 fall 3</div>

</div><div><br></div><div>I suppose that the reason might be HAProxy dropping rabbitmq connections due to timeouts or something, but I have client and server timeouts set much higher then the interval when separate stacktraces appear in log.</div>

<div><br></div><div>Have anyone faced these troubles? Any suggestions regarding optimization of haproxy conf or something?</div></span></div></div>