<div dir="ltr"><div dir="ltr"><div class="gmail_default" style="font-family:verdana,sans-serif"><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, 8 Aug 2019 at 11:39, Eddie Yen <<a href="mailto:missile0407@gmail.com">missile0407@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Hi Mark, thanks for suggestion.<div><br></div><div>I think this, too. Cinder-api may normal but HAproxy could be very busy since one controller down.<br>I'll try to increase the value about cinder-api timeout.</div></div></blockquote><div><br></div><div class="gmail_default" style="font-family:verdana,sans-serif">Will you be proposing this fix upstream?</div><div class="gmail_default" style="font-family:verdana,sans-serif"></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">Mark Goddard <<a href="mailto:mark@stackhpc.com" target="_blank">mark@stackhpc.com</a>> 於 2019年8月7日 週三 上午12:06寫道：<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div dir="ltr"><div style="font-family:verdana,sans-serif"><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, 6 Aug 2019 at 16:33, Matt Riedemann <<a href="mailto:mriedemos@gmail.com" target="_blank">mriedemos@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">On 8/6/2019 7:18 AM, Mark Goddard wrote:<br>
> We do use a larger timeout for glance-api <br>
> (haproxy_glance_api_client_timeout <br>
> and haproxy_glance_api_server_timeout, both 6h). Perhaps we need <br>
> something similar for cinder-api.<br>
<br>
A 6 hour timeout for cinder API calls would be nuts IMO. The thing that <br>
was failing was a volume attachment delete/create from what I recall, <br>
which is the newer version (as of Ocata?) for the old <br>
initialize_connection/terminate_connection APIs. These are synchronous <br>
RPC calls from cinder-api to cinder-volume to do things on the storage <br>
backend and we have seen them take longer than 60 seconds in the gate CI <br>
runs with the lvm driver. I think the investigation normally turned up <br>
lvchange taking over 60 seconds on some concurrent operation locking out <br>
the RPC call which eventually results in the MessagingTimeout from <br>
oslo.messaging. That's unrelated to your gateway timeout from HAProxy <br>
but the point is yeah you likely want to bump up those timeouts since <br>
cinder-api has these synchronous calls to the cinder-volume service. I <br>
just don't think you need to go to 6 hours :). I think the keystoneauth1 <br>
default http response timeout is 10 minutes so maybe try that.<br>
<br></blockquote><div><span class="gmail_default" style="font-family:verdana,sans-serif"><br></span></div><div><span class="gmail_default" style="font-family:verdana,sans-serif">Yeah, wasn't advocating for 6 hours - just showing which knobs are available :)</span></div><div><span class="gmail_default" style="font-family:verdana,sans-serif"></span> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
-- <br>
<br>
Thanks,<br>
<br>
Matt<br>
<br>
</blockquote></div></div>
</blockquote></div>
</blockquote></div></div>