<div dir="ltr">Hi Matt, thanks for your reply first.<div><br></div><div>The log I paste is from nova-compute.</div><div>And I also check cinder-api & cinder-volume logs according from timestamp. Strange is, no error messages found during that time.</div><div>I remember I launch evacuation on the host.</div><div><br></div><div>Perhaps it's over-loading but it's not happening on the cinder. Because the environment is 3 all-in-one installation model.</div><div>That means control+compute per node, and 3 nodes become controller HA.</div><div>When I shutdown one of the node, I found all requests from API is pretty slow (can feel that when using dashboard.)</div><div>And back to normal again when the node is back.</div><div><br></div><div>I'll try do the evacuation again but with just disable nova host or stop nova services, to test if that happen again or not.</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">Matt Riedemann <<a href="mailto:mriedemos@gmail.com">mriedemos@gmail.com</a>> 於 2019年7月23日 週二 上午6:40寫道：<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">On 7/18/2019 3:53 AM, Eddie Yen wrote:<br>
> Before I try to evacuate host, the source host had about 24 VMs running.<br>
> When I shutdown the node and execute evacuation, there're few VMs <br>
> failed. The error code is 504.<br>
> Strange is those VMs are all attach its own volume.<br>
> <br>
> Then I check nova-compute log, a detailed error has pasted at below link;<br>
> <a href="https://pastebin.com/uaE7YrP1" rel="noreferrer" target="_blank">https://pastebin.com/uaE7YrP1</a><br>
> <br>
> Does anyone have any experience with this? I googled but no enough <br>
> information about this.<br>
<br>
Are there errors in the cinder-api logs during the evacuate of all VMs <br>
from the host? Are you doing the evacuate operation on all VMs on the <br>
host concurrently or in serial? I wonder if you're over-loading cinder <br>
and that's causing the timeout somehow. The timeout from cinder is when <br>
deleting volume attachment records, which would be terminating <br>
connections in the storage backend under the covers. Check the <br>
cinder-volume logs for errors as well.<br>
<br>
-- <br>
<br>
Thanks,<br>
<br>
Matt<br>
<br>
</blockquote></div>