<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
</head>
<body bgcolor="#232729" text="#eeeeec" link="#4a90d9" vlink="#eeeeec">
<div>Hi,</div>
<div><br>
</div>
<div>so, nova says the VM is ACTIVE and actually boots with no network. We are setting some metadata that we use later on and have cloud-init for different tasks.</div>
<div>So, VM is up, OS is running, but network is working after a random amount of time, that can get to around 45 minutes. Thing is, is not happening to all VMs in that test (around 300), but it's happening to a fair amount - around 25%.</div>
<div><br>
</div>
<div>I can see the callback coming few seconds after neutron openvswitch agent says it's completed the setup. My question is, why is it taking so long for nova openvswitch agent to configure the port? I can see the port up in both host OS and openvswitch. I
 would assume it's doing the whole namespace and iptables setup. But still, 30 minutes? Seems a lot!</div>
<div><br>
</div>
<div>Thanks,</div>
<div>Radu </div>
<div><br>
</div>
<div>On Thu, 2018-05-17 at 11:50 -0400, George Mihaiescu wrote:</div>
<blockquote type="cite" style="margin:0 0 0 .8ex; border-left:2px #729fcf solid;padding-left:1ex">
<div dir="ltr">
<div>
<div>We have other scheduled tests that perform end-to-end (assign floating IP, ssh, ping outside) and never had an issue.<br>
</div>
I think we turned it off because the callback code was initially buggy and nova would wait forever while things were in fact ok, but I'll  change "vif_plugging_is_fatal = True" and "vif_plugging_timeout = 300" and run another large test, just to confirm.<br>
<br>
</div>
We usually run these large tests after a version upgrade to test the APIs under load.<br>
<br>
<br>
</div>
<div class="gmail_extra"><br>
<div class="gmail_quote">On Thu, May 17, 2018 at 11:42 AM, Matt Riedemann <span dir="ltr">
<<a href="mailto:mriedemos@gmail.com" target="_blank">mriedemos@gmail.com</a>></span> wrote:<br>
<blockquote type="cite" style="margin:0 0 0 .8ex; border-left:2px #729fcf solid;padding-left:1ex">
On 5/17/2018 9:46 AM, George Mihaiescu wrote:<br>
<blockquote type="cite" style="margin:0 0 0 .8ex; border-left:2px #729fcf solid;padding-left:1ex">
and large rally tests of 500 instances complete with no issues.<br>
<br>
</blockquote>
<br>
Sure, except you can't ssh into the guests.<br>
<br>
The whole reason the vif plugging is fatal and timeout and callback code was because the upstream CI was unstable without it. The server would report as ACTIVE but the ports weren't wired up so ssh would fail. Having an ACTIVE guest that you can't actually
 do anything with is kind of pointless.<span class="HOEnZb"><font color="#888888"><br>
<br>
<pre>_______________________________________________</pre>
<pre>OpenStack-operators mailing list</pre>
<pre><a href="mailto:OpenStack-operators@lists.openstack.org">OpenStack-operators@lists.openstack.org</a></pre>
<pre><a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-operators">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-operators</a></pre>
<pre><br></pre>
</font></span></blockquote>
</div>
</div>
</blockquote>
</body>
</html>