<div dir="ltr">Yair,<div><br></div><div>The 'isolated' mode makes the tempest session more realistic by simulating a cloud with multiple networks and ports. For Neutron tests this means creating a new set of network resources for each test class. If creating distinct network resources for each tenant is the root cause of this problem, there is probably some underlying issue in neutron that needs to be addressed.</div>
<div><br></div><div>I think there is a requirement to be able to run the test suite with 'full tenant isolation' and 'parallel' execution.</div><div><br></div><div>On the other hand Toshihiro noted that SSH gets connected, and before starting with the "protocol banner" errors, it even says that it tries to authenticate, and the authentication fails. I don't know what to think here. I only have two hints:</div>
<div>1 - The SSH connection attempt starts before the VM and the floating IPs are wired by the agent. Paramiko has to wait more than a minute for a response to come from the server. Could this cause the library to fail? Can we try to ping and then SSH once the ping succeeds as test_network_basic_ops does?</div>
<div>2 - Is there a chance that key management might be flaky when running parallel tests? I don't think so because otherwise we should see failures even with nova-network, and that does not happen.</div><div><br></div>
<div>Salvatore</div></div><div class="gmail_extra"><br><br><div class="gmail_quote">On 27 December 2013 08:14, IWAMOTO Toshihiro <span dir="ltr"><<a href="mailto:iwamoto@valinux.co.jp" target="_blank">iwamoto@valinux.co.jp</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">At Fri, 27 Dec 2013 01:53:59 +0100,<br>
Salvatore Orlando wrote:<br>
><br>
> [1  <multipart/alternative (7bit)>]<br>
> [1.1  <text/plain; ISO-8859-1 (7bit)>]<br>
<div class="im">> I put together all the patches which we prepared for making parallel<br>
> testing work, and ran a few times 'check experimental' on the gate to see<br>
> whether it worked or not.<br>
><br>
> With parallel testing, the only really troubling issue are the scenario<br>
> tests which require to access a VM from a floating IP, and the new patches<br>
> we've squashed together in [1] should address this issue. However, the<br>
> result is that timeouts are still observed but with a different message [2].<br>
> I'm not really familiar with it, and I've never observed it in local<br>
> testing. I wonder if it just happens to be the usual problem about the<br>
> target host not being reachable, or if it is something specific to paramiko.<br>
><br>
> Any hint would be appreciated, since from the logs is appears everything is<br>
> wired properly.<br>
<br>
</div>It seems that a TCP connection has been established but paramiko<br>
failed get data from the server in time.  Does increasing paramiko<br>
timeout help?<br>
<div class="im"><br>
> [1] <a href="https://review.openstack.org/#/c/57420/" target="_blank">https://review.openstack.org/#/c/57420/</a><br>
> [2]<br>
> <a href="http://logs.openstack.org/20/57420/40/experimental/check-tempest-dsvm-neutron-isolated-parallel/a74bdc8/console.html#_2013-12-26_22_51_31_817" target="_blank">http://logs.openstack.org/20/57420/40/experimental/check-tempest-dsvm-neutron-isolated-parallel/a74bdc8/console.html#_2013-12-26_22_51_31_817</a><br>

</div>> [1.2  <text/html; ISO-8859-1 (quoted-printable)>]<br>
><br>
> [2  <text/plain; us-ascii (7bit)>]<br>
<div class="HOEnZb"><div class="h5">> _______________________________________________<br>
> OpenStack-dev mailing list<br>
> <a href="mailto:OpenStack-dev@lists.openstack.org">OpenStack-dev@lists.openstack.org</a><br>
> <a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
<br>
_______________________________________________<br>
OpenStack-dev mailing list<br>
<a href="mailto:OpenStack-dev@lists.openstack.org">OpenStack-dev@lists.openstack.org</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
</div></div></blockquote></div><br></div>