<div dir="ltr">Left a comment on your patch. Looks like you have tempest disabled in your devstack settings file.</div><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Oct 20, 2016 at 4:34 AM, Neil Jerram <span dir="ltr"><<a href="mailto:neil@tigera.io" target="_blank">neil@tigera.io</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div><div>I'm trying to set up a dsvm gate job for networking-calico [1] - which I think means<br></div>- using DevStack to set up a single combined controller/compute node, with networking-calico settings and plugin [2]<br></div>- using Tempest to run some tests on that; ideally including some networking-related tests :-)<br><div><br>Unfortunately it doesn't run well yet [3][4]: I see tests failing because of something to do with credentials, and that also seem unrelated to networking, and I'm not sure if any networking-related tests are running.<br><br></div><div>I've tried comparing against the similar job for networking-ovn [5][6].  Before the point where Tempest starts reporting success/failure of individual tests, the only notable difference I see is that the networking-calico output has:<br><br>sed: can't read /opt/stack/new/tempest/etc/<wbr>tempest.conf: No such file or directory<br>Running tempest with a custom regex filter<br>all create: /opt/stack/new/tempest/.tox/<wbr>tempest<br>all installdeps: setuptools, -r/opt/stack/new/tempest/<wbr>requirements.txt<br>all develop-inst: /opt/stack/new/tempest<br><br></div><div>where the networking-ovn output only has:<br><br>Running tempest with a custom regex filter<br>all develop-inst-noop: /opt/stack/new/tempest<br><br></div><div>Is that significant?<br><br></div><div>Then the next, very obvious, difference is that the networking-calico output seems to have the results of individual tests all jumbled up - like output from multiple threads without a lock:<br><br>${PYTHON:-python} -m subunit.run discover -t ${OS_TOP_LEVEL:-./} ${OS_TEST_PATH:-./tempest/<wbr>test_discover}  --load-list /tmp/tmpGuFAar<br>2016-10-19 17:43:01.981 30902 INFO tempest [-] Using tempest config file /etc/tempest/tempest.conf<br>2016-10-19 17:43:02.005 30904 INFO tempest [-] Using tempest confi20g1 6file -/10e-19tc/te mp1e7s:4t3:/te02.030m 3pe0s908t INFO. tceonf<br>mpest [-] Using tempest config file /etc/tempest/tempest.co20n1f6<br>-10-19 17:43:02.059 30906 INFO tempest [-] Using tempest config file /etc/tempest/tempest.conf<br>{0} setUpClass (tempest.api.baremetal.admin.<wbr>test_api_discovery.<wbr>TestApiDiscovery) ... SKIPPED: TestApiDiscovery skipped as Ironic is not available<br>2016-10-19 17:43:02.373 30902 INFO tempest.test [-] <class 'tempest.lib.exceptions.<wbr>InvalidCredentials'> raised in AgentsAdminTestJSON.<wbr>setUpClass. Invoking tearDownClass.<br>{3} setUpClass (tempest.api.baremetal.admin.<wbr>test_nodes.TestNodes) ... SKIPPED: TestNodes skipped as Ironic is not available<br>{2} setUpClass (tempest.api.baremetal.admin.<wbr>test_drivers.TestDrivers) ... SKIPPED: TestDrivers skipped as Ironic is not available<br>{2} setUpClass (tempest.api.baremetal.admin.<wbr>test_ports_negative.<wbr>TestPortsNegative) ... SKIPPED: TestPortsNegative skipped as Ironic is not available<br>20{3} setUpClass (tempest.api.baremetal.admin.<wbr>test_nodestates.<wbr>TestNodeStates) ... SKIPPED: TestNodeStates skipped as Ironic is not available<br>16{0} setUpClass (tempest.api.compute.admin.<wbr>test_agents.<wbr>AgentsAdminTestJSON) [0.000000s] ... FAILED<br>2{3} setUpClass (tempest.api.baremetal.admin.<wbr>test_ports.TestPorts) ... SKIPPED: TestPorts skipped as Ironic is not available<br>021-106-1-016190- -111097:- 147:13:9403:2. 104728.32 :4{1} setUpClass (tempest.api.baremetal.admin.<wbr>test_chassis.TestChassis) ... SKIPPED: TestChassis skipped as Ironic is not available<br>23:3020.41356 7-9 0931300006 INFO tempest.test [-] <class 'tempest.lib.exceptions.<wbr>InvalidCre908 INFO- t19de 90empe17st.:4tes3:0tn22 t. [i3-8aIN]l6 FOs  t'30em90<p>4 IN class resFa't.O teitesmpstt eedst.teste[ -mp] [- in]e< s cBtl<.aarlisb.<wbr>ecmetexalceptions.Invs 'temNodesAdminTestJSON.<wbr>setUpCalpesidCredentitlaa.<wbr>lliss 'teb.eassxce. Inlspmtvoki'>on ras.piieInng vassliedtdC i.lrn Agitgeber.<wbr>aeergaxDcdteoepesntAdtiwmionia<wbr>nnlCsN'el>sga .asrItsan.iiv<br><br></div><div>whereas the networking-ovn output looks neat:<br><br>${PYTHON:-python} -m subunit.run discover -t ${OS_TOP_LEVEL:-./} ${OS_TEST_PATH:-./tempest/<wbr>test_discover}  --load-list /tmp/tmpl_uSDt<br>{0} setUpClass (tempest.api.baremetal.admin.<wbr>test_nodestates.<wbr>TestNodeStates) ... SKIPPED: TestNodeStates skipped as Ironic is not available<br>{2} setUpClass (tempest.api.baremetal.admin.<wbr>test_api_discovery.<wbr>TestApiDiscovery) ... SKIPPED: TestApiDiscovery skipped as Ironic is not available<br>{2} setUpClass (tempest.api.baremetal.admin.<wbr>test_ports.TestPorts) ... SKIPPED: TestPorts skipped as Ironic is not available<br>{3} setUpClass (tempest.api.baremetal.admin.<wbr>test_chassis.TestChassis) ... SKIPPED: TestChassis skipped as Ironic is not available<br>{1} setUpClass (tempest.api.baremetal.admin.<wbr>test_drivers.TestDrivers) ... SKIPPED: TestDrivers skipped as Ironic is not available<br>{1} setUpClass (tempest.api.baremetal.admin.<wbr>test_nodes.TestNodes) ... SKIPPED: TestNodes skipped as Ironic is not available<br>{1} setUpClass (tempest.api.baremetal.admin.<wbr>test_ports_negative.<wbr>TestPortsNegative) ... SKIPPED: TestPortsNegative skipped as Ironic is not available<br>{1} setUpClass (tempest.api.compute.admin.<wbr>test_baremetal_nodes.<wbr>BaremetalNodesAdminTestJSON) ... SKIPPED: BaremetalNodesAdminTestJSON skipped as Ironic is not available<br>{1} tempest.api.compute.admin.<wbr>test_flavors.<wbr>FlavorsAdminTestJSON.test_<wbr>create_flavor_using_string_ram [0.232261s] ... ok<br>{1} tempest.api.compute.admin.<wbr>test_flavors.<wbr>FlavorsAdminTestJSON.test_<wbr>create_flavor_verify_entry_in_<wbr>list_details [0.101537s] ... ok<br>{1} tempest.api.compute.admin.<wbr>test_flavors.<wbr>FlavorsAdminTestJSON.test_<wbr>create_flavor_with_int_id [0.081664s] ... ok<br>{1} tempest.api.compute.admin.<wbr>test_flavors.<wbr>FlavorsAdminTestJSON.test_<wbr>create_flavor_with_none_id [0.079674s] ... ok<br>{1} tempest.api.compute.admin.<wbr>test_flavors.<wbr>FlavorsAdminTestJSON.test_<wbr>create_flavor_with_uuid_id [0.075899s] ... ok<br>{1} tempest.api.compute.admin.<wbr>test_flavors.<wbr>FlavorsAdminTestJSON.test_<wbr>create_list_flavor_without_<wbr>extra_data [0.409597s] ... ok<br><br></div><div>I would appreciate any help as regards what I'm doing wrong here.<br><br></div><div>Thanks,<br></div><div>     Neil<br><br>[1] <a href="http://git.openstack.org/cgit/openstack-infra/project-config/tree/jenkins/jobs/networking-calico.yaml" target="_blank">http://git.openstack.org/cgit/<wbr>openstack-infra/project-<wbr>config/tree/jenkins/jobs/<wbr>networking-calico.yaml</a><br>[2] <a href="http://git.openstack.org/cgit/openstack/networking-calico/tree/devstack" target="_blank">http://git.openstack.org/cgit/<wbr>openstack/networking-calico/<wbr>tree/devstack</a><br>[3] <a href="https://review.openstack.org/#/c/339263/" target="_blank">https://review.openstack.org/#<wbr>/c/339263/</a><br>[4] <a href="http://logs.openstack.org/63/339263/5/experimental/gate-tempest-dsvm-networking-calico-nv/8d47b1c/console.html" target="_blank">http://logs.openstack.org/63/<wbr>339263/5/experimental/gate-<wbr>tempest-dsvm-networking-<wbr>calico-nv/8d47b1c/console.html</a><br>[5] <a href="http://git.openstack.org/cgit/openstack-infra/project-config/tree/jenkins/jobs/networking-ovn.yaml" target="_blank">http://git.openstack.org/cgit/<wbr>openstack-infra/project-<wbr>config/tree/jenkins/jobs/<wbr>networking-ovn.yaml</a><br>[6] <a href="http://logs.openstack.org/16/386016/1/check/gate-tempest-dsvm-networking-ovn/4e3924f/console.html.gz" target="_blank">http://logs.openstack.org/16/<wbr>386016/1/check/gate-tempest-<wbr>dsvm-networking-ovn/4e3924f/<wbr>console.html.gz</a><br><br></div></div>
<br>______________________________<wbr>______________________________<wbr>______________<br>
OpenStack Development Mailing List (not for usage questions)<br>
Unsubscribe: <a href="http://OpenStack-dev-request@lists.openstack.org?subject:unsubscribe" rel="noreferrer" target="_blank">OpenStack-dev-request@lists.<wbr>openstack.org?subject:<wbr>unsubscribe</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" rel="noreferrer" target="_blank">http://lists.openstack.org/<wbr>cgi-bin/mailman/listinfo/<wbr>openstack-dev</a><br>
<br></blockquote></div><br></div>