<div dir="ltr"><span style="font-family:arial,sans-serif;font-size:13px">We have a Jenkins server and slave configuration that has been tested and integrated into upstream OpenStack CI.  We do not yet trigger on rechecks due to limitations of the Gerrit Jenkins trigger plugin.  However,  Arista has published a patch for this that we may be able to test.  Reporting into OpenStack Gerrit has been tested, but is currently disabled as we know that tests are failing. Re-enabling the reporting is as simple as clicking a checkbox in Jenkins, however.</span><div style="font-family:arial,sans-serif;font-size:13px">
<br></div><div style="font-family:arial,sans-serif;font-size:13px"><div>The test itself where we bring Nova up with the Docker plugin and run tempest against it is working fairly well. The process of building the VM image and running it is fully automated and running smoothly. Nova is installed, started, and tempest runs against it.</div>
<div><div><br></div><div>Tempest is working without failures on the majority of tests. To speed development I've been concentrating on the "tempest.api.compute" tests. To date, I've only disabled neutron, cinder, and the v3 api. I expect that I'll need to disable the config_drive and migration extensions as we do not support these features in our driver. I haven't yet identified any other extensions that do not work.</div>
<div><br></div><div>Tuesday's pass/fail for Tempest was 32 failures to 937 tests. The total number of tests is as low as 937 because this only includes the compute api tests, knowing that we're passing or skipping all other test suites.</div>
<div><br></div><div>Since Tuesday, I've made a number of changes including bugfixes for the Docker driver and disabling of the config_drive and migration extensions. I'm still running tempest against these changes, but expect to see fewer than 20 failing tests today.</div>
<div><br></div><div>Here is a list of the tests that failed as of Tuesday:</div><div> <a href="http://paste.openstack.org/show/69566/" target="_blank">http://paste.openstack.org/show/69566/</a></div><div><br></div><div>Related changes in review:</div>
<div>* Nova</div><div>  - <a href="https://review.openstack.org/#/c/76382/" target="_blank">https://review.openstack.org/#/c/76382/</a></div><div>  - <a href="https://review.openstack.org/#/c/76373/" target="_blank">https://review.openstack.org/#/c/76373/</a></div>
<div>* Tempest</div><div>  - <a href="https://review.openstack.org/#/c/75267/" target="_blank">https://review.openstack.org/#/c/75267/</a></div><div>  # following have -1's for me to review, may be rolled into a single patch</div>
<div>  - <a href="https://review.openstack.org/#/c/75249/" target="_blank">https://review.openstack.org/#/c/75249/</a></div><div>  - <a href="https://review.openstack.org/#/c/75254/" target="_blank">https://review.openstack.org/#/c/75254/</a></div>
<div>  - <a href="https://review.openstack.org/#/c/75274/" target="_blank">https://review.openstack.org/#/c/75274/</a></div><div><br></div><div>A fair number of the remaining failures are timeout errors creating tenants in Keystone and uploading images into Glance. It isn't clear why I'm seeing these errors, but I'm going to attempt increasing the timeout. There may be some more subtle problem with my environment, or it may simply be a matter of performance, but I doubt these issues are specific to the Docker hypervisor.</div>
<div><br></div><div>Because we don't support Neutron and the v3 api doesn't work with nova-network, I haven't yet concentrated effort into v3. Having done some limited testing of the v3 API, however, I've seen relatively few failures and most or all overlapped with the existing v2 failures. I'm not sure how Russell or the community feels about skipping Tempest tests for v3, and I would like to try making these pass, but I presently see it as lower priority versus making v2 work and pass.</div>
</div></div><div><br></div>-- <br><div dir="ltr">Regards,<div>Eric Windisch</div></div>
</div>