<div dir="ltr">Hi all,<div><br></div><div>I'll talk mostly about python-cinderclient but the same question could be related for other clients.</div><div><br></div><div>Now, for python-cinderclient we've got to kinds for functional/integrated jobs:</div><div><br></div><div>1) gate-cinderclient-dsvm-functional - a very limited (for now) set of functional tests, most of them were part of tempest CLI tests in the past.</div><div><br></div><div>2) gate-tempest-dsvm-neutron-src-python-cinderclient - if I understand right, the idea os this job was to have integrated tests to test cinderclient with other projects to verify that new patch to python-cinderclietn won't break any other project.</div><div>But it does *not* test cinderclient at all, except few attach-related tests because Tempest doesn't use python-*client.<br></div><div><br></div><div>The same job was added for python-heatclient but was removed because devstack didn't install Heat for that job [1].</div><div><br></div><div>We agreed [2] to remove this job from cinderclient gates too, once functional or integration tests will be implemented.<br></div><div><br></div><div><br></div><div>There is a proposal to python-cinderclient tests to implement some cross-project testing to make sure, that new python-cinderclient won't break any of existing project who use it. </div><div><br></div><div>After discussing in IRC with John Griffith (jgriffith) I'm realized that it could be an cross-project initiative in such kind of integration tests. OpenStack Client (OSC) could cover some part of such tests, but does it mean that we'll run OSC tests on every patch to python-*client? We can run only cinder-realated OSC tests on our gates to verify that it doesn't breack OSC and, may be other project.</div><div><br></div><div>The other option, is to implement tests like [3] per project basis and call it "integration".  Such tests could cover more cases than OSC functional tests and have more project-related test cases, e.g.: test some python-cinderclient specific corner cases, which is not related to OSC.</div><div><br></div><div>IMO, It would be good to have some cross-project decision on how will be implement clients' integration tests per project.</div><div><br></div><div><br></div><div>[1] <a href="https://review.openstack.org/#/c/272411/">https://review.openstack.org/#/c/272411/</a></div><div>[2] <a href="http://eavesdrop.openstack.org/meetings/cinder/2015/cinder.2015-12-16-16.00.log.html">http://eavesdrop.openstack.org/meetings/cinder/2015/cinder.2015-12-16-16.00.log.html</a></div><div>[3] <a href="https://review.openstack.org/#/c/279432/8">https://review.openstack.org/#/c/279432/8</a></div><div><br clear="all"><div><div class="gmail_signature"><div dir="ltr"><div>Regards,<br>Ivan Kolodyazhny,<br><a href="http://blog.e0ne.info/" target="_blank">http://blog.e0ne.info/</a></div></div></div></div>
</div></div>