<div dir="ltr"><div dir="ltr">+1<br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Sun, May 5, 2019 at 3:18 PM Ghanshyam Mann <<a href="mailto:gmann@ghanshyammann.com">gmann@ghanshyammann.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Current integrated-gate jobs (tempest-full) is not so stable for various bugs specially timeout. We tried<br>
to improve it via filtering the slow tests in the separate tempest-slow job but the situation has not been improved much.<br>
<br>
We talked about the Ideas to make it more stable and fast for projects especially when failure is not<br>
related to each project. We are planning to split the integrated-gate template (only tempest-full job as<br>
first step) per related services. <br>
<br>
Idea:<br>
- Run only dependent service tests on project gate.<br>
- Tempest gate will keep running all the services tests as the integrated gate at a centeralized  place without any change in the current job.<br>
- Each project can run the below mentioned template. <br>
- All below template will be defined and maintained by QA team. <br>
<br>
I would like to know each 6 services which run integrated-gate jobs<br>
<br>
1."Integrated-gate-networking" (job to run on neutron gate)<br>
 Tests to run in this template: neutron APIs , nova APIs,  keystone APIs ? All scenario currently running in tempest-full in the same way ( means non-slow and in serial)<br>
Improvement for neutron gate: exlcude the cinder API tests,  glance API tests, swift API tests,<br>
<br>
2."Integrated-gate-storage" (job to run on cinder gate, glance gate)<br>
Tests to run in this template: Cinder APIs , Glance APIs, Swift APIs, Nova APIs and All scenario currently running in tempest-full in the same way ( means non-slow and in serial)<br>
Improvement for cinder, glance gate: excluded the neutron APIs tests, Keystone APIs tests<br>
<br>
3. "Integrated-gate-object-storage" (job to run on swift gate)<br>
Tests to run in this template: Cinder APIs , Glance APIs, Swift APIs and All scenario currently running in tempest-full in the same way ( means non-slow and in serial)<br>
Improvement for swift gate: excluded the neutron APIs tests, - Keystone APIs tests, - Nova APIs tests.<br>
Note: swift does not run integrated-gate as of now.<br>
<br>
4. "Integrated-gate-compute" (job to run on Nova gate)<br>
tests to run is : Nova APIs, Cinder APIs , Glance APIs ?, neutron APIs and All scenario currently running in tempest-full in same way ( means non-slow and in serial)<br>
Improvement for Nova gate: excluded the swift APIs tests(not running in current job but in future, it might), Keystone API tests. <br>
<br>
5. "Integrated-gate-identity" (job to run on keystone gate)<br>
Tests to run is : all as all project use keystone, we might need to run all tests as it is running in integrated-gate.<br>
But does keystone is being unsed differently by all services? if no then, is it enough to run only single service tests say Nova or neutron ?<br>
<br>
6. "Integrated-gate-placement" (job to run on placement gate)<br>
Tests to run in this template: Nova APIs tests, Neutron APIs tests + scenario tests + any new service depends on placement APIs<br>
 Improvement for placement gate: excluded the  glance APIs tests, cinder APIs tests, swift APIs tests, keystone APIs tests<br>
<br>
Thoughts on this approach?<br>
<br>
The important point is we must not lose the coverage of integrated testing per project. So I would like to<br>
get each project view if we are missing any dependency (proposed tests removal) in above proposed templates.<br>
<br>
- <a href="https://etherpad.openstack.org/p/qa-train-ptg" rel="noreferrer" target="_blank">https://etherpad.openstack.org/p/qa-train-ptg</a> <br>
<br>
-gmann<br>
<br>
<br>
</blockquote></div></div>