<div dir="ltr">Hi team,<div><br></div><div>we have an idea to create the test suite with destructive/HA and advanced end-user scenarios for the OpenStack clusters. This test suite will contains advanced scenario integration tests for OpenStack clusters to make sure that the cluster is ready for the production.</div><div><br></div><div>The test cases which we want to cover in this test suite:</div><div>1) All simple and advanced destructive actions, like a reboot of the nodes, restart OpenStack services and etc. (we can probably use of-faults library [1], which we already use in Rally)<br clear="all"><div>2) All advanced test scenarios like a migration of the bunch of VMs between nodes and booting of the VMs with large images (10+ Gb), send traffic between VMs and in parallel restart Neutron l3 agents and etc.</div><div><br></div><div>The key requirements:</div><div>1) The framework should know the details of the deployments (how many nodes we have, how to ssh to OpenStack nodes, how to restart the nodes and etc.). This is why we don't want to add such "advanced" and HA-focused test scenarios to Tempest.</div><div>2) We should be ready to run these tests for any clouds: DevStack clouds (we can skip HA cases for DevStack), Fuel clouds, clouds which were deployed by Ansible or Puppet tools.</div><div>3) This framework should allow reproduce the issue in a repeatable manner, this is why we can't just cover all the tests with Rally load tests + destructive plugins (we are working on this right now too to have an ability to test HA-related scenarios under the load). </div><div><br></div><div>As we discussed on the OpenStack summit a year ago it is better to move such test suite in a separate repository and this framework can became a part of the QA (or at least BigTent) program in OpenStack.</div><div><br></div><div><div>I've created the commit to OpenStack project-config repository:</div><div><a href="https://review.openstack.org/#/c/374667/">https://review.openstack.org/#/c/374667/</a><br></div><div><br></div><div>Could you please take a look?</div></div><div><br></div><div>We understand that it will be hard to add such test suite to the gates for every commit in OpenStack because we will need a lot of hardware. We don't want to add these tests to the per-commit gates for now, it is ok to run them just once a day, for example. And we definitely need to have such test suite to validate our own pre-production clouds.</div><div><br></div><div><br></div><div>Thank you!</div><div><br></div><div>[1] <a href="https://github.com/openstack/os-faults">https://github.com/openstack/os-faults</a></div><div><br></div><div><br></div>-- <br><div class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><font color="#888888"><font color="#888888"><br></font></font><div style="font-family:arial;font-size:small">Timur,</div><div style="font-family:arial;font-size:small">QA Manager</div><div style="font-family:arial;font-size:small">OpenStack Projects</div><div style="font-family:arial;font-size:small">Mirantis Inc</div></div></div></div></div></div></div></div></div>
</div></div>