<div dir="ltr">Hi all, <div><br></div><div>It goes without saying words that actually tempest[1] is only one public known tool that could fully verify deployments and ensure dthat they work.</div><div><br></div><div>In Rally[2] we would like to use it as a cloud verifier (before benchmarking it is actually very useful;) to ensure that cloud work). We are going to build on top of tempest pretty interface and aliases & support of working with different clouds. E.g.: </div>
<div><br></div><div><font face="courier new, monospace">rally use deployment <uuid> # use some deployment that is registered in Rally</font></div><div><font face="courier new, monospace">rally verify nova # Run only nova tests against `in-use` deployment </font></div>
<div><font face="courier new, monospace">rally verify small/big/full # set of tests</font></div><div><font face="courier new, monospace">rally verify list # List all verification results for this deployment</font></div><div>
<font face="courier new, monospace">rally verify show <id> # Show detailed information</font></div><div><font face="courier new, monospace"># Okay we found that something failed, fixed it in cloud, restart service and we would like you to run only failed tests</font></div>
<div><font face="courier new, monospace">rally verify latest_failed # do it in one simple command</font></div><div><br></div><div>These commands should be very smart, generate proper tempest.conf for specific cloud, prepare cloud for tempest testing, store somewhere results and so on and so on. So at the end we will have very simple way to work with tempest. </div>
<div><br></div><div>We added first patch that adds base functionality to Rally [3]: </div><div><a href="https://review.openstack.org/#/c/70131/">https://review.openstack.org/#/c/70131/</a><br></div><div><br></div><div>At QA meeting I discussed it with David Kranz, as a result we agree that </div>
<div>part of this functionality (tempest.conf generator & cloud prepare), should be implemented inside tempest.</div><div><br></div><div>Current situation is not super cool because, there are at least 4 projects where we are generating in different way tempest.conf: </div>
<div>1) DevStack</div><div>2) Fuel CI</div><div>3) Rally</div><div>4) Tempest (currently broken)</div><div><br></div><div><br></div><div>To put it in a nutshell, it's clear that we should make only 1 tempest.conf generator [4], that will cover all cases, and will be enough simple to be used in all other projects. </div>
<div><br></div><div><br></div><div>Is anybody from tempest (or community) interested in helping with this?</div><div><br></div>
<div><br></div><div><br></div><div>[1] <a href="https://wiki.openstack.org/wiki/QA#Tempest" target="_blank">https://wiki.openstack.org/wiki/QA#Tempest</a></div><div>[2] <a href="https://wiki.openstack.org/wiki/Rally" target="_blank">https://wiki.openstack.org/wiki/Rally</a></div>
<div>[3] <a href="https://blueprints.launchpad.net/rally/+spec/tempest-verification">https://blueprints.launchpad.net/rally/+spec/tempest-verification</a></div><div>[4] <a href="https://blueprints.launchpad.net/tempest/+spec/tempest-config-generator">https://blueprints.launchpad.net/tempest/+spec/tempest-config-generator</a></div>
<div><br></div><div><br></div><div>Best regards,</div><div>Boris Pavlovic </div></div>