<div dir="ltr"><div><span style="font-size:12.8px">Sagi,</span></div><span style="font-size:12.8px"><div><span style="font-size:12.8px"><br></span></div></span><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><span style="font-size:12.8px">I think Rally or Browbeat and other performance oriented solutions won't serve our needs, because we run TripleO CI on virtualized environment with very limited resources. Actually we are pretty close to full utilizing these resources when deploying openstack, so very little is available for test. </span></blockquote><div><br></div><div>You can run Rally with any load. Including just starting 1 smallest VM. </div><div><br></div><div><br></div><div><blockquote style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex" class="gmail_quote">It may be useful to run a "limited edition" of API tests that maximize coverage and don't duplicate, for example just to check service working basically, without covering all its functionality. It will take very little time (i.e. 5 tests for each service) and will give a general picture of deployment success. It will cover fields that are not covered by pingtest as well.</blockquote></div><div><br></div><div>You can actually pick few of scenarios that we have in Rally and cover most of the functionality. </div><div>If you specify what exactly you want to test I can help with writing Rally Task for that. (it will use as minimum as possible resources) </div><div><br></div><div><br></div><div>Best regards,</div><div>Boris Pavlovic </div><div> </div><div><br></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Apr 6, 2017 at 2:38 AM, Dmitry Tantsur <span dir="ltr"><<a href="mailto:dtantsur@redhat.com" target="_blank">dtantsur@redhat.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="HOEnZb"><div class="h5">On 04/05/2017 10:49 PM, Emilien Macchi wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Greetings dear owls,<br>
<br>
I would like to bring back an old topic: running tempest in the gate.<br>
<br>
== Context<br>
<br>
Right now, TripleO gate is running something called pingtest to<br>
validate that the OpenStack cloud is working. It's an Heat stack, that<br>
deploys a Nova server, some volumes, a glance image, a neutron network<br>
and sometimes a little bit more.<br>
To deploy the pingtest, you obviously need Heat deployed in your overcloud.<br>
<br>
== Problems:<br>
<br>
Although pingtest has been very helpful over the last years:<br>
- easy to understand, it's an Heat template, like an OpenStack user<br>
would do to deploy their apps.<br>
- fast: the stack takes a few minutes to be created and validated<br>
<br>
It has some limitations:<br>
- Limitation to what Heat resources support (example: some OpenStack<br>
resources can't be managed from Heat)<br>
- Impossible to run a dynamic workflow (test a live migration for example)<br>
<br>
== Solutions<br>
<br>
1) Switch pingtest to Tempest run on some specific tests, with feature<br>
parity of what we had with pingtest.<br>
For example, we could imagine to run the scenarios that deploys VM and<br>
boot from volume. It would test the same thing as pingtest (details<br>
can be discussed here).<br>
Each scenario would run more tests depending on the service that they<br>
run (scenario001 is telemetry, so it would run some tempest tests for<br>
Ceilometer, Aodh, Gnocchi, etc).<br>
We should work at making the tempest run as short as possible, and the<br>
close as possible from what we have with a pingtest.<br>
</blockquote>
<br></div></div>
A lot of work is going into Tempest itself and its various plugins, so that it becomes a convenient and universal tool to test OpenStack clouds. While we're not quite there in terms of convenience, it's hard to match the coverage of tempest + plugins. I'd prefer TripleO use (some subset of) Tempest test suite(s).<span class=""><br>
<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
2) Run custom scripts in TripleO CI tooling, called from the pingtest<br>
(heat template), that would run some validations commands (API calls,<br>
etc).<br>
It has been investigated in the past but never implemented AFIK.<br>
<br>
3) ?<br>
</blockquote>
<br></span>
Unless you want to duplicate all the work that goes into Tempest ecosystem now, this is probably not a good idea.<span class="im HOEnZb"><br>
<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
I tried to make this text short and go straight to the point, please<br>
bring feedback now. I hope we can make progress on $topic during Pike,<br>
so we can increase our testing coverage and detect deployment issues<br>
sooner.<br>
<br>
Thanks,<br>
<br>
</blockquote>
<br>
<br></span><div class="HOEnZb"><div class="h5">
______________________________<wbr>______________________________<wbr>______________<br>
OpenStack Development Mailing List (not for usage questions)<br>
Unsubscribe: <a href="http://OpenStack-dev-request@lists.openstack.org?subject:unsubscribe" rel="noreferrer" target="_blank">OpenStack-dev-request@lists.op<wbr>enstack.org?subject:unsubscrib<wbr>e</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" rel="noreferrer" target="_blank">http://lists.openstack.org/cgi<wbr>-bin/mailman/listinfo/openstac<wbr>k-dev</a><br>
</div></div></blockquote></div><br></div>