<div dir="ltr">Hi Folks,<div><br></div><div>I would like to know about the "best practices" followed for skipping tests not applicable for my environment.</div><div><br></div><div>I know one of the ways is to use the below decorator over the test method:</div><div> @test.skip_because(bug="BUG_ID") </div><div><br></div><div>However, what if my deployment doesn't support <span style="font-family:arial,sans,sans-serif;font-size:13px">VPNAAS and I want to skip those tests. Similarly, what if I want to skip the entire suite of sahara(data processing) tests.</span></div><div><span style="font-family:arial,sans,sans-serif;font-size:13px"><br></span></div><div><span style="font-family:arial,sans,sans-serif;font-size:13px">Are there any options in testr to customize running of tempest tests as per my environment/requirements?</span></div><div><span style="font-family:arial,sans,sans-serif;font-size:13px"><br></span></div><div><span style="font-family:arial,sans,sans-serif;font-size:13px">Regards,</span></div><div><span style="font-family:arial,sans,sans-serif;font-size:13px">Om</span></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Wed, Nov 26, 2014 at 3:13 AM, Vineet Menon <span dir="ltr"><<a href="mailto:mvineetmenon@gmail.com" target="_blank">mvineetmenon@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><p dir="ltr">Hi,<br>
Thanjs for clearing that up... I had a hard time understanding the screws before I went with testr.</p>
<p dir="ltr">Regards,<br>
Vineet</p>
<div class="gmail_quote"><div><div class="h5">On 25 Nov 2014 17:46, "Matthew Treinish" <<a href="mailto:mtreinish@kortar.org" target="_blank">mtreinish@kortar.org</a>> wrote:<br type="attribution"></div></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div><div class="h5">On Mon, Nov 24, 2014 at 10:49:27AM +0100, Angelo Matarazzo wrote:<br>
> Sorry for my previous message with wrong subject<br>
><br>
> Hi all,<br>
> By reading the tempest documentation page [1] a user can run tempest tests<br>
> by using whether testr or run_tempest.sh or tox.<br>
><br>
> What is the best practice?<br>
> run_tempest.sh has several options (e.g. ./run_tempest.sh -h) and it is my<br>
> preferred way, currently.<br>
> Any thought?<br>
<br>
So the options are there for different reasons and fit different purposes. The<br>
run_tempest.sh script exists mostly for legacy reasons as some people prefer to<br>
use it, and it predates the usage of tox in tempest. It also has some advantages<br>
like that it can run without a venv and provides some other options.<br>
<br>
Tox is what we use for gating, and we keep most of job definitions for gating in<br>
the tox.ini file. If you're trying to reproduce a gate run locally using tox is<br>
what is recommended to use. Personally I use it to run everything just because<br>
I often mix unit tests and tempest runs and I like having separate venvs for<br>
both being created on demand.<br>
<br>
Calling testr directly is just what all of these tools are doing under the<br>
covers, and it'll always be an option.<br>
<br>
One thing we're looking to do this cycle is to add a single entry point for<br>
running tempest which will hopefully clear up this confusion, and make the<br>
interface for interacting with tempest a bit nicer. When this work is done, the<br>
run_tempest.sh script will most likely disappear and tox will probably just be<br>
used for gating job definitions and just call the new entry-point instead of<br>
testr directly.<br>
<br>
><br>
> BR,<br>
> Angelo<br>
><br>
> [1] <a href="http://docs.openstack.org/developer/tempest/overview.html#quickstart" target="_blank">http://docs.openstack.org/developer/tempest/overview.html#quickstart</a><br>
><br>
<br>
-Matt Treinish<br>
<br></div></div><span class="">_______________________________________________<br>
OpenStack-dev mailing list<br>
<a href="mailto:OpenStack-dev@lists.openstack.org" target="_blank">OpenStack-dev@lists.openstack.org</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
<br></span></blockquote></div>
<br>_______________________________________________<br>
OpenStack-dev mailing list<br>
<a href="mailto:OpenStack-dev@lists.openstack.org">OpenStack-dev@lists.openstack.org</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
<br></blockquote></div><br></div>