<div dir="ltr">It sounds like the censuses in this thread is: <div><br></div><div style>In the long run, we want to kill run_tests.sh in favor of explaining how to use the underlying tools in a TESTING file.</div><div style>

<br></div><div style>But in the short term, we should start moving toward using a TESTING file (such as <a href="https://review.openstack.org/#/c/33456/">https://review.openstack.org/#/c/33456/</a>) but keep run_test.sh for the time being as there are things it does that we don't have simple ways of doing yet.  Since run_tests.sh will be around for a while it does make sense to move it into oslo.</div>

<div style><br></div><div style><br></div><div style>best,</div><div style>Joe</div></div><div class="gmail_extra"><br><br><div class="gmail_quote">On Tue, Jun 18, 2013 at 11:44 AM, Monty Taylor <span dir="ltr"><<a href="mailto:mordred@inaugust.com" target="_blank">mordred@inaugust.com</a>></span> wrote:<br>

<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">-----BEGIN PGP SIGNED MESSAGE-----<br>
Hash: SHA1<br>
<div class="im"><br>
<br>
<br>
On 06/18/2013 08:44 AM, Julien Danjou wrote:<br>
> FWIW, I think we never really had a run_tests.sh in Ceilometer<br>
> like other projects might have, and we don't have one anymore for<br>
> weeks, and that never looked like a problem.<br>
><br>
> We just rely on tox and on a good working listing in<br>
> requirements.txt and test-requirements.txt, so you can build a venv<br>
> yourself if you'd like.<br>
<br>
</div>A couple of followups to things in this thread so far:<br>
<br>
- - Running tests consistently both in and out of virtualenv.<br>
<br>
Super important. Part of the problem is that setuptools "test" command<br>
is a broken pile of garbage. So we have a patch coming to pbr that<br>
will sort that out - and at least as a next step, tox and run_tests.sh<br>
can both run python setup.py test and it will work both in and out of<br>
a venv, regardless of whether the repo uses nose or testr.<br>
<br>
- - Individual tests<br>
<br>
nose and tox and testr and run_tests.sh all support running individual<br>
tests just fine. The invocation is slightly different for each. For me<br>
testr is hte friendliest because it defaults to regexes - so "testr<br>
run test_foo" will happily run<br>
nova.tests.integration.deep_directory.foo.TestFoo.test_foo. But - all<br>
four mechanisms work here fine.<br>
<br>
- - pbr<br>
<br>
Dropping in to a debugger while running via testr is currently<br>
problematic, but is currently on the table to be sorted. In the<br>
meantime, the workaround is to run testtools.run directly, which<br>
run_tests.sh does for you if you specify a single test. I think this<br>
is probably the single greatest current reason to keep run_tests.sh at<br>
the moment - because as much as you can learn the cantrips around<br>
doing it, it's not a good UI.<br>
<br>
- - nova vs. testr<br>
<br>
In general, things are moving towards testr being the default. I don't<br>
think there will be anybody cutting off people's hands for using nose,<br>
but I strongly recommend taking a second to learn testr a bit. It's<br>
got some great features and is built on top of a completely machine<br>
parsable test result streaming protocol, which means we can do some<br>
pretty cool stuff with it.<br>
-----BEGIN PGP SIGNATURE-----<br>
Version: GnuPG v1.4.12 (GNU/Linux)<br>
Comment: Using GnuPG with undefined - <a href="http://www.enigmail.net/" target="_blank">http://www.enigmail.net/</a><br>
<br>
iEYEARECAAYFAlHAqn4ACgkQ2Jv7/VK1RgGZ9gCdHe8AhG8uQi7nkBz1UbZHUjvJ<br>
KskAoKddVUPBZnXAtzNpBiwazRid0gu7<br>
=eGE3<br>
-----END PGP SIGNATURE-----<br>
</blockquote></div><br></div>