<div dir="ltr"><div dir="ltr" class="gmail_msg"><div class="gmail_quote gmail_msg"><div dir="ltr" class="gmail_msg">On Sat, Mar 11, 2017 at 10:45 PM Matt Riedemann <<a href="mailto:mriedemos@gmail.com" class="gmail_msg" target="_blank">mriedemos@gmail.com</a>> wrote:<br class="gmail_msg"></div><blockquote class="gmail_quote gmail_msg" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">On 3/10/2017 3:02 PM, Andrea Frittoli wrote:<br class="gmail_msg">
><br class="gmail_msg">
> We had a couple of sessions related to this topic at the PTG [0][1].<br class="gmail_msg">
><br class="gmail_msg">
> We agreed that we want to still maintain integration tests only in<br class="gmail_msg">
> Tempest, which means that API micro versions that have no integration<br class="gmail_msg">
> impact can be tested via functional tests.<br class="gmail_msg">
<br class="gmail_msg">
To be clear, "integration" here means tests that span operations across<br class="gmail_msg">
multiple services, correct? Like a compute test that first creates a<br class="gmail_msg">
port in the networking service and a volume in the block storage service<br class="gmail_msg">
and then uses those to create a server and maybe take a snapshot of it<br class="gmail_msg">
which is then verified was uploaded to the image service.<br class="gmail_msg"></blockquote></div></div><div dir="ltr" class="gmail_msg"><div class="gmail_quote gmail_msg"><div class="gmail_msg">Yes, indeed.</div></div></div><div dir="ltr" class="gmail_msg"><div class="gmail_quote gmail_msg"><div class="gmail_msg"> <br class="gmail_msg"></div><blockquote class="gmail_quote gmail_msg" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br class="gmail_msg">
The non-integration things are self-contained in a single service, like<br class="gmail_msg">
if all you need to do is create an aggregate, show it's details and<br class="gmail_msg">
validate the response, at a particular microversion, we can just do that<br class="gmail_msg">
in nova functional tests, and it's not necessary in Tempest.<br class="gmail_msg">
<br class="gmail_msg">
It might be worth having a definition of this policy in the Tempest docs<br class="gmail_msg">
so when people ask this question again you can just point at the docs.<br class="gmail_msg"></blockquote><div class="gmail_msg"><br class="gmail_msg"></div></div></div><div dir="ltr" class="gmail_msg"><div class="gmail_quote gmail_msg"><div class="gmail_msg">I agree, we need to go a better job at documenting this. </div><div class="gmail_msg">I just want to avoid having a black and white rule that would not work.</div><div class="gmail_msg"><br></div><div class="gmail_msg">To me tests that should be in Tempest are tests that make sense to run</div><div class="gmail_msg">against any change in any repo, and the reasons for that can be many:</div><div class="gmail_msg">- the test involves multiple services (more that "it uses a token though")</div><div class="gmail_msg">- the test covers a feature which is key for interoperability</div><div class="gmail_msg">- the test must be reliable and not take too long</div><div class="gmail_msg"><br></div><div class="gmail_msg">Based on this I don't it's possible to completely avoid the discussion about</div><div class="gmail_msg">which test should in Tempest and which not, it's something to be considered</div><div class="gmail_msg">on a test by test basis, based on a set of guidelines.</div><div class="gmail_msg"> <br></div><div class="gmail_msg">We have an initial definition of scope in [0], but it's probably worth to elaborate</div><div class="gmail_msg">more on it. I'll put up a patch so that the discussion on it can continue in</div><div class="gmail_msg">gerrit.</div><div class="gmail_msg"><br></div><div class="gmail_msg">[0] <a href="https://docs.openstack.org/developer/tempest/test-removal.html#tempest-scope">https://docs.openstack.org/developer/tempest/test-removal.html#tempest-scope</a></div><div class="gmail_msg"><br></div></div></div><div dir="ltr" class="gmail_msg"><div class="gmail_quote gmail_msg"><blockquote class="gmail_quote gmail_msg" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br class="gmail_msg">
><br class="gmail_msg">
> In terms of which versions we test in the gate, for nova we always run<br class="gmail_msg">
> with min_microversion = None and max_microversion = latest, which means<br class="gmail_msg">
> that all tests will be executed.<br class="gmail_msg">
> Since micro versions are incremental, and each micro version usually<br class="gmail_msg">
> involves no or one test on Tempest side, I think it will be a while<br class="gmail_msg">
> before this becomes an issue for the common gate.<br class="gmail_msg">
<br class="gmail_msg">
We test max_microversion=latest only on master. On the devstack stable<br class="gmail_msg">
branch we cap the max_microversion, e.g.:<br class="gmail_msg"></blockquote></div></div><div dir="ltr" class="gmail_msg"><div class="gmail_quote gmail_msg"><div class="gmail_msg">Thanks, good point.</div></div></div><div dir="ltr" class="gmail_msg"><div class="gmail_quote gmail_msg"><div class="gmail_msg"> </div><blockquote class="gmail_quote gmail_msg" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br class="gmail_msg">
<a href="https://github.com/openstack-dev/devstack/blob/stable/newton/lib/tempest#L339" rel="noreferrer" class="gmail_msg" target="_blank">https://github.com/openstack-dev/devstack/blob/stable/newton/lib/tempest#L339</a><br class="gmail_msg">
<br class="gmail_msg">
--<br class="gmail_msg">
<br class="gmail_msg">
Thanks,<br class="gmail_msg">
<br class="gmail_msg">
Matt<br class="gmail_msg">
<br class="gmail_msg">
__________________________________________________________________________<br class="gmail_msg">
OpenStack Development Mailing List (not for usage questions)<br class="gmail_msg">
Unsubscribe: <a href="http://OpenStack-dev-request@lists.openstack.org?subject:unsubscribe" rel="noreferrer" class="gmail_msg" target="_blank">OpenStack-dev-request@lists.openstack.org?subject:unsubscribe</a><br class="gmail_msg">
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" rel="noreferrer" class="gmail_msg" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br class="gmail_msg">
</blockquote></div></div></div>