<div dir="ltr"><div dir="ltr"><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, May 4, 2020 at 5:24 PM Ghanshyam Mann <<a href="mailto:gmann@ghanshyammann.com">gmann@ghanshyammann.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"> ---- On Mon, 04 May 2020 03:03:22 -0500 Luigi Toscano <<a href="mailto:ltoscano@redhat.com" target="_blank">ltoscano@redhat.com</a>> wrote ----<br>
 > On Monday, 4 May 2020 09:26:12 CEST Carlos Goncalves wrote:<br>
 > > Hey Ghanshyam,<br>
 > > <br>
 > > This is pretty good news! Congratulations to the whole team!<br>
 > > <br>
 > > I posted a patch to migrate the Octavia grenade job to native Zuul v3 [1].<br>
 > > It was really easy and simple to do it, so thanks again.<br>
 > > <br>
 > > One question. The job runs Tempest some tests (Nova, Neutron, ...) right<br>
 > > after Grenade. From an Octavia perspective, it is not something we really<br>
 > > don't care about but rather would prefer running (a subset of) Octavia<br>
 > > tests or none. Is this possible?<br>
 > <br>
 > Yes, you can definitely check the subset of tests.<br>
 > That behavior is driven by the same variable as in devstack-tempest jobs, <br>
 > which is tempest_test_regex.<br>
 > You can check an example here:<br>
 > <a href="https://review.opendev.org/#/c/638390/41/.zuul.yaml" rel="noreferrer" target="_blank">https://review.opendev.org/#/c/638390/41/.zuul.yaml</a><br>
<br>
<br>
There are two run of Tempest in grenade job:<br>
1. smoke test run on old node before upgrade. Those are just to verify the installation and optional to run.<br>
You can disable those by BASE_RUN_SMOKE=False in your job. I will say if that takes time then disable it like<br>
we discussed for Ironic case.<br>
<br>
2. upgrade tests. These tests run after the upgrade. The default set of test run are smoke tests (tempest + installed plugins) and<br>
can be overridden by tox_envlist and tempest_test_regex (example shown by tosky ) the same way devstack job does. <br></blockquote><div><br></div><div>Luigi helped me out on #openstack-qa earlier today and reviewed <a href="https://review.opendev.org/#/c/725098/">https://review.opendev.org/#/c/725098/</a> <span style="font-family:Arial,sans-serif;font-size:small">-- thanks!</span></div><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<br>
-gmann<br>
<br>
<br>
 > <br>
 > <br>
 > > <br>
 > > In patch set 6 [2], I tried to disable Tempest completely. I did so by<br>
 > > disabling "tempest" in devstack_services and set ENABLE_TEMPEST=False in<br>
 > > the Grenade plugin settings file. Yet, Tempest tests still ran. Looking at<br>
 > > the grenade job definition, it includes the tempest role -- is this<br>
 > > correct? I would expect Tempest to run only if ENABLE_TEMPEST=True.<br>
 > <br>
 > That variable only contronls the smoke tests executed post-upgrade (currently <br>
 > disabled), not the job-specific tempest tests. I realized now I have a long <br>
 > standing note to fix that, but it's not critical anyway in order to implement <br>
 > your requirement.<br>
 > <br>
 > Please remember to use the "native-zuulv3-migration" topic for those kind of <br>
 > changes (they are part of the more general "removal of legacy jobs" goal for <br>
 > Victoria).<br>
 > <br>
 > Ciao<br>
 > -- <br>
 > Luigi<br>
 > <br>
 > <br>
 > <br>
 > <br>
<br>
</blockquote></div></div>