<div dir="ltr"><br><br><div class="gmail_quote"><div dir="ltr">On Wed, Oct 31, 2018 at 5:44 AM Dmitry Tantsur <<a href="mailto:dtantsur@redhat.com">dtantsur@redhat.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div>Hi,<br>
<br>
On 10/31/18 1:36 AM, Julia Kreger wrote:<br></div>[trim]<br><div>
> <br>
> ironic-tempest-dsvm-ipa-wholedisk-agent_ipmitool-tinyipa-multinode - This job is <br>
> essentially the same as our grenade mutlinode job, the only difference being <br>
> grenade.<br>
<br>
Nope, not the same. Grenade jobs run only smoke tests, this job runs <br>
<a href="https://github.com/openstack/ironic-tempest-plugin/blob/master/ironic_tempest_plugin/tests/scenario/test_baremetal_multitenancy.py" rel="noreferrer" target="_blank">https://github.com/openstack/ironic-tempest-plugin/blob/master/ironic_tempest_plugin/tests/scenario/test_baremetal_multitenancy.py</a><br></div></blockquote><div><br></div><div>Ugh, Looking closer, we still end up deploying when the smoke tests run. It feels like the only real difference between what is being exercised is that one our explicit test scenario of putting two instances on two separate networks and validating connectivity is not present between the two. I guess I'm failing to see why we need all of the setup and infrastructure when we're just testing pluggable network bits and settings their upon. Maybe it is a good cantidate for looking at evolving how we handle scenario testing so we reduce our gate load and resulting wait for test results.</div><div><br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
> ironic-tempest-dsvm-ipa-wholedisk-bios-agent_ipmitool-tinyipa - This job <br>
> essentially just duplicates the functionality already covered in other jobs, <br>
> including the grenade job.<br>
<br>
Ditto, grenade jobs do not cover our tests at all. Also this is the very job we <br>
run on other projects (nova, neutron, maybe more), so it will be a bit painful <br>
to remove it.<br></blockquote><div><br></div><div>We run the basic baremetal ops test, which tests deploy. If we're already covering the same code paths in other tests (which I feel we are), then the test feels redundant to me. I'm not worried about the effort to change the job in other gates. We really need to pull agent_ipmitool out of the name if we keep it anyway... which still means going through zuul configs. <br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
[trim]</blockquote></div></div>