<div dir="ltr"><div dir="ltr"><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Sep 9, 2021 at 12:57 AM Martin Kopec <<a href="mailto:mkopec@redhat.com">mkopec@redhat.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div dir="ltr"><div>From interop perspective it's also better not to have multiple tests with the same id.</div><div>We encountered one more problem with ddt - the test names seem not to be generated consistently, see this:</div><div><a href="https://paste.opendev.org/show/809187/" target="_blank">https://paste.opendev.org/show/809187/</a></div><div>The test can have either _00009_TXT suffix or _9_TXT one.<br></div><div><br></div><div>Until we figure this out, I think we will need to flag the test in interop - so that a skip of the test (because of the name mismatch in this case) won't make the whole guideline fail.</div><div><br></div><div>Luigi's idea is great. Every test should be identified by a unique id and it shouldn't matter that the test is generated (ddt). Different input data -> different test -> different name -> different id.</div><div>Let's try to explore whether having a unique id per ddt entry is possible.<br></div></div></div></blockquote><div><br></div><div><div><br class="gmail-Apple-interchange-newline">I think we could annotate the test inputs and include a unique UUID included in the test name/doc per test input. Something along these lines: <a href="https://review.opendev.org/c/openstack/manila-tempest-plugin/+/808114">https://review.opendev.org/c/openstack/manila-tempest-plugin/+/808114</a></div><div>However, adding the UUID as a test attr (a functionality of "testtools" [1]) will require a hook within ddt likely.  </div><div><br></div><div>However, as we've discovered, there's no way to avoid adding an ordinal into the generated test name when using DDT, and so we'll have to either set a PYTHONHASHSEED and disable hash randomization, or ensure that values appear in the same order all the time (example [2])</div><div><br></div><div>[1] <a href="https://github.com/testing-cabal/testtools/blob/f38af6765d4e412b7a7ed1c77ddc9d68320330aa/testtools/testcase.py#L892">https://github.com/testing-cabal/testtools/blob/f38af6765d4e412b7a7ed1c77ddc9d68320330aa/testtools/testcase.py#L892</a></div><div>[2] <a href="https://review.opendev.org/c/openstack/manila-tempest-plugin/+/755859">https://review.opendev.org/c/openstack/manila-tempest-plugin/+/755859</a></div><div><br></div></div><div><br></div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div dir="ltr"><div></div><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, 8 Sept 2021 at 18:15, Luigi Toscano <<a href="mailto:ltoscano@redhat.com" target="_blank">ltoscano@redhat.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">On Wednesday, 8 September 2021 17:48:30 CEST Michael Johnson wrote:<br>
> If the use of "ddt" is a big problem for the compliance testing, we<br>
> can consider breaking these out into individual tests (likely to be<br>
> duplicates to the existing "ddt" tests to maintain the legacy test<br>
> UUIDs).<br>
<br>
I was wondering: wouldn't it be possible to expand or use ddt somehow to <br>
inject different UUIDs for each generated test? You know in advance how many <br>
tests are going to be generated.<br>
<br>
-- <br>
Luigi<br>
<br>
<br>
</blockquote></div><br clear="all"><br>-- <br><div dir="ltr"><div dir="ltr">Martin<br></div></div></div>
</blockquote></div></div>