<div dir="ltr">I am good with that. <div>But Martin should respond since it will impact Refstack.</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Fri, Sep 10, 2021 at 10:46 AM Michael Johnson <<a href="mailto:johnsomor@gmail.com">johnsomor@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Personally I think it is cleaner to just unroll these from DDT into<br>
individual stub tests. There are not a lot of them and they are<br>
important for the interop testing, so should be cleanly tracked.<br>
Frankly we have spent more time talking about the problems than the<br>
change would take to write. grin<br>
<br>
If the interop team agrees, I am happy to do the work on the tests.<br>
<br>
Michael<br>
<br>
On Thu, Sep 9, 2021 at 10:07 AM Goutham Pacha Ravi<br>
<<a href="mailto:gouthampravi@gmail.com" target="_blank">gouthampravi@gmail.com</a>> wrote:<br>
><br>
><br>
><br>
> On Thu, Sep 9, 2021 at 12:57 AM Martin Kopec <<a href="mailto:mkopec@redhat.com" target="_blank">mkopec@redhat.com</a>> wrote:<br>
>><br>
>> From interop perspective it's also better not to have multiple tests with the same id.<br>
>> We encountered one more problem with ddt - the test names seem not to be generated consistently, see this:<br>
>> <a href="https://paste.opendev.org/show/809187/" rel="noreferrer" target="_blank">https://paste.opendev.org/show/809187/</a><br>
>> The test can have either _00009_TXT suffix or _9_TXT one.<br>
>><br>
>> Until we figure this out, I think we will need to flag the test in interop - so that a skip of the test (because of the name mismatch in this case) won't make the whole guideline fail.<br>
>><br>
>> Luigi's idea is great. Every test should be identified by a unique id and it shouldn't matter that the test is generated (ddt). Different input data -> different test -> different name -> different id.<br>
>> Let's try to explore whether having a unique id per ddt entry is possible.<br>
><br>
><br>
><br>
> I think we could annotate the test inputs and include a unique UUID included in the test name/doc per test input. Something along these lines: <a href="https://review.opendev.org/c/openstack/manila-tempest-plugin/+/808114" rel="noreferrer" target="_blank">https://review.opendev.org/c/openstack/manila-tempest-plugin/+/808114</a><br>
> However, adding the UUID as a test attr (a functionality of "testtools" [1]) will require a hook within ddt likely.<br>
><br>
> However, as we've discovered, there's no way to avoid adding an ordinal into the generated test name when using DDT, and so we'll have to either set a PYTHONHASHSEED and disable hash randomization, or ensure that values appear in the same order all the time (example [2])<br>
><br>
> [1] <a href="https://github.com/testing-cabal/testtools/blob/f38af6765d4e412b7a7ed1c77ddc9d68320330aa/testtools/testcase.py#L892" rel="noreferrer" target="_blank">https://github.com/testing-cabal/testtools/blob/f38af6765d4e412b7a7ed1c77ddc9d68320330aa/testtools/testcase.py#L892</a><br>
> [2] <a href="https://review.opendev.org/c/openstack/manila-tempest-plugin/+/755859" rel="noreferrer" target="_blank">https://review.opendev.org/c/openstack/manila-tempest-plugin/+/755859</a><br>
><br>
><br>
><br>
>><br>
>><br>
>><br>
>> On Wed, 8 Sept 2021 at 18:15, Luigi Toscano <<a href="mailto:ltoscano@redhat.com" target="_blank">ltoscano@redhat.com</a>> wrote:<br>
>>><br>
>>> On Wednesday, 8 September 2021 17:48:30 CEST Michael Johnson wrote:<br>
>>> > If the use of "ddt" is a big problem for the compliance testing, we<br>
>>> > can consider breaking these out into individual tests (likely to be<br>
>>> > duplicates to the existing "ddt" tests to maintain the legacy test<br>
>>> > UUIDs).<br>
>>><br>
>>> I was wondering: wouldn't it be possible to expand or use ddt somehow to<br>
>>> inject different UUIDs for each generated test? You know in advance how many<br>
>>> tests are going to be generated.<br>
>>><br>
>>> --<br>
>>> Luigi<br>
>>><br>
>>><br>
>><br>
>><br>
>> --<br>
>> Martin<br>
<br>
</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr">Arkady Kanevsky, Ph.D.<div>Phone: 972 707-6456</div><div>Corporate Phone: 919 729-5744 ext. 8176456<br><div></div></div></div></div>