<div dir="ltr">Hi,<br><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Mar 17, 2016 at 2:20 AM, Ken'ichi Ohmichi <span dir="ltr"><<a href="mailto:ken1ohmichi@gmail.com" target="_blank">ken1ohmichi@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">Hi<br>
<br>
I have one proposal[1] related to negative tests in Tempest, and<br>
hoping opinions before doing that.<br>
<br>
Now Tempest contains negative tests and sometimes patches are being<br>
posted for adding more negative tests, but I'd like to propose<br>
removing them from Tempest instead.<br>
<br>
Negative tests verify surfaces of REST APIs for each component without<br>
any integrations between components. That doesn't seem integration<br>
tests which are scope of Tempest.<br></blockquote><div>Tempest is not only about integration tests. I mean, we have hundreds of tests that are not integration tests.</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">
In addition, we need to spend the test operating time on different<br>
component's gate if adding negative tests into Tempest. For example,<br>
we are operating negative tests of Keystone and more<br>
components on the gate of Nova. That is meaningless, so we need to<br>
avoid more negative tests into Tempest now.<br></blockquote><div>You have a good point here. But this problem (running tests for project X on project Y's gate) should be addressed more generally not only for negative tests.</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">
<br>
If wanting to add negative tests, it is a nice option to implement<br>
these tests on each component repo with Tempest plugin interface. We<br>
can avoid operating negative tests on different component gates and<br>
each component team can decide what negative tests are valuable on the<br>
gate.<br>
<br>
In long term, all negative tests will be migrated into each component<br>
repo with Tempest plugin interface. We will be able to operate<br>
valuable negative tests only on each gate.<br>
<br>
Any thoughts?<br></blockquote><div><br></div><div>I am not sure we should remove negative tests from Tempest. Agreed that we should reject most new negative tests, but some negative</div><div>tests do test useful things imo. Also I ran all the negative tests today: "Ran: 452 tests in 144.0000 sec." They just account for 2 minutes and 20sec</div><div>in the gate. That's very little, removing them won't bring a lot. And the code for negative tests is quite contain, not a big maintenance burden.</div><div><br></div><div>Jordan</div></div></div></div>