<div dir="ltr"><div class="gmail_extra"><div class="gmail_quote">On Tue, Apr 22, 2014 at 4:23 AM, Sean Dague <span dir="ltr"><<a href="mailto:sean@dague.net" target="_blank">sean@dague.net</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div class="HOEnZb"><div class="h5"><br>
</div></div>Agreed. Though I think we probably want the Nova API to be explicit<br>
about what parts of the API it's ok to throw a Not Supported. Because I<br>
don't think it's a blanket ok. On API endpoints where this is ok, we can<br>
convert not supported to a skip.<br>
<div class="HOEnZb"><div class="h5"><br>
        -Sean<br>
<br></div></div></blockquote><div><br></div><div>I'd favor going even further and let any such exception convert to a skip, at least in the main test suite.  Keep Tempest a point-and-shoot suite that can be pointed at any cloud and "do the right thing."  We can add another test or utility (perhaps in tools/?) to interpret results and attach meaning to them WRT skips/fails validated against individual projects' current notion of what is mandatory.   A list of "these tests must pass against any driver" instead of a driver feature matrix.   This would allow such policies to easily change over time outside of the actual test code.</div>
<div><br></div><div>-Adam</div></div></div></div>