<div dir="ltr"><div class="gmail_quote"><div dir="ltr">On Tue, May 2, 2017 at 5:33 PM Matthew Treinish <<a href="mailto:mtreinish@kortar.org" target="_blank">mtreinish@kortar.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">On Tue, May 02, 2017 at 09:49:14AM +0530, Rabi Mishra wrote:<br>
> On Fri, Apr 28, 2017 at 2:17 PM, Andrea Frittoli <<a href="mailto:andrea.frittoli@gmail.com" target="_blank">andrea.frittoli@gmail.com</a>><br>
> wrote:<br>
><br>
> ><br>
> ><br>
> > On Fri, Apr 28, 2017 at 10:29 AM Rabi Mishra <<a href="mailto:ramishra@redhat.com" target="_blank">ramishra@redhat.com</a>> wrote:<br>
> ><br>
> >> On Thu, Apr 27, 2017 at 3:55 PM, Andrea Frittoli <<br>
> >> <a href="mailto:andrea.frittoli@gmail.com" target="_blank">andrea.frittoli@gmail.com</a>> wrote:<br>
> >><br>
> >>> Dear stackers,<br>
> >>><br>
> >>> starting in the Liberty cycle Tempest has defined a set of projects<br>
> >>> which are in scope for direct<br>
> >>> testing in Tempest [0]. The current list includes keystone, nova,<br>
> >>> glance, swift, cinder and neutron.<br>
> >>> All other projects can use the same Tempest testing infrastructure (or<br>
> >>> parts of it) by taking advantage<br>
> >>> the Tempest plugin and stable interfaces.<br>
> >>><br>
> >>> Tempest currently hosts a set of API tests as well as a service client<br>
> >>> for the Heat project.<br>
> >>> The Heat service client is used by the tests in Tempest, which run in<br>
> >>> Heat gate as part of the grenade<br>
> >>> job, as well as in the Tempest gate (check pipeline) as part of the<br>
> >>> layer4 job.<br>
> >>> According to code search [3] the Heat service client is also used by<br>
> >>> Murano and Daisycore.<br>
> >>><br>
> >><br>
> >> For the heat grenade job, I've proposed two patches.<br>
> >><br>
> >> 1. To run heat tree gabbi api tests as part of grenade 'post-upgrade'<br>
> >> phase<br>
> >><br>
> >> <a href="https://review.openstack.org/#/c/460542/" rel="noreferrer" target="_blank">https://review.openstack.org/#/c/460542/</a><br>
> >><br>
> >> 2. To remove tempest tests from the grenade job<br>
> >><br>
> >> <a href="https://review.openstack.org/#/c/460810/" rel="noreferrer" target="_blank">https://review.openstack.org/#/c/460810/</a><br>
> >><br>
> >><br>
> >><br>
> >>> I proposed a patch to Tempest to start the deprecation counter for Heat<br>
> >>> / orchestration related<br>
> >>> configuration items in Tempest [4], and I would like to make sure that<br>
> >>> all tests and the service client<br>
> >>> either find a new home outside of Tempest, or are removed, by the end<br>
> >>> the Pike cycle at the latest.<br>
> >>><br>
> >>> Heat has in-tree integration tests and Gabbi based API tests, but I<br>
> >>> don't know if those provide<br>
> >>> enough coverage to replace the tests on Tempest side.<br>
> >>><br>
> >>><br>
> >> Yes, the heat gabbi api tests do not yet have the same coverage as the<br>
> >> tempest tree api tests (lacks tests using nova, neutron and swift<br>
> >> resources),  but I think that should not stop us from *not* running the<br>
> >> tempest tests in the grenade job.<br>
> >><br>
> >> I also don't know if the tempest tree heat tests are used by any other<br>
> >> upstream/downstream jobs. We could surely add more tests to bridge the gap.<br>
> >><br>
> >> Also, It's possible to run the heat integration tests (we've enough<br>
> >> coverage there) with tempest plugin after doing some initial setup, as we<br>
> >> do in all our dsvm gate jobs.<br>
> >><br>
> >> It would propose to move tests and client to a Tempest plugin owned /<br>
> >>> maintained by<br>
> >>> the Heat team, so that the Heat team can have full flexibility in<br>
> >>> consolidating their integration<br>
> >>> tests. For Murano and Daisycloud - and any other team that may want to<br>
> >>> use the Heat service<br>
> >>> client in their tests, even if the client is removed from Tempest, it<br>
> >>> would still be available via<br>
> >>> the Heat Tempest plugin. As long as the plugin implements the service<br>
> >>> client interface,<br>
> >>> the Heat service client will register automatically in the service<br>
> >>> client manager and be available<br>
> >>> for use as today.<br>
> >>><br>
> >>><br>
> >> if I understand correctly, you're proposing moving the existing tempest<br>
> >> tests and service clients to a separate repo managed by heat team. Though<br>
> >> that would be collective decision, I'm not sure that's something I would<br>
> >> like to do. To start with we may look at adding some of the missing pieces<br>
> >> in heat tree itself.<br>
> >><br>
> ><br>
> > I'm proposing to move tests and the service client outside of tempest to a<br>
> > new home.<br>
> ><br>
> > I also suggested that the new home could be a dedicate repo, since that<br>
> > would allow you to maintain the<br>
> > current branchless nature of those tests. A more detailed discussion about<br>
> > the topic can be found<br>
> > in the corresponding proposed queens goal [5],<br>
> ><br>
> > Using a dedicated repo *is not* a precondition for moving tests and<br>
> > service client out of Tempest.<br>
> ><br>
> ><br>
> We probably are mixing two different things here.<br>
><br>
> 1. Moving in-tree heat templest plugn and tests to a dedicated repo<br>
><br>
> Though we don't have any plans for it now, we may have to do it when/if<br>
> it's accepted as a community goal.<br>
><br>
> 2.  Moving tempest tree heat tests and heat service client to a new home<br>
> and owner.<br>
><br>
> I don't think that's something heat team would like to do given that we<br>
> don't use these tests anywhere and would probably spend time improving the<br>
> coverage of the gabbi api tests we already have.<br>
><br></blockquote><div><br></div></div><div dir="ltr"><div class="gmail_quote"><div>The test coverage provided by those tests is not available anywhere else at<br></div><div>the moment, however the tests are not really used, so I'm confused about this.</div><div><br></div><div>You could run the existing Tempest tests with very little extra effort until the</div><div>corresponding coverage is available in Gabbi format.</div></div></div><div dir="ltr"><div class="gmail_quote"><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
Ok, well if the heat team has no interest in maintaining these tests there is<br>
no point in keeping them around anymore. I've pushed up:<br>
<br>
<a href="https://review.openstack.org/461841" rel="noreferrer" target="_blank">https://review.openstack.org/461841</a></blockquote><div><br></div></div></div><div dir="ltr"><div class="gmail_quote"></div><div dir="ltr"><div class="gmail_quote"><div>Thanks for this.</div><div>We will need Heat PTL / QA Liaison +1 on the test removal before it goes through.</div></div></div><div dir="ltr"><div class="gmail_quote"></div></div></div><div dir="ltr"><div dir="ltr"><div class="gmail_quote"><div><br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><br>
<br>
to remove the tests. As for the clients we can just move those to tempest.lib<br>
to not break the plugins that are using them.<br></blockquote><div><br></div></div></div></div><div dir="ltr"><div dir="ltr"><div class="gmail_quote"><div>We could, but other projects maintain their own service clients, I'm not convinced we should</div><div>make a special case for Heat. </div></div></div></div><div dir="ltr"><div dir="ltr"><div class="gmail_quote"><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
-Matt Treinish<br>
__________________________________________________________________________<br>
OpenStack Development Mailing List (not for usage questions)<br>
Unsubscribe: <a href="http://OpenStack-dev-request@lists.openstack.org?subject:unsubscribe" rel="noreferrer" target="_blank">OpenStack-dev-request@lists.openstack.org?subject:unsubscribe</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" rel="noreferrer" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
</blockquote></div></div></div></div>