<div dir="ltr"><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;color:#000000"><br></div><div class="gmail_extra"><div class="gmail_quote">On Wed, Mar 7, 2018 at 10:15 PM, Andrea Frittoli <span dir="ltr"><<a href="mailto:andrea.frittoli@gmail.com" target="_blank">andrea.frittoli@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><br><br><div class="gmail_quote"><div dir="ltr">On Wed, Mar 7, 2018 at 12:42 PM Ghanshyam Mann <<a href="mailto:gmann@ghanshyammann.com" target="_blank">gmann@ghanshyammann.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"> Hi All,<br><br>QA had discussion in Dublin PTG about interop adds-on tests location. First of all thanks all (specially markvoelker, dhellmann, mugsie) for joining the sessions. and I am glad we conclude the things and agreed on solution.<br><br>Discussion was carry forward from the ML discussion [1] and to get the agreement about interop adds-on program tests location. <div> <br>Till now only 2 projects (heat and designate) are in list of adds-on program from interop side. After discussion and points from all stack holders, QA team agreed to host these 2 projects interop tests.  Tests from both projects are not much as of now and QA team can accommodate to host their interop tests.</div><div><br></div><div>Along with that agreement we had few more technical points to consider while moving designate and heat interop tests in Tempest repo. All the interop tests going to be added in Tempest must to be Tempest like tests. Tempest like tests here means tests written using Tempest interfaces and guidelines. For example, heat has their tests in heat-tempest-plugin based on gabbi and to move heat interop tests to Tempest those have to be written as Tempest like test. This is because if we accept non-tempest like tests in Tempest then, it will be too difficult to maintain by Tempest team.</div><div><br>Projects (designate and heat) and QA team will work closely to move interop tests to Tempest repo which might needs some extra work of standardizing their tests and interface used by them like service clients etc.<br> <br>In future, if there are more new interop adds-on program proposal then, we need to analyse the situation again regarding QA team bandwidth. TC or QA or interop team needs to raise the resource requirement to Board of Directors before any more new adds-on program is being proposed. If QA team has less resource and less review bandwitdh then we cannot accept the more interop programs till QA get more resource to maintain new interop tests. <br><br>Overall Summary:<br>- QA team agreed to host the interop tests for heat and designate in Tempest repo.<br>- Existing TC resolution needs to be adjust about the QA team resource bandwidth requirement. If there is going to be more adds-on program proposal then, QA team will not accept the new interop tests if QA team bandwidth issue still exist that time also.<br>- Tempest will document the clear process about interop tests addition and other more care items etc.<br>- Projects team to make their tests and interface as Tempest like tests and stable interfaces standards. Tempest team will closely work and help Designate and Heat on this.<br><br></div></div></blockquote><div>Thanks for the summary Ghanshyam!</div><div><br></div><div>We had some follow up discussion on Friday about this, after the Heat team expressed their concern about proceeding with the plan we discussed during the session on Wednesday.</div><div>A group of representatives of the Heat, Designate and Interop teams met with the TC and agreed on reviving the resolution started by mugsie in <a href="https://review.openstack.org/#/c/521602" target="_blank">https://review.openstack.<wbr>org/#/c/521602</a> to add an alternative to hosting tests in the Tempest repo. Unfortunately I was only there for the last few minutes of the meeting, but I understand that the proposal drafted there was to allow team to have interop-specific Tempest plugins <div class="gmail_default" style="font-family:arial,helvetica,sans-serif;color:rgb(0,0,0);display:inline">​​</div>co-owned by QA/Interop/add-on project team. mugsie has updated the resolution accordingly and I think the discussion on that can continue in gerrit directly.</div></div></div></blockquote><div><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;color:rgb(0,0,0)">​Thanks for pointing that. I feel 

<div class="gmail_default" style="font-size:small;font-style:normal;font-variant-ligatures:normal;font-variant-caps:normal;font-weight:400;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;background-color:rgb(255,255,255);text-decoration-style:initial;text-decoration-color:initial;font-family:arial,helvetica,sans-serif;color:rgb(0,0,0);display:inline">​</div><span style="color:rgb(34,34,34);font-family:arial,sans-serif;font-size:small;font-style:normal;font-variant-ligatures:normal;font-variant-caps:normal;font-weight:400;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;background-color:rgb(255,255,255);text-decoration-style:initial;text-decoration-color:initial;float:none;display:inline">co-owned is not solving any issue here and i am little worried if that makes things more difficult on controlling the tests. If tests are not tempest like tests then, it is little difficult for QA team to control or input. and if it is also owned by project then how it make sure to control the test modification by non-project team. I mean i am all ok with separate plugin which is more easy for QA team but ownership to QA is kind of going to same direction(QA team maintaining interop ads-on tests) in more difficult way. </span></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;color:rgb(0,0,0)"><span style="color:rgb(34,34,34);font-family:arial,sans-serif;font-size:small;font-style:normal;font-variant-ligatures:normal;font-variant-caps:normal;font-weight:400;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;background-color:rgb(255,255,255);text-decoration-style:initial;text-decoration-color:initial;float:none;display:inline">I will check and add my points on gerrit.  </span></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;color:rgb(0,0,0)">​</div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_quote"><div><br></div><div>Just to clarify, nothing has been decided yet, but at least the new proposal was received positively by all parties involved in the discussion on Friday.</div><div><br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div>Action Items:<br>- mugsie to abandon <a href="https://review.openstack.org/#/c/521602" target="_blank">https://review.openstack.org/#<wbr>/c/521602</a> with quick summary of discussion here at PTG<br></div></div></blockquote><div>This is not valid anymore, we should discuss this further and hopefully reach an agreement.</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div>- markvoelker to write up clarification to InteropWG process stating that tests should be moved into Tempest before being proposed to the BoD<br>- markvoelker to work with gmann before next InteropWG+BoD discussion to frame up a note about resourcing testing for add-on/vertical programs<br>- dhellmann to adjust the TC resolution for resource requirement in QA when new adds-on program is being proposed<br>- project teams to convert  interop test and  framework as per tempest like tests and propose to add to tempest repo.<br></div></div></blockquote><div>If the new resolution is agreed on, this will become one of the options.</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div>- gmann to define process in QA about interop tests addition and maintainance<br></div></div></blockquote><div>This is still an option so you may still want to do it.</div><div> </div><div>Andrea Frittoli (andreaf)</div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div><br>We have added this as one of the monitoring/helping item for QA to make sure it is done without delay.  Let's work together to finish this activity.  <br><br>Discussion Details: <a href="https://etherpad.openstack.org/p/qa-rocky-ptg-Interop-test-for-adds-on-project" target="_blank">https://etherpad.openstack.<wbr>org/p/qa-rocky-ptg-Interop-<wbr>test-for-adds-on-project</a> <br><br>..1 <a href="http://lists.openstack.org/pipermail/openstack-dev/2018-January/126146.html" target="_blank">http://lists.openstack.org/<wbr>pipermail/openstack-dev/2018-<wbr>January/126146.html</a>  <br><br>-gmann</div></div>
______________________________<wbr>_________________<br>
Interop-wg mailing list<br>
<a href="mailto:Interop-wg@lists.openstack.org" target="_blank">Interop-wg@lists.openstack.org</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/interop-wg" rel="noreferrer" target="_blank">http://lists.openstack.org/<wbr>cgi-bin/mailman/listinfo/<wbr>interop-wg</a><br>
</blockquote></div></div>
<br>______________________________<wbr>______________________________<wbr>______________<br>
OpenStack Development Mailing List (not for usage questions)<br>
Unsubscribe: <a href="http://OpenStack-dev-request@lists.openstack.org?subject:unsubscribe" rel="noreferrer" target="_blank">OpenStack-dev-request@lists.<wbr>openstack.org?subject:<wbr>unsubscribe</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" rel="noreferrer" target="_blank">http://lists.openstack.org/<wbr>cgi-bin/mailman/listinfo/<wbr>openstack-dev</a><br>
<br></blockquote></div><br></div></div>