<div dir="ltr">Thanks Martin</div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Apr 6, 2023 at 9:13 AM Martin Kopec <<a href="mailto:mkopec@redhat.com">mkopec@redhat.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>Hi everyone,</div><div><br></div><div>here is a summary of the discussions. The full agenda can be found here [1].</div><div><br></div><div>== Current pain points and challenges of interop testing ==<br></div><div>The current guidelines don't contain complex enough tests - apart from api tests we should also have more functional tests which mock users' interactions with the cloud - we should test as a real user would use the cloud.</div><div><br></div><div>People could fake the refstack results - after a discussion we came to an agreement that those people would always find a way, there is no need for coming up with sophisticated ways to prevent it. The point of Interop is to provide a check for vendors/users to see where they stand with their product based on the agreed standards.</div><div><br></div><div>Use of Interop's tooling is complicated - there have been reports that users struggle with refstack-client and tempest. There is an ongoing effort to create a refstack container which would contain all necessary tools and could be run with just one command.</div><div><br></div><div>Passing the Interop's guidelines means interoperability on which level? Passing the guidelines should mean being in compliance with the beforehand community agreed upon standards.<br></div><div><br></div><div>Getting vendors running the interop tests more often - we only came up with the strategies which are already being used, such as expirations and guideline versioning.</div><div><br></div><div>== Future strategy ==</div><div>The future strategy could be summarized in 3 points:<br></div><div>* discuss the possibility for using sdk-based and tobiko testing</div><div>* better describe to users the expectations they should have for clouds which assert interoperability <br></div><div>* look into expiration of older standards and require that compliant providers indicate to users which version of the standard they last tested/passed </div><div><br></div><div>[1] <a href="https://etherpad.opendev.org/p/bobcat-ptg-interop" target="_blank">https://etherpad.opendev.org/p/bobcat-ptg-interop</a></div><div><br></div><div>Regards,<br></div><div><span>-- </span><br><div dir="ltr"><div dir="ltr"><div><font size="2">Martin Kopec</font><br><font size="2"><span>Principal Software Quality Engineer</span></font><br><font size="2"><span>Red Hat <span>EMEA</span></span></font></div><div><font size="2"><span><span>IM: kopecmartin<br></span></span></font></div><div><br></div><div><br></div><div><br></div></div></div></div></div>
</blockquote></div><br clear="all"><div><br></div><span class="gmail_signature_prefix">-- </span><br><div dir="ltr" class="gmail_signature"><div dir="ltr">Arkady Kanevsky, Ph.D.<div>Phone: 972 707-6456</div><div>Corporate Phone: 919 729-5744 ext. 8176456</div></div></div>