<div dir="ltr"><div>Hi everyone,</div><div><br></div><div>here is a summary of the discussions. The full agenda can be found here [1].</div><div><br></div><div>== Current pain points and challenges of interop testing ==<br></div><div>The current guidelines don't contain complex enough tests - apart from api tests we should also have more functional tests which mock users' interactions with the cloud - we should test as a real user would use the cloud.</div><div><br></div><div>People could fake the refstack results - after a discussion we came to an agreement that those people would always find a way, there is no need for coming up with sophisticated ways to prevent it. The point of Interop is to provide a check for vendors/users to see where they stand with their product based on the agreed standards.</div><div><br></div><div>Use of Interop's tooling is complicated - there have been reports that users struggle with refstack-client and tempest. There is an ongoing effort to create a refstack container which would contain all necessary tools and could be run with just one command.</div><div><br></div><div>Passing the Interop's guidelines means interoperability on which level? Passing the guidelines should mean being in compliance with the beforehand community agreed upon standards.<br></div><div><br></div><div>Getting vendors running the interop tests more often - we only came up with the strategies which are already being used, such as expirations and guideline versioning.</div><div><br></div><div>== Future strategy ==</div><div>The future strategy could be summarized in 3 points:<br></div><div>* discuss the possibility for using sdk-based and tobiko testing</div><div>* better describe to users the expectations they should have for clouds which assert interoperability <br></div><div>* look into expiration of older standards and require that compliant providers indicate to users which version of the standard they last tested/passed </div><div><br></div><div>[1] <a href="https://etherpad.opendev.org/p/bobcat-ptg-interop" target="_blank">https://etherpad.opendev.org/p/bobcat-ptg-interop</a></div><div><br></div><div>Regards,<br></div><div><span>-- </span><br><div dir="ltr" data-smartmail="gmail_signature"><div dir="ltr"><div><font size="2">Martin Kopec</font><br><font size="2"><span>Principal Software Quality Engineer</span></font><br><font size="2"><span>Red Hat <span>EMEA</span></span></font></div><div><font size="2"><span><span>IM: kopecmartin<br></span></span></font></div><div><br></div><div><br></div><div><br></div></div></div></div></div>