<div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr">Hi team,<div><br></div><div>A few weeks ago we enabled horizon-integration-tests job[1]. It's a set of selenium-based test cases to verify that Horizon works as expected from the user's perspective.</div><div>Like any new job, it's added in a non-voting mode for now.<br></div><div><br></div><div>During the PTG, I'd got several conversations with project teams that it would be good to have</div><div>such tests in each plugin to verify that plugin works correctly with a current Horizon version.</div><div>We've got about 30 plugins in the Plugin Registry [2].</div><div>Honestly, without any kind of testing in most of the plugins, we can't be sure that they work well with a current version of Horizon.<br></div><div><br></div><div>That's why we decided to implement some kind of smoke tests</div><div>for plugins based on Horizon integration tests framework. These tests should verify that</div><div>a plugin is installed and pages could be opened in a browser. We will run these tests on</div><div>the experimental queue and/or on some schedule on Horizon gates to verify that plugins</div><div>are maintained and working properly.</div><div><br></div><div>My idea is to have such a list of 'tested' plugins, so we can add 'Maintained' label to the Plugin Registry. Once these jobs become voting, we can add a label 'Verified'.</div><div>I think such a schedule looks reasonable:</div><div><br></div><div>* Stein-Train release cycles - add non-voting jobs for each maintained plugin and introduce "Maintained" label</div><div>* Train-U release cycles - makes stable jobs voting and introduce "Verified" label in the Horizon Plugin registry</div><div><br></div><div><br></div><div>I do understand that some teams don't have enough resources to maintain integration tests,</div><div>so I'm stepping as a volunteer to introduce such tests and jobs for the project.</div><div>I already published patches for Vitrage and Heat [3] plugins and will do the same</div>for Ironic and Manila dashboards in a short time.</div><div dir="ltr"><br></div><div>Any help or feedback is welcome:).</div><div dir="ltr"><div><br></div><div>[1] <a href="https://review.openstack.org/#/c/580469/">https://review.openstack.org/#/c/580469/</a><br></div><div>[2] <a href="https://docs.openstack.org/horizon/latest/install/plugin-registry.html">https://docs.openstack.org/horizon/latest/install/plugin-registry.html</a></div><div>[3] <a href="https://review.openstack.org/#/q/topic:horizon-integration-tests+(status:open+OR+status:merged)">https://review.openstack.org/#/q/topic:horizon-integration-tests+(status:open+OR+status:merged)</a></div><div><br clear="all"><div><div dir="ltr" class="gmail_signature"><div dir="ltr"><div>Regards,<br>Ivan Kolodyazhny,<br><a href="http://blog.e0ne.info/" target="_blank">http://blog.e0ne.info/</a></div></div></div></div></div></div></div></div></div>