<div dir="ltr">Thanks for the feedback, Tom!<div><br></div><div>It's great to know that even such simple tests could found real bugs.</div><div><br clear="all"><div><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div>Regards,<br>Ivan Kolodyazhny,<br><a href="http://blog.e0ne.info/" target="_blank">http://blog.e0ne.info/</a></div></div></div></div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Fri, Mar 1, 2019 at 6:45 PM Tom Barron <<a href="mailto:tpb@dyncloud.net">tpb@dyncloud.net</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">On 04/02/19 22:28 +0200, Ivan Kolodyazhny wrote:<br>
>Hi team,<br>
><br>
>A few weeks ago we enabled horizon-integration-tests job[1]. It's a set of<br>
>selenium-based test cases to verify that Horizon works as expected from the<br>
>user's perspective.<br>
>Like any new job, it's added in a non-voting mode for now.<br>
><br>
>During the PTG, I'd got several conversations with project teams that it<br>
>would be good to have<br>
>such tests in each plugin to verify that plugin works correctly with<br>
>a current Horizon version.<br>
>We've got about 30 plugins in the Plugin Registry [2].<br>
>Honestly, without any kind of testing in most of the plugins, we can't be<br>
>sure that they work well with a current version of Horizon.<br>
><br>
>That's why we decided to implement some kind of smoke tests<br>
>for plugins based on Horizon integration tests framework. These tests<br>
>should verify that<br>
>a plugin is installed and pages could be opened in a browser. We will run<br>
>these tests on<br>
>the experimental queue and/or on some schedule on Horizon gates to verify<br>
>that plugins<br>
>are maintained and working properly.<br>
><br>
>My idea is to have such a list of 'tested' plugins, so we can add<br>
>'Maintained' label to the Plugin Registry. Once these jobs become voting,<br>
>we can add a label 'Verified'.<br>
>I think such a schedule looks reasonable:<br>
><br>
>* Stein-Train release cycles - add non-voting jobs for each maintained<br>
>plugin and introduce "Maintained" label<br>
>* Train-U release cycles - makes stable jobs voting and introduce<br>
>"Verified" label in the Horizon Plugin registry<br>
><br>
><br>
>I do understand that some teams don't have enough resources to maintain<br>
>integration tests,<br>
>so I'm stepping as a volunteer to introduce such tests and jobs for the<br>
>project.<br>
>I already published patches for Vitrage and Heat [3] plugins and will do<br>
>the same<br>
>for Ironic and Manila dashboards in a short time.<br>
><br>
>Any help or feedback is welcome:).<br>
><br>
>[1] <a href="https://review.openstack.org/#/c/580469/" rel="noreferrer" target="_blank">https://review.openstack.org/#/c/580469/</a><br>
>[2] <a href="https://docs.openstack.org/horizon/latest/install/plugin-registry.html" rel="noreferrer" target="_blank">https://docs.openstack.org/horizon/latest/install/plugin-registry.html</a><br>
>[3]<br>
><a href="https://review.openstack.org/#/q/topic:horizon-integration-tests+(status:open+OR+status:merged)" rel="noreferrer" target="_blank">https://review.openstack.org/#/q/topic:horizon-integration-tests+(status:open+OR+status:merged)</a><br>
><br>
>Regards,<br>
>Ivan Kolodyazhny,<br>
><a href="http://blog.e0ne.info/" rel="noreferrer" target="_blank">http://blog.e0ne.info/</a><br>
<br>
Ivan,<br>
<br>
Just wanted to say thinks for this work.  The integration test for manila<br>
revealed and issue with tls-proxy and manila's devstack plugin.  Goutham Pacha<br>
Ravi fixed that problem and then set up the horizon-manila integration tests<br>
to run with it enabled. [4]<br>
<br>
-- Tom Barron<br>
<br>
<br>
[4] <a href="https://review.openstack.org/#/c/638338/" rel="noreferrer" target="_blank">https://review.openstack.org/#/c/638338/</a><br>
<br>
</blockquote></div>