<div dir="ltr">Forgot to mention the patch links.. see below<br><br><div><div class="gmail_extra"><br><div class="gmail_quote">On Wed, Apr 15, 2015 at 10:49 AM, Deepak Shetty <span dir="ltr"><<a href="mailto:dpkshetty@gmail.com" target="_blank">dpkshetty@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div><div><div><div><div><div><div><div><div><div><div>Hi Stackers,<br></div>   devstack-plugin doesn't have ability to override tempest settings. Currently it only<br></div>provides a way to override localrc settings, but over time we have seen that many CI jobs<br></div>fail due to many different issues (lack of support, new tempest test enabled recently which fails for a particular backend etc) and there is no way for the plugin to override tempest tests using<br></div>its stackforge/{plugin} repo<br><br></div>   Recently GlusterFS hit upon a issue due to enablement of test_volume_boot_pattern test<br></div>for which we needed to skip this test (until the issue gets fixed) and sent patch [1] but it was shot down (see [1]'s comments) and hence we sent another patch to disable it using tempest regex filter to project-config [2] ) Since devstack-plugin uses common template for all 3rd party CI jobs, it becomes a bit messy to skip for backend specific only.<br><br></div>  It would good and ideal to have plugin be able to do the same via stackforge/{plugin} repo<br></div>that ways the CI job can be tested with the tempest changes well before it run against cinder patches.  Something liek tempest/settings in plugin repo and change devstack-gate-wrap.sh ? to source tempest regex from plugin repo and pass on to the tempest cmdline ?<br><br></div>Thoughts ?<br></div></div></div></blockquote><div><br>[1]: <a href="https://review.openstack.org/172841">https://review.openstack.org/172841</a><br>[2]: <a href="https://review.openstack.org/173408">https://review.openstack.org/173408</a><br></div></div><br></div></div></div>