<div dir="ltr"><div><div><div><div><div><div><div><div><div><div><div>Hi Stackers,<br></div>   devstack-plugin doesn't have ability to override tempest settings. Currently it only<br></div>provides a way to override localrc settings, but over time we have seen that many CI jobs<br></div>fail due to many different issues (lack of support, new tempest test enabled recently which fails for a particular backend etc) and there is no way for the plugin to override tempest tests using<br></div>its stackforge/{plugin} repo<br><br></div>   Recently GlusterFS hit upon a issue due to enablement of test_volume_boot_pattern test<br></div>for which we needed to skip this test (until the issue gets fixed) and sent patch [1] but it was shot down (see [1]'s comments) and hence we sent another patch to disable it using tempest regex filter to project-config [2] ) Since devstack-plugin uses common template for all 3rd party CI jobs, it becomes a bit messy to skip for backend specific only.<br><br></div>  It would good and ideal to have plugin be able to do the same via stackforge/{plugin} repo<br></div>that ways the CI job can be tested with the tempest changes well before it run against cinder patches.  Something liek tempest/settings in plugin repo and change devstack-gate-wrap.sh ? to source tempest regex from plugin repo and pass on to the tempest cmdline ?<br><br></div>Thoughts ?<br><br></div>thanx,<br></div>deepak<br><div><div><div><div><div><br><br></div></div></div></div></div></div>