<div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote">On Wed, Apr 15, 2015 at 3:59 PM, Sean Dague <span dir="ltr"><<a href="mailto:sean@dague.net" target="_blank">sean@dague.net</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span class="">On 04/15/2015 01:51 AM, Andrey M. Pavlov wrote:<br>
> Hi,<br>
><br>
> We have similar situation with our stackforge/ec2-api project.<br>
> Patches in openstack repos can break our plugin.<br>
> But I don't see any possibility until our project not in OpenStack repo.<br>
> And I don't understand how plugins for tempest can help to us.<br>
><br>
> My thoughts is only ec2-api gating jobs(this is implemented now in our<br>
> gating):<br>
> - make own tempest job with plugin definition and restrict tempest with<br>
> regex<br></span></blockquote><div><br></div><div>Andrey,<br></div><div>   Could you give some pointers (link to patches maybe) on this. I did not <br></div><div>completely understand what you mean here.<br> <br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span class="">
><br>
> but inserting regex in plugin can restrict to have several tempest jobs<br>
> and not all gating job requires tempest<br>
><br>
> Kind regards,<br>
> Andrey.<br>
<br>
</span>I think the right approach is as Andrey describes, build a custom test<br>
job appropriate for your system.<br>
<br>
I'm not a huge fan of having plugins disable tests themselves because<br>
it's not clear to the consumer that some part of your validation stack<br>
was just disabled. I think that should be a separate specific decision<br>
made by whoever is running those tests to turn a thing off.<br></blockquote><div><br></div><div>I think the consumer is aware because he is using the enable_plugin<br></div><div>so everything that the plugin sets or unsets is effective for this env.<br><br></div><div>I feel plugin havign ability to set tempest regex also helps the plugin<br></div><div>author ensure that the CI job runs well before the regex makes into<br></div><div>the plugin, as the CI job is voting for plugin repo (it is for glusterfs case)<br><br></div><div>so its a good way to validate ur changes before running against cinder<br></div><div>patches. Since we don't have it today, we need to wait for project-config<br></div><div>patch to get the tempest regex changes in, hence need to wait for<br></div><div>project-config reviewers to bless .. which adds to the latency of getting<br></div><div>a fix in<br><br></div><div>thanx,<br></div><div>deepak<br></div></div><br></div></div>