<div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Apr 18, 2017 at 2:28 PM, Emilien Macchi <span dir="ltr"><<a href="mailto:emilien@redhat.com" target="_blank">emilien@redhat.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><span class="gmail-">On Mon, Apr 17, 2017 at 3:52 PM, Justin Kilpatrick <<a href="mailto:jkilpatr@redhat.com">jkilpatr@redhat.com</a>> wrote:<br>
> Because CI jobs tend to max out about 5 nodes there's a whole class of<br>
> minor bugs that make it into releases.<br>
><br>
> What happens is that they never show up in small clouds, then when<br>
> they do show up in larger testing clouds the people deploying those<br>
> simply work around the issue and get onto what they where supposed to<br>
> be testing. These workarounds do get documented/BZ'd but since they<br>
> don't block anyone and only show up in large environments they become<br>
> hard for developers to fix.<br>
><br>
> So the issue gets stuck in limbo, with nowhere to test a patchset and<br>
> no one owning the issue.<br>
><br>
> These issues pile up and pretty soon there is a significant difference<br>
> between the default documented workflow and the 'scale' workflow which<br>
> is filled with workarounds which may or may not be documented<br>
> upstream.<br>
><br>
> I'd like to propose getting these issues more visibility to having a<br>
> periodic upstream job that uses 20-30 ovb instances to do a larger<br>
> deployment. Maybe at 3am on a Sunday or some other time where there's<br>
> idle execution capability to exploit. The goal being to make these<br>
> sorts of issues more visible and hopefully get better at fixing them.<br>
<br>
</span>Wait no, I know some folks at 3am on a Saturday night who use TripleO<br>
CI (ok that was a joke).<br>
<span class="gmail-"><br>
> To be honest I'm not sure this is the best solution, but I'm seeing<br>
> this anti pattern across several issues and I think we should try and<br>
> come up with a solution.<br>
><br>
<br>
</span>Yes this proposal is really cool. There is an alternative to run this<br>
periodic scenario outside TripleO CI and send results via email maybe.<br>
But it is something we need to discuss with RDO Cloud people and see<br>
if we would have such resources to make it on a weekly frequency.<br></blockquote><div><br></div><div>+1</div><div>I think with RDO Cloud it's possible to run a test of that scale either in the</div><div>tripleo system or just report results, either would be great.  Until RDO Cloud</div><div>is full production we might as well begin by running a job internally with</div><div>the master-tripleo-ci release config file.  The browbeat jobs are logging [1] here</div><div>will be fairly simple step to run w/ the upstream content.</div><div><br></div><div>Adding Arx Cruz as he is point on a tool that distrubutes test results from </div><div>the tripleo periodic jobs that may come in handy for this scale test.  I'll</div><div>probably put you two in touch tomorrow.</div><div><br></div><div>I'm still looking for opportunities to run browbeat in upstream tripleo as well.</div><div>Could be a productive sync up :)</div><div><br></div><div>[1] <a href="https://thirdparty-logs.rdoproject.org/">https://thirdparty-logs.rdoproject.org/</a></div><div><br></div><div>Thanks!</div><div><br></div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<br>
Thanks for bringing this up, it's crucial for us to have this kind of<br>
feedback, now let's take actions.<br>
<span class="gmail-HOEnZb"><font color="#888888">--<br>
Emilien Macchi<br>
</font></span><div class="gmail-HOEnZb"><div class="gmail-h5"><br>
______________________________<wbr>______________________________<wbr>______________<br>
OpenStack Development Mailing List (not for usage questions)<br>
Unsubscribe: <a href="http://OpenStack-dev-request@lists.openstack.org?subject:unsubscribe" rel="noreferrer" target="_blank">OpenStack-dev-request@lists.<wbr>openstack.org?subject:<wbr>unsubscribe</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" rel="noreferrer" target="_blank">http://lists.openstack.org/<wbr>cgi-bin/mailman/listinfo/<wbr>openstack-dev</a><br>
</div></div></blockquote></div><br></div></div>