<div dir="ltr">On 3 July 2014 02:44, Michael Still <span dir="ltr"><<a href="mailto:mikal@stillhq.com" target="_blank">mikal@stillhq.com</a>></span> wrote:<br><div class="gmail_extra"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div class="">I have seen both. Normally there's a failure, reviewers notice, and<br></div>
then the developer spins trying out fixes by uploading new patch sets.<br></blockquote><div><br></div><div>Interesting. Yes, I can see that you need fast response from CIs to support that scenario. 12-hour edit-compile-run loop will ruin anybody's day/week/month.<br>
</div><div><br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="">My rule of thumb is three hours by the way. I'd like to say something<br></div>
like "not significantly slower than jenkins", but that's hard to<br>
quantify.<br></blockquote><div><br></div><div>How do people normally throughput-optimize their CIs?</div><div><br></div><div>I suppose that parallelism is the basic trick, but how do people achieve it? Concurrent tempest runs on the same host? or on a pool of (virtual) hosts? or in one-shot disposable VMs?</div>
<div><br></div><div>The CI that I operate is currently running tests serially on a "bare metal" server. This is okay for now (no backlog) but I would like to be able to ramp up the number of tests performed and then performance could become an issue.</div>
<div><br></div><div>The idea I'm playing with now is to support N servers each running M parallel virtual machines for tempest. I'm tempted to use a disposable Vagrant VM for each tempest run both in order to isolate tests from each other (those running in parallel and also those that have run before) and perhaps even make it possible for others (4th parties?) to grab my Vagrantfile and replicate my test environment (if they want a faster turn-around than via Gerrit).</div>
<div><br></div><div>I'd be very curious to know what is working well/badly for others at the moment so that I can avoid stepping on land mines :-).</div><div><br></div><div>Cheers,</div><div>-Luke</div><div><br></div>
<div><br></div></div></div></div>