<div dir="ltr"><div dir="ltr"><br></div><div dir="ltr"><div dir="ltr"><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, May 28, 2019 at 11:01 PM Clark Boylan <<a href="mailto:cboylan@sapwetik.org" target="_blank">cboylan@sapwetik.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">On Fri, May 24, 2019, at 12:17 PM, Alfredo Moralejo Alonso wrote:<br>
> <br>
> <br>
> On Fri, May 24, 2019 at 9:00 PM Jeremy Stanley <<a href="mailto:fungi@yuggoth.org" target="_blank">fungi@yuggoth.org</a>> wrote:<br>
> > On 2019-05-24 20:41:58 +0200 (+0200), Alfredo Moralejo Alonso wrote:<br>
> >  > On Fri, May 24, 2019 at 8:33 PM Alfredo Moralejo Alonso <<a href="mailto:amoralej@redhat.com" target="_blank">amoralej@redhat.com</a>><br>
> >  > wrote:<br>
> >  [...]<br>
> >  > > For periodic jobs we run every 4 hours i see:<br>
> >  > > - Last successful jobs started at 23-May-2019 21:06:42 UTC<br>
> >  > > - First failed jobs with this issue started at 24-May-2019 03:06:37 UTC<br>
> >  > <br>
> >  > We just got one that failed and sarted at 24-May-2019 02:25:00 UTC<br>
> >  [...]<br>
> > <br>
> >  Thanks, between the timing and symptoms, we're starting to suspect<br>
> >  this could be related to how older Git clients' requests are being<br>
> >  distributed between our load-balanced backends with inconsistent<br>
> >  packing. We're weighing some ideas for how to improve things there,<br>
> >  so stay tuned. The good news is that within the next 24 hours the<br>
> >  backends will be mostly in sync most of the time, so the symptoms<br>
> >  you're observing may subside for the most part once that's the case<br>
> >  (but to be entirely honest, we're still not quite sure just yet).<br>
> <br>
> ok, thanks for the update. I'll switch some jobs to use github mirrors <br>
> as workaround until we find it more stable.<br>
<br>
Can you test <a href="http://opendev.org" rel="noreferrer" target="_blank">opendev.org</a> again? We've updated the load balancer method from least connections to a source IP hash. We think this will address the state mismatch problems that you noticed previously. I have since been able to run a git clone --mirror and git fetch origin --prune myself (when it didn't work reliably in the past).<br>
<br>
Please let us know if it works now or if it doesn't. That data will be useful either way.<br>
<br></blockquote><div><br></div><div>I've tested it both locally and in CI jobs and it's working fine in all cases.</div><div><br></div><div>Thanks for your support,</div><div><br></div><div>Alfredo<br></div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
Clark<br>
<br>
_______________________________________________<br>
OpenStack-Infra mailing list<br>
<a href="mailto:OpenStack-Infra@lists.openstack.org" target="_blank">OpenStack-Infra@lists.openstack.org</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-infra" rel="noreferrer" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-infra</a></blockquote></div></div>
</div>