<div dir="ltr"><div dir="ltr"><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Jul 27, 2020 at 5:27 PM Wesley Hayutin <<a href="mailto:whayutin@redhat.com">whayutin@redhat.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">FYI...<br><div><br></div><div>If you find your jobs are failing with an error similar to [1], you have been rate limited by <a href="http://docker.io" target="_blank">docker.io</a> via the upstream mirror system and have hit [2].  I've been discussing the issue w/ upstream infra, rdo-infra and a few CI engineers. </div><div><br></div><div>There are a few ways to mitigate the issue however I don't see any of the options being completed very quickly so I'm asking for your patience while this issue is socialized and resolved.</div><div><br></div><div>For full transparency we're considering the following options.</div><div><br></div><div>1. move off of <a href="http://docker.io" target="_blank">docker.io</a> to <a href="http://quay.io" target="_blank">quay.io</a></div></div></blockquote><div><br></div><div><a href="http://quay.io">quay.io</a> also has API rate limit:</div><div><a href="https://docs.quay.io/issues/429.html">https://docs.quay.io/issues/429.html</a></div><div><br></div><div>Now I'm not sure about how many requests per seconds one can do vs the other but this would need to be checked with the quay team before changing anything.</div><div>Also <a href="http://quay.io">quay.io</a> had its big downtimes as well, SLA needs to be considered.<br></div><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>2. local container builds for each job in master, possibly ussuri</div></div></blockquote><div><br></div><div>Not convinced.</div><div>You can look at CI logs:</div><div>- pulling / updating / pushing container images from <a href="http://docker.io">docker.io</a> to local registry takes ~10 min on standalone (OVH)</div><div>- building containers from scratch with updated repos and pushing them to local registry takes ~29 min on standalone (OVH).</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>3. parent child jobs upstream where rpms and containers will be build and host artifacts for the child jobs</div></div></blockquote><div><br></div><div>Yes, we need to investigate that.<br></div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>4. remove some portion of the upstream jobs to lower the impact we have on 3rd party infrastructure.</div></div></blockquote><div><br></div><div>I'm not sure I understand this one, maybe you can give an example of what could be removed?</div><div> <br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div><br></div><div>If you have thoughts please don't hesitate to share on this thread.  Very sorry we're hitting these failures and I really appreciate your patience.  I would expect major delays in getting patches merged at this point until things are resolved.</div><div><br></div><div>Thank you!</div><div><br></div><div>[1] HTTPError: 429 Client Error: Too Many Requests for url: <a href="http://mirror.ca-ymq-1.vexxhost.opendev.org:8082/v2/tripleotrain/centos-binary-cron/blobs/sha256:76342b0db11c6b5acf33b9f1cbf10b3d2680fb20967ccd7daa9593a39e9e45c0" target="_blank">http://mirror.ca-ymq-1.vexxhost.opendev.org:8082/v2/tripleotrain/centos-binary-cron/blobs/sha256:76342b0db11c6b5acf33b9f1cbf10b3d2680fb20967ccd7daa9593a39e9e45c0</a></div><div>[2] <a href="https://bugs.launchpad.net/tripleo/+bug/1889122" target="_blank">https://bugs.launchpad.net/tripleo/+bug/1889122</a></div></div>
</blockquote></div><br clear="all"><br>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr">Emilien Macchi<br></div></div></div>