<div dir="ltr"><div>Status:</div><div><br></div><div>We have identified that the 2 major issues are:</div><div><br></div><div>- Inflight validations taking too much time. They were enabled by default, we changed that:</div><div><a href="https://review.opendev.org/#/c/683001/">https://review.opendev.org/#/c/683001/</a></div><div><a href="https://review.opendev.org/#/c/682905/">https://review.opendev.org/#/c/682905/</a></div><div><a href="https://review.opendev.org/#/c/682943">https://review.opendev.org/#/c/682943</a></div><div>They are now disabled by default and also disabled in tripleo-ci-centos-7-containers-multinode</div><div><br></div><div>- tripleo-container-image-prepare now takes 20 min instead of 10 min before, because of the re-authentication logic that was introduced a few weeks ago. It's proposed to be reverted now: <a href="https://review.opendev.org/#/c/682945/">https://review.opendev.org/#/c/682945/</a> as we haven't found another solution for now.</div><div><br></div><div>We have restored the patches. You can now do recheck and approve to gate but please stay aware of the situation, by checking the IRC topic on #tripleo and monitoring the zuul queue: <a href="http://zuul.openstack.org/">http://zuul.openstack.org/</a></div><div><br></div><div>Thanks to infra for force-merging the patches we urgently needed; hopefully this stays exceptional and we don't face this situation again soon.</div><div><br></div><div>We need to reduce the container image prepare to safely stay under the 3 hours for tripleo-ci-centos-7-containers-multinode.<br> </div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, Sep 18, 2019 at 5:19 PM Wesley Hayutin <<a href="mailto:whayutin@redhat.com">whayutin@redhat.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div dir="ltr"><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Sep 17, 2019 at 4:40 PM Emilien Macchi <<a href="mailto:emilien@redhat.com" target="_blank">emilien@redhat.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>Note that I also cleared the check for tripleo projects to accelerate the testing of our potential fixes.</div><div>Hopefully we can resolve the situation really soon.<br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Sep 17, 2019 at 4:29 PM Wesley Hayutin <<a href="mailto:whayutin@redhat.com" target="_blank">whayutin@redhat.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>Greetings,</div><div><br></div><div>The zuul jobs in the TripleO gate queue were put out of their misery approximately at 20:14 UTC Sept 17 2019.  The TripleO jobs were timing out [1] and causing the gate queue to be delayed about 24 hours [2].   </div><div><br></div><div>We are hoping a revert [3] will restore TripleO jobs back to their usual run times.  Please hold off on any rechecks or workflowing patches until [3] is merged and the status on #tripleo is no longer "RED"</div><div><br></div><div>We appreciate your patience while we work through this issue, the jobs that were in the gate will be restored once we have confirmed and verified the solution.</div><div><br></div><div>Thank you</div><div><br></div><div><br></div><div>[1] <a href="https://bugs.launchpad.net/tripleo/+bug/1844446" target="_blank">https://bugs.launchpad.net/tripleo/+bug/1844446</a></div><div>[2] <a href="http://dashboard-ci.tripleo.org/d/YRJtmtNWk/cockpit?orgId=1&fullscreen&panelId=398" target="_blank">http://dashboard-ci.tripleo.org/d/YRJtmtNWk/cockpit?orgId=1&fullscreen&panelId=398</a></div><div>[3] <a href="https://review.opendev.org/#/c/682729/" target="_blank">https://review.opendev.org/#/c/682729/</a></div></div>
</blockquote></div><br clear="all"><br>-- <br><div dir="ltr" class="gmail-m_-3445176045903045700gmail-m_-7766397853021974430gmail_signature"><div dir="ltr">Emilien Macchi<br></div></div></blockquote><div><br></div><div>Thanks for your continued patience re: the tripleo gate.</div><div><br></div><div>We're currently waiting on a couple patches to land.</div><div><a href="https://review.opendev.org/#/c/682905/" target="_blank">https://review.opendev.org/#/c/682905/</a><br></div><div><a href="https://review.opendev.org/#/c/682731" target="_blank">https://review.opendev.org/#/c/682731</a> or <a href="https://review.opendev.org/#/c/682945/" target="_blank">https://review.opendev.org/#/c/682945/</a><br></div><div><br></div><div>Also.. fyi, one can clearly see the performance regression here [1]</div><div><br></div><div>[1] <a href="http://dashboard-ci.tripleo.org/d/si1tipHZk/jobs-exploration?orgId=1&from=now-90d&to=now&fullscreen&panelId=16" target="_blank">http://dashboard-ci.tripleo.org/d/si1tipHZk/jobs-exploration?orgId=1&from=now-90d&to=now&fullscreen&panelId=16</a></div><div><br></div><div><br></div><div><br></div><div><br></div><div><br></div><div> </div></div></div>
</blockquote></div><br clear="all"><br>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr">Emilien Macchi<br></div></div>