<div dir="ltr"><br><div class="gmail_quote"><div dir="ltr">On Wed, May 9, 2018 at 10:43 PM Wesley Hayutin <<a href="mailto:whayutin@redhat.com">whayutin@redhat.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">FYI.. <a href="https://bugs.launchpad.net/tripleo/+bug/1770298" target="_blank">https://bugs.launchpad.net/tripleo/+bug/1770298</a><div><br></div><div>I'm on #openstack-infra chatting w/ Ian atm.</div><div>Thanks<br><div><br></div></div></div></blockquote><div><br></div><div>Greetings,</div><div><br></div><div>I wanted to update  everyone on the status of the upstream tripleo check and gate jobs.</div><div>There have been a series of infra related issues that caused the upstream tripleo gates to go red.</div><div><br></div><div>1. The first issue hit was <a href="https://bugs.launchpad.net/tripleo/+bug/1770298">https://bugs.launchpad.net/tripleo/+bug/1770298</a> which caused package install errors</div><div>2. Shortly after #1 was resolved CentOS released 7.5 which comes directly into the upstream repos untested and ungated.  Additionally the associated qcow2 image and container-base images were not updated at the same time as the yum repos.  <a href="https://bugs.launchpad.net/tripleo/+bug/1770355">https://bugs.launchpad.net/tripleo/+bug/1770355</a></div><div>3.  Related to #2 the container and bm image rpms were not in sync causing <a href="https://bugs.launchpad.net/tripleo/+bug/1770692">https://bugs.launchpad.net/tripleo/+bug/1770692</a></div><div>4. Building the bm images was failing due to an open issue with the centos kernel, thanks to Yatin and Alfredo for <a href="https://review.rdoproject.org/r/#/c/13737/">https://review.rdoproject.org/r/#/c/13737/</a></div><div>5. To ensure the containers are updated to the latest rpms at build time, we have the following patch from Alex <a href="https://review.openstack.org/#/c/567636/">https://review.openstack.org/#/c/567636/</a>.  </div><div>6.  I also noticed that we are building the centos-base container in our container build jobs, however it is not pushed out to the container registeries because it is not included in the <a href="https://github.com/openstack/tripleo-common/blob/master/container-images/overcloud_containers.yaml.j2">tripleo-common repo</a>  I would like to discuss this with some of the folks working on containers.</div><div>If we had an updated centos-base container I think some of these issues would have been prevented.</div><div><br></div><div>The above issues were resolved, and the master promotion jobs all had passed.  Thanks to all who were involved!</div><div><br></div><div>Once the promotion jobs pass and report status to the dlrn_api, a promotion was triggered automatically to upload the promoted images, containers, and updated dlrn hash.  This failed due to network latency in the tenant where the tripleo-ci infra is hosted.  The issue is tracked here <a href="https://bugs.launchpad.net/tripleo/+bug/1770860">https://bugs.launchpad.net/tripleo/+bug/1770860</a></div><div><br></div><div>Matt Young and myself worked well into the evening on Friday to diagnose the issue and ended up having to execute the image, container and dlrn_hash promotion outside of our tripleo-infra tenant.  Thanks to Matt for his effort.</div><div><br></div><div>At the moment I have updated the ci status in #tripleo, the master check and gate jobs are green in the upstream which should unblock merging most patches.  The status of stable branches and third party ci is still being investigated.</div><div><br></div><div>Automatic promotions are blocked until the network issues in the tripleo-infra tenant are resolved.  The bug is marked with alert in #tripleo.  Please see #tripleo for future status updates.</div><div><br></div><div>Thanks all</div><div><br></div><div><br></div></div></div>