<div dir="ltr"><div dir="ltr"><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Apr 30, 2020 at 6:37 PM Emilien Macchi <<a href="mailto:emilien@redhat.com">emilien@redhat.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Thanks a lot Wes + team for the hard work, every day to keep CI stable.<br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Apr 30, 2020 at 7:02 PM Wesley Hayutin <<a href="mailto:whayutin@redhat.com" target="_blank">whayutin@redhat.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Greetings,<br><div><br></div><div>Status update...</div><div>Master: GREEN</div><div><br></div><div>Stable Branches impacted by:</div><div><a href="https://bugs.launchpad.net/tripleo/+bug/1875890" target="_blank">https://bugs.launchpad.net/tripleo/+bug/1875890</a> fixed <br></div><div>Now we are trying to promote each branch to level out pacemaker on the node and containers.  Queens is promoting now.</div><div><br></div><div>Train: GREEN</div><div><br></div><div>Queens:  RED ( current priority )</div><div>In addition to the pacemaker issue which has resolved in our periodic testing jobs, we're hitting issues w/ instances timing out in tempest</div><div><a href="https://bugs.launchpad.net/tripleo/+bug/1876087" target="_blank">https://bugs.launchpad.net/tripleo/+bug/1876087</a><br></div><div><br></div><div>Stein: RED</div><div>Also seems to have the same issue as Queens</div><div><a href="https://bugs.launchpad.net/tripleo/+bug/1876087" target="_blank">https://bugs.launchpad.net/tripleo/+bug/1876087</a> ( under investigation for Stein )<br></div><div><br></div><div>Rocky: RED</div><div>Also seems to have the same issue as Queens</div><div><a href="https://bugs.launchpad.net/tripleo/+bug/1876087" target="_blank">https://bugs.launchpad.net/tripleo/+bug/1876087</a> ( under investigation for Rocky )<br></div><div>I will be promoting Rocky to level out pacemaker next.</div><div><br></div><div>In order to get the voting jobs in queens back to green, I'm disabling tempest on containers-multinode. <a href="https://review.opendev.org/#/c/724703/" target="_blank">https://review.opendev.org/#/c/724703/</a></div><div><br></div><div>Additional notes may be found:</div><div><a href="https://hackmd.io/1pY-KQB_QwOe-a-5oEXTRg" target="_blank">https://hackmd.io/1pY-KQB_QwOe-a-5oEXTRg</a><br></div><div><br></div></div>
</blockquote></div><br clear="all"><br>-- <br><div dir="ltr"><div dir="ltr">Emilien Macchi<br></div></div></blockquote><div><br></div><div>Status Update:</div><div><br></div><div>Master: Green, but seeing several jobs failing on random tempest or container start issues atm. No pattern yet</div><div><br></div><div>Train: Green</div><div><br></div><div>Stein: Green</div><div><br></div><div>Rocky: Green</div><div><br></div><div>Queens: Green, the coverage here on scenario jobs is terrible as they are all failing.  There is some discrepancy between periodic and check as periodic only went red on April 26th [1] vs. check jobs started going red on March 24th [2]</div><div><br></div><div>Improvements in progress:</div><div>At the moment we test CentOS CR [3] in our RDO periodic pipelines which is NOT sufficient to protect upstream jobs. It would not catch a pacemaker mismatch between the nodepool node and containers.  Containers are rebuilt for each test in RDO. </div><div><br></div><div>To help catch issues w/ the latest CentOS packages in CR we are making the following changes to our upstream periodic jobs.  Gabriele Cerami and myself are working through the design now.  Input is welcome.  </div><div><br></div><div>TLDR: Using the upstream zuul ensures that the containers and nodes have the potential to mismatch in versions and thus catching pacemaker issues in advance. </div><div><a href="https://review.opendev.org/#/c/724846/">https://review.opendev.org/#/c/724846/</a><br></div><div><a href="https://review.opendev.org/#/c/724858/">https://review.opendev.org/#/c/724858/</a><br></div><div><br></div><div>Thanks all</div><div><br></div><div>[1] <a href="https://review.rdoproject.org/zuul/builds?pipeline=openstack-periodic-wednesday-weekend&job_name=periodic-tripleo-ci-centos-7-multinode-1ctlr-featureset016-queens%09">https://review.rdoproject.org/zuul/builds?pipeline=openstack-periodic-wednesday-weekend&job_name=periodic-tripleo-ci-centos-7-multinode-1ctlr-featureset016-queens%09</a></div><div>[2] <a href="https://zuul.openstack.org/builds?job_name=tripleo-ci-centos-7-scenario001-multinode-oooq-container&branch=stable%2Fqueens">https://zuul.openstack.org/builds?job_name=tripleo-ci-centos-7-scenario001-multinode-oooq-container&branch=stable%2Fqueens</a></div><div>[3] <a href="https://wiki.centos.org/AdditionalResources/Repositories/CR">https://wiki.centos.org/AdditionalResources/Repositories/CR</a></div><div><br></div><div><br></div><div><br></div><div>Thanks Emilien!</div><div> </div></div></div>