<div dir="ltr"><div class="gmail_default"><div class="gmail_default"><font face="arial, helvetica, sans-serif">Greetings,</font></div><div class="gmail_default"><br></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">The TripleO squads for CI and Tempest have just completed Sprint 12.  The following is a summary of activities during this sprint.   Details on our team structure can be found in the spec [1].  </font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif"><br></font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">---</font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif"><br></font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif"># Sprint 12 Epic (CI): Libvirt Reproducer</font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif"><br></font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">* Epic Card: <a href="https://trello.com/c/JEGLSVh6/51-reproduce-ci-jobs-with-libvirt">https://trello.com/c/JEGLSVh6/51-reproduce-ci-jobs-with-libvirt</a></font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">* Tasks: <a href="http://ow.ly/O1vZ30jTSc3">http://ow.ly/O1vZ30jTSc3</a> </font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif"><br></font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">"Allow developers to reproduce a multinode CI job on a bare metal host using libvirt"</font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">"Enable the same workflows used in upstream CI / reproducer using libvirt instead of OVB as the provisioning mechanism"</font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif"><br></font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">The CI Squad prototyped, designed, and implemented new functionality for our CI reproducer.   “Reproducers” are scripts generated by each CI job that allow the job/test to be recreated.  These are useful to both CI team members when investigating failures, as well as developers creating failures with the intent to iteratively debug and/or fix issues.  Prior to this sprint, the reproducer scripts supported reproduction of upstream CI jobs using OVB, typically on RDO Cloud.  This sprint we extended this capability to support reproduction of jobs in libvirt.</font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif"><br></font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">This work was done for a few reasons:</font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif"><br></font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">* (short term) enable the team to work on upgrades and other CI team tasks more efficiently by mitigating recurring RDO Cloud infrastructure issues.  This was the primary motivator for doing this work at this time.</font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">* (mid-longer term) enhance / enable iterative workflows such as THT development, debugging deployment scenarios, etc.  Snapshots in particular have proven quite useful.  As we look towards a future with a viable single-node deployment capability, libvirt has clear benefits for common developer scenarios.</font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif"><br></font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">It is expected that further iteration and refinement of this initial implementation will be required before the tripleo-ci team is able to support this broadly.  What we’ve done works as designed.  While we welcome folks to explore, please note that we are not announcing a supported libvirt reproducer meant for use outside the tripleo-ci team at this time.  We expect some degree of change, and have a number of RFE’s resulting from our testing as well as documentation patches that we’re iterating on.</font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif"><br></font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">That said, we think it’s really cool, works well in its current form, and are optimistic about its future.  </font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif"><br></font></div><div class="gmail_default"><span style="font-family:arial,helvetica,sans-serif">## We did the following (CI):</span><br></div><div class="gmail_default"><font face="arial, helvetica, sans-serif"><br></font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">* Add support to the reproducer script [2,3] generated by CI to enable libvirt.</font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">* Basic snapshot create/restore [4] capability.</font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">* Tested Scenarios: featureset 3 (UC idem), 10 (multinode containers), 37 (min OC + minor update).  See sprint cards for details.</font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">* 14-18 RFE’s identified as part of testing for future work <a href="http://ow.ly/J2u830jTSLG">http://ow.ly/J2u830jTSLG</a> </font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif"><br></font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">---</font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif"><br></font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif"># Sprint 12 Epic (Tempest): </font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif"><br></font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">* Epic Card: <a href="https://trello.com/c/ifIYQsxs/75-sprint-12-undercloud-tempest">https://trello.com/c/ifIYQsxs/75-sprint-12-undercloud-tempest</a> </font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">* Tasks: <a href="http://ow.ly/GGvc30jTSfV">http://ow.ly/GGvc30jTSfV</a>  </font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif"><br></font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">“Run tempest on undercloud by using containerized and packaged tempest”</font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">“Complete work items carried from sprint 11 or another side work going on.”</font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif"><br></font></div><div class="gmail_default"><span style="font-family:arial,helvetica,sans-serif">## We did the following (Tempest):</span><br></div><div class="gmail_default"><font face="arial, helvetica, sans-serif"><br></font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">* Create tripleo-ci jobs that run containerized tempest on all stable branches.</font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">* Create documentation for configuring and running tempest using containerized tempest on UC @<a href="http://tripleo.org">tripleo.org</a>, and blog posts. [5,6,7]</font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">* Run certification tests via new Jenkins job using ansible role [8] </font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">* Refactor validate-tempest CI role for UC and containers</font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif"><br></font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">---</font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif"><br></font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif"># Ruck and Rover</font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif"><br></font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">Each sprint two of the team members assume the roles of Ruck and Rover (each for half of the sprint).</font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif"><br></font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">* Ruck is responsible to monitoring the CI, checking for failures, opening bugs, participate on meetings, and this is your focal point to any CI issues. </font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">* Rover is responsible to work on these bugs, fix problems and the rest of the team are focused on the sprint. For more information about our structure, check [1]</font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif"><br></font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">## Ruck & Rover (Sprint 12), Etherpad [9,10]: </font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif"><br></font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">* Quique Llorente(quiquell)</font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">* Gabriele Cerami (panda)</font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif"><br></font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">A few notable issues where substantial time was spent were:</font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif"><br></font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">1767099 periodic-tripleo-ci-centos-7-multinode-1ctlr-featureset030-master vxlan tunnel fails randomly</font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">1758899 reproducer-quickstart.sh building wrong gating package.</font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">1767343 gate tripleo-ci-centos-7-containers-multinode fails to update packages in cron container</font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">1762351 periodic-tripleo-ci-centos-7-ovb-1ctlr_1comp-featureset002-queens-upload is timeout Depends on <a href="https://bugzilla.redhat.com/show_bug.cgi?id=1565179">https://bugzilla.redhat.com/show_bug.cgi?id=1565179</a></font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">1766873 quickstart on ovb doesn't yield a deployment</font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">1767049 Error during test discovery : 'must specify exactly one of host or intercept' Depends on <a href="https://bugzilla.redhat.com/show_bug.cgi?id=1434385">https://bugzilla.redhat.com/show_bug.cgi?id=1434385</a></font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">1767076 Creating pingtest_sack fails: Failed to schedule instances: NoValidHost_Remote: No valid host was found</font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">1763634 devmode.sh --ovb fails to deploy overcloud</font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">1765680 Incorrect branch used for not gated tripleo-upgrade repo</font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif"><br></font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">If you have any questions and/or suggestions, please contact us in #oooq or #tripleo</font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif"><br></font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">Thanks,</font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif"><br></font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">Matt</font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif"><br></font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif"><br></font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">tq: <a href="https://github.com/openstack/tripleo-quickstart">https://github.com/openstack/tripleo-quickstart</a></font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">tqe: <a href="https://github.com/openstack/tripleo-quickstart-extras">https://github.com/openstack/tripleo-quickstart-extras</a> </font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif"><br></font></div><div class="gmail_default"><span style="font-family:arial,helvetica,sans-serif">[1] <a href="https://specs.openstack.org/openstack/tripleo-specs/specs/policy/ci-team-structure.html">https://specs.openstack.org/openstack/tripleo-specs/specs/policy/ci-team-structure.html</a></span><br></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">[2] 

<span style="color:rgb(34,34,34);font-family:arial,helvetica,sans-serif;font-size:small;font-style:normal;font-variant-ligatures:normal;font-variant-caps:normal;font-weight:400;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;background-color:rgb(255,255,255);text-decoration-style:initial;text-decoration-color:initial;float:none;display:inline">{{tq}}/roles/libvirt/setup/overcloud/tasks/libvirt_nodepool.yml</span></font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">[3] <span style="color:rgb(34,34,34);font-family:arial,helvetica,sans-serif;font-size:small;font-style:normal;font-variant-ligatures:normal;font-variant-caps:normal;font-weight:400;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;background-color:rgb(255,255,255);text-decoration-style:initial;text-decoration-color:initial;float:none;display:inline">{{tqe}}/roles/create-reproducer-script/templates/reproducer-quickstart.sh.j2#L50</span>

</font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">[4] {{tqe}}/roles/snapshot-libvirt</font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">[5] <a href="https://access.redhat.com/documentation/en-us/red_hat_openstack_platform/12/html-single/openstack_integration_test_suite_guide">https://access.redhat.com/documentation/en-us/red_hat_openstack_platform/12/html-single/openstack_integration_test_suite_guide</a></font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">[6] <a href="https://blogs.rdoproject.org/2018/05/running-tempest-tests-against-a-tripleo-undercloud">https://blogs.rdoproject.org/2018/05/running-tempest-tests-against-a-tripleo-undercloud</a></font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">[7] <a href="https://blogs.rdoproject.org/2018/05/consuming-kolla-tempest-container-image-for-running-tempest-tests">https://blogs.rdoproject.org/2018/05/consuming-kolla-tempest-container-image-for-running-tempest-tests</a> </font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">[8] <a href="https://github.com/redhat-cip/ansible-role-openstack-certification">https://github.com/redhat-cip/ansible-role-openstack-certification</a> </font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">[9] <a href="https://review.rdoproject.org/etherpad/p/ruckrover-sprint12">https://review.rdoproject.org/etherpad/p/ruckrover-sprint12</a> </font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">[10] <a href="https://etherpad.openstack.org/p/rover-030518">https://etherpad.openstack.org/p/rover-030518</a> </font></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small"><br></div></div></div>