<div dir="ltr">Great progress, thank you for keeping everyone informed.</div><br><div class="gmail_quote"><div dir="ltr">On Fri, Dec 4, 2015 at 4:43 PM Dmitry Teselkin <<a href="mailto:dteselkin@mirantis.com">dteselkin@mirantis.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hello,<br>
<br>
Status update for Dec, 4 - we're on track.<br>
<br>
As there were no significant issues found during BVT / swarm test runs<br>
on custom CentOS7 ISO it was decided to go with merge party and merge<br>
all CentOS7 related CRs. Our CI was partially updated then and we<br>
started building ISO using production jobs. We've got several green<br>
ISOs which passed BVT. At the moment full set of swarm tests is being<br>
run, we will analyze them tomorrow.<br>
<br>
There are sporadic failures of OSTF tests tied with cinder, we're going<br>
to analyze them tomorrow too.<br>
<br>
On Tue, 1 Dec 2015 13:48:00 -0800<br>
Dmitry Borodaenko <<a href="mailto:dborodaenko@mirantis.com" target="_blank">dborodaenko@mirantis.com</a>> wrote:<br>
<br>
> With bit more details, I hope this covers all the risks and decision<br>
> points now.<br>
><br>
> First of all, current list of outstanding commits:<br>
> <a href="https://etherpad.openstack.org/p/fuel_on_centos7" rel="noreferrer" target="_blank">https://etherpad.openstack.org/p/fuel_on_centos7</a><br>
><br>
> The above list has two sections: backwards compatible changes that can<br>
> be merged one at a time even if the rest of CentOS7 support isn't<br>
> merged, and backwards incompatible changes that break support for<br>
> CentOS6 and must be merged (and, if needed, reverted) all at once.<br>
><br>
> Decision point 1: FFE for CentOS7<br>
><br>
> CentOS7 support cannot be fully merged on Dec 2, so it misses FF. Can<br>
> it be allowed a Feature Freeze Exception? So far, the disruption of<br>
> the Fuel development process implied by the proposed merge plan is<br>
> acceptable, if anything goes wrong and we become unable to have a<br>
> stable ISO with merged CentOS7 support on Monday, December 7, the FFE<br>
> will be revoked.<br>
><br>
> Wed, Dec 2: Merge party<br>
><br>
> Merge party before 8.0 FF, we should do our best to merge all<br>
> remaining feature commits before end of day (including backwards<br>
> compatible CentOS7 support commits), without breaking the build too<br>
> much.<br>
><br>
> At the end of the day we'll start a swarm test over the result of the<br>
> merge party, and we expect QA to analyze and summarize the results by<br>
> 17:00 MSK (6:00 PST) on Thu Dec 3.<br>
><br>
> Risk 1: Merge party breaks the build<br>
><br>
> If there is a large regression in swarm pass percentage, we won't be<br>
> able to afford a merge freeze which is necessary to merge CentOS7<br>
> support, we'll have to be merging bugfixes until swarm test pass rate<br>
> is back around 70%.<br>
><br>
> Risk 2: More features get FFE<br>
><br>
> If some essential 8.0 features are not completely merged by end of day<br>
> Wed Dec 2 and are granted FFE, merging the remaining commits can<br>
> interfere with merging CentOS7 support, not just from merge conflicts<br>
> perspective, but also invalidating swarm results and making it<br>
> practically impossible to bisect and attribute potential regressions.<br>
><br>
> Thu, Dec 3: Start merge freeze for CentOS7<br>
><br>
> Decision point 2: Other FFEs<br>
><br>
> In the morning MSK time, we will assess Risk 2 and decide what to do<br>
> with the other FFEs. The options are: integrate remaining commits into<br>
> CentOS7 merge plan, block remaining commits until Monday, revoke<br>
> CentOS7 FFE.<br>
><br>
> If the decision is to go ahead with CentOS7 merge, we announce merge<br>
> freeze for all git repositories that go into Fuel ISO, and spend the<br>
> rest of the day rebasing and cleaning up the rest of the CentOS7<br>
> commits to make sure they're all in mergeable state by the end of the<br>
> day. The outcome of this work must be a custom ISO image with all<br>
> remaining commits, with additional requirement that it must not use<br>
> Jenkins job parameters (only patches to fuel-main that change default<br>
> repository paths) to specify all required package repositories. This<br>
> will validate the proposed fuel-main patches and ensure that no<br>
> unmerged package changes are used to produce the ISO.<br>
><br>
> Decision point 3: Swarm pass rate<br>
><br>
> After swarm results from Wed are available, we will assess the Risk 1.<br>
> If the pass rate regression is significant, CentOS7 FFE is revoked and<br>
> merge freeze is lifted. If regression is acceptable, we proceed with<br>
> merging remaining CentOS7 commmits through Thu Dec 3 and Fri Dec 4.<br>
><br>
> Fri, Dec 4: Merge and test CentOS7<br>
><br>
> The team will have until 17:00 MSK to produce a non-custom ISO that<br>
> passes BVT and can be run through swarm.<br>
><br>
> Sat, Dec 5: Assess CentOS7 swarm and bugfix<br>
><br>
> First of all, someone from CI and QA teams should commit to monitoring<br>
> the CentOS7 swarm run and report the results as soon as possible.<br>
> Based on the results (which once again must be available by 17:00<br>
> MSK), we can decide on the final step of the plan.<br>
><br>
> Decision point 4: Keep or revert<br>
><br>
> If CentOS7 based swarm shows significant regression, we have to spend<br>
> the rest of the weekend including Sunday reverting all CentOS7 commits<br>
> that were merged during merge freeze. Once revert is completed, we<br>
> will lift the merge freeze.<br>
><br>
> If the regression is acceptable, we lift the merge freeze straight<br>
> away and proceed with bugfixing as usual. At this point CI team will<br>
> need to update the Fuel ISO used for deployment tests in our CI to<br>
> this same ISO.<br>
><br>
> One way or the other, we will be able to resume bugfixing on Monday<br>
> morning MSK time, and will have lost 2 business days (Thu-Fri) during<br>
> which we won't be able to merge bugfixes. In addition to that, someone<br>
> from QA and everyone from CentOS7 support team has to work on<br>
> Saturday, and someone from CI will have to work a few hours on Sunday.<br>
><br>
<br>
<br>
<br>
--<br>
Thanks,<br>
Dmitry Teselkin<br>
<br>
<br>
__________________________________________________________________________<br>
OpenStack Development Mailing List (not for usage questions)<br>
Unsubscribe: <a href="http://OpenStack-dev-request@lists.openstack.org?subject:unsubscribe" rel="noreferrer" target="_blank">OpenStack-dev-request@lists.openstack.org?subject:unsubscribe</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" rel="noreferrer" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
</blockquote></div><div dir="ltr">-- <br></div><div dir="ltr">Mike Scherbakov<br>#mihgen</div>