<div dir="ltr">Hi Team,<div><br></div><div>I want to raise topic about upgrade of components in Hadoop version that is already supported by released Sahara plugin. The question is raised because of several change requests [1] and [2]. Topic was discussed in Atlanta ([3]), but we didn't come to the decision. </div>
<div><br></div><div>All of us agreed that existing clusters must continue to work after OpenStack upgrade. So if user creates cluster by Icehouse Sahara and then upgrades OpenStack - everything should continue working as before. The most tricky operation is scaling and it dictates list of restrictions over new version of component:</div>
<div><br></div><div>1. <plugin>-<version> pair supported by the plugin must not change</div><div>2. if component upgrade requires DIB involved then plugin must work with both versions of image - old and new one</div>
<div>3. cluster with mixed nodes (created by old code and by new one) should still be operational</div><div><br></div><div>Given that we should choose policy for components upgrade. Here are several options:</div><div><br>
</div><div>1. Prohibit components upgrade in released versions of plugin. Change plugin version even if hadoop version didn't change. This solves all listed problems but a little bit frustrating for user. They will need to recreate all clusters they have and migrate data like as it is hadoop upgrade. They should also consider Hadoop upgrade to do migration only once.</div>
<div><br></div><div>2. Disable some operations over cluster created by the previous version. If users don't have option to scale cluster there will be no problems with mixed nodes. For this option Sahara need to know if the cluster was created by this version or not.</div>
<div><br></div><div>3. Require change author to perform all kind of tests and prove that mixed cluster works as good and not mixed. In such case we need some list of tests that are enough to cover all corner cases.</div><div>
<br></div><div>Ideas are welcome.</div><div><br></div><div>[1] <a href="https://review.openstack.org/#/c/98260/">https://review.openstack.org/#/c/98260/</a></div><div>[2] <a href="https://review.openstack.org/#/c/87723/">https://review.openstack.org/#/c/87723/</a></div>
<div>[3] <a href="https://etherpad.openstack.org/p/juno-summit-sahara-relmngmt-backward">https://etherpad.openstack.org/p/juno-summit-sahara-relmngmt-backward</a><br><div><br></div><div>Thanks,</div><div>Andrew.</div></div>
</div>