<div dir="ltr">I do think it’s gotten better in some ways and I expect it will continue to get better.  The Nova team’s work for live upgrades is definitely the way we’d like to see everything going.<div><br></div><div>However, I think a lot of us have had to fight with OVS agent restarts during upgrades (I know it’s fixed in Liberty).  Being able to keep the control plane up during upgrades is definitely in the “nice to have” category until we get no impact data plane upgrades in place with Liberty.  With our Kilo upgrade we went to ridiculous lengths to avoid data plane outages and *mostly* succeeded.</div><div><br></div><div>For us, a ton of the work is the management headache that occurs in upgrading Puppet modules, finding deprecations, finding the places the Puppet modules haven’t been fixed for the new release, etc.  It’s not that it’s a single big issue, it’s the death of a thousand cuts.</div><div><br></div><div>A some of our issues with upgrading to Kilo actually turned out to just be poor quality release notes.  Specifically, we were bitten several times by deprecated options being removed without being mentioned in the release notes.  That’s arguably our fault, we should have taken care of that before our upgrade, but there isn’t any excuse for it not being in the release notes either.  I’m hopeful that’s going to be less of an issue with Mitaka, since Reno should help address that.</div><div><br></div><div>I think we were probably one of the earlier upgraders for Juno and Kilo (2-3 months after release).  For Kilo, we just hit a bunch of bugs.  I don’t have any specific feedback on how to address that.</div><div><br></div><div>We started working on our Kilo upgrade the week of the Vancouver summit and aside from when we were blocked, we had 1-3 people on that task full time until we did our prod upgraded in August.  To be fair, we were blocked on external or internal issues probably about half that time if I had to guess.</div><div><br></div><div>If you want more details on how we do upgrades or the Kilo issues we ran into, the slides from our Tokyo upgrade talk are online here - <a href="http://www.slideshare.net/clayton_oneill/tokyo-2015-upgrading-open-stack-without-breaking-everything-including-neutron-54464251">http://www.slideshare.net/clayton_oneill/tokyo-2015-upgrading-open-stack-without-breaking-everything-including-neutron-54464251</a></div><div><br></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Mon, Nov 9, 2015 at 4:05 PM, Sean Dague <span dir="ltr"><<a href="mailto:sean@dague.net" target="_blank">sean@dague.net</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="HOEnZb"><div class="h5">On 11/09/2015 03:49 PM, Maish Saidel-Keesing wrote:<br>
> On 11/09/15 22:06, Tom Cameron wrote:<br>
>>> I would not call that the extreme minority.<br>
>>> I would say a good percentage of users are on only getting to Juno now.<br>
>> The survey seems to indicate lots of people are on Havana, Icehouse<br>
>> and Juno in production. I would love to see the survey ask _why_<br>
>> people are on older versions because for many operators I suspect they<br>
>> forked when they needed a feature or function that didn't yet exist,<br>
>> and they're now stuck in a horrible parallel universe where upstream<br>
>> has not only added the missing feature but has also massively improved<br>
>> code quality. Meanwhile, they can't spend the person hours on either<br>
>> porting their work into the new Big Tent world we live in, or can't<br>
>> bare the thought of having to throw away their hard earned tech debt.<br>
>> For more on this, see the myth of the "sunken cost".<br>
>><br>
>> If it turns out people really are deploying new clouds with old<br>
>> versions on purpose because of a perceived stability benefit, then<br>
>> they aren't reading the release schedule pages close enough to see<br>
>> that what they're deploying today will be abandoned soon in the<br>
>> future. In my _personal_ opinion which has nothing to do with<br>
>> Openstack or my employer, this is really poor operational due diligence.<br>
> I don't think people are deploying old clouds or old versions.<br>
> They are just stuck on older versions. Why (as matt said in his reply)<br>
> the upgrade process is hell! And when your environment grows past a<br>
> certain point if you have have to upgrade say 100 hosts, it can take a<br>
> good couple of months to get the quirks fixed and sorted out, and then<br>
> you have to start all over again, because the next release just came out.<br>
<br>
</div></div>Can you be more specific about "upgrade process is hell!"? We continue<br>
to work on improvements in upgrade testing to block patches that will<br>
make life hell for upgrading. Getting a bunch of specifics on bugs that<br>
triggered during upgrade by anyone doing it would go a long way in<br>
helping us figure out what's the next soft spot to tackle there.<br>
<br>
But without that data coming back in specifics it's hard to close<br>
whatever gap is here, real or perceived.<br>
<span class="im HOEnZb"><br>
        -Sean<br>
<br>
--<br>
Sean Dague<br>
<a href="http://dague.net" rel="noreferrer" target="_blank">http://dague.net</a><br>
<br>
</span><div class="HOEnZb"><div class="h5">_______________________________________________<br>
OpenStack-operators mailing list<br>
<a href="mailto:OpenStack-operators@lists.openstack.org">OpenStack-operators@lists.openstack.org</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-operators" rel="noreferrer" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-operators</a><br>
</div></div></blockquote></div><br></div>