Hi, <div><br></div><div>could you share a your globals file without secrets, a docker ps -a on all compute hosts and images too. If you are able to get n upgrade log will be helpful too.<div dir="auto"><br></div><div dir="auto">By the way, using master is not really recommended, many changes from other projects and kolla may break the deployment.</div><div dir="auto"><br></div><div dir="auto">Regards<br><div dir="auto"><br><div class="gmail_quote"><div dir="ltr">On Thu, Jun 14, 2018, 9:00 PM Dave Williams <<a href="mailto:dave@opensourcesolutions.co.uk">dave@opensourcesolutions.co.uk</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">I am using kolla-ansible 6.0.0 with openstack_release set to master in<br>
globals.yml in a production environment.<br>
<br>
I am trying to fix an oslo_messaging.rpc.client.RemoteError when<br>
undertaking server add volume<br>
(<a href="https://bugs.launchpad.net/nova/+bug/1773393" rel="noreferrer" target="_blank">https://bugs.launchpad.net/nova/+bug/1773393</a>) and appear to have<br>
tracked it down to an inconsistency of container versions.<br>
<br>
kollo-ansible upgrade runs to completion without error but leaves the<br>
running nova_compute containers (and possibly others) at an earlier<br>
version.<br>
<br>
The version running is<br>
CONTAINER ID IMAGE        COMMAND       CREATED     STATUS     PORTS NAMES<br>
944f620a445c 7dc2d4695962 "kolla_start" 4 weeks ago Up 4 hours nova_compute<br>
<br>
whereas docker images -a shows<br>
REPOSITORY TAG IMAGE ID CREATED SIZE<br>
kolla/ubuntu-source-nova-compute master f2df8187f14e 15 hours ago 1.29GB<br>
kolla/ubuntu-source-nova-compute <none> 582561ac010f 39 hours ago 1.29GB<br>
kolla/ubuntu-source-nova-compute <none> 7dc2d4695962 3 months ago 1.22GB<br>
<br>
This implies f2df8187f14e is the one I should be using.<br>
The image 582561ac010f was after I tried to switch to queens from master<br>
but without success due to a bootstrap_cinder problem:<br>
Error during database migration: <br>
  "Database schema file with version 122 doesn't exist."<br>
I tried to investigate this but without any obvious resolution.<br>
<br>
All compute nodes show the same issue.<br>
<br>
As per the notes on<br>
<a href="https://docs.openstack.org/kolla-ansible/latest/user/operating-kolla.html" rel="noreferrer" target="_blank">https://docs.openstack.org/kolla-ansible/latest/user/operating-kolla.html</a><br>
I have checked and virt_type is set to kvm in nova.conf and so I cannot<br>
see why the upgrade shouldnt have been successful.<br>
<br>
How do I get kolla to use the latest version pulled?<br>
<br>
Given I have running instances I am a little nervous of doing a deploy or<br>
reconfigure.<br>
<br>
Thanks for help.<br>
<br>
Dave<br>
<br>
<br>
_______________________________________________<br>
OpenStack-operators mailing list<br>
<a href="mailto:OpenStack-operators@lists.openstack.org" target="_blank">OpenStack-operators@lists.openstack.org</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-operators" rel="noreferrer" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-operators</a><br>
</blockquote></div></div></div></div>