<div dir="ltr">Hi,<div><br></div><div>The steps were...</div><div>- purge</div><div>- shutdown cinder-scheduler, cinder-api</div><div>- upgrade software</div><div>- restart cinder-volume</div><div>- sync (upgrade fails and stops at v114)</div><div>- sync again (db upgrades to v117)</div><div>- restart cinder-volume</div><div>- stacktrace observed in volume.log</div><div><br></div><div>Thanks</div></div><br><div class="gmail_quote"><div dir="ltr">On Fri, Jan 11, 2019 at 7:23 AM Gorka Eguileor <<a href="mailto:geguileo@redhat.com">geguileo@redhat.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">On 10/01, Brandon Caulder wrote:<br>
> Hi Iain,<br>
><br>
> There are 424 rows in volumes which drops down to 185 after running<br>
> cinder-manage db purge 1.  Restarting the volume service after package<br>
> upgrade and running sync again does not remediate the problem, although<br>
> running db sync a second time does bump the version up to 117, the<br>
> following appears in the volume.log...<br>
><br>
> <a href="http://paste.openstack.org/show/Gfbe94mSAqAzAp4Ycwlz/" rel="noreferrer" target="_blank">http://paste.openstack.org/show/Gfbe94mSAqAzAp4Ycwlz/</a><br>
><br>
<br>
Hi,<br>
<br>
If I understand correctly the steps were:<br>
<br>
- Run DB sync --> Fail<br>
- Run DB purge<br>
- Restart volume services<br>
- See the log error<br>
- Run DB sync --> version proceeds to 117<br>
<br>
If that is the case, could you restart the services again now that the<br>
migration has been moved to version 117?<br>
<br>
If the cinder-volume service is able to restart please run the online<br>
data migrations with the service running.<br>
<br>
Cheers,<br>
Gorka.<br>
<br>
<br>
> Thanks<br>
><br>
> On Thu, Jan 10, 2019 at 11:15 AM iain MacDonnell <<a href="mailto:iain.macdonnell@oracle.com" target="_blank">iain.macdonnell@oracle.com</a>><br>
> wrote:<br>
><br>
> ><br>
> > Different issue, I believe (DB sync vs. online migrations) - it just<br>
> > happens that both pertain to shared targets.<br>
> ><br>
> > Brandon, might you have a very large number of rows in your volumes<br>
> > table? Have you been purging soft-deleted rows?<br>
> ><br>
> >      ~iain<br>
> ><br>
> ><br>
> > On 1/10/19 11:01 AM, Jay Bryant wrote:<br>
> > > Brandon,<br>
> > ><br>
> > > I am thinking you are hitting this bug:<br>
> > ><br>
> > <a href="https://urldefense.proofpoint.com/v2/url?u=https-3A__bugs.launchpad.net_cinder_-2Bbug_1806156&d=DwIDaQ&c=RoP1YumCXCgaWHvlZYR8PZh8Bv7qIrMUB65eapI_JnE&r=RxYkIjeLZPK2frXV_wEUCq8d3wvUIvDPimUcunMwbMs&m=FHjmiBaQPWLNzGreplNmZfCZ0MkpV5GLaqD2hcs5hwg&s=AvAoszuVyGkd2_1hyCnQjwGEw9dUNfEoqsUcxdHYZqU&e=" rel="noreferrer" target="_blank">https://urldefense.proofpoint.com/v2/url?u=https-3A__bugs.launchpad.net_cinder_-2Bbug_1806156&d=DwIDaQ&c=RoP1YumCXCgaWHvlZYR8PZh8Bv7qIrMUB65eapI_JnE&r=RxYkIjeLZPK2frXV_wEUCq8d3wvUIvDPimUcunMwbMs&m=FHjmiBaQPWLNzGreplNmZfCZ0MkpV5GLaqD2hcs5hwg&s=AvAoszuVyGkd2_1hyCnQjwGEw9dUNfEoqsUcxdHYZqU&e=</a><br>
> > ><br>
> > ><br>
> > > I think you can work around it by retrying the migration with the volume<br>
> > > service running.  You may, however, want to check with Iain MacDonnell<br>
> > > as he has been looking at this for a while.<br>
> > ><br>
> > > Thanks!<br>
> > > Jay<br>
> > ><br>
> > ><br>
> > > On 1/10/2019 12:34 PM, Brandon Caulder wrote:<br>
> > >> Hi,<br>
> > >><br>
> > >> I am receiving the following error when performing an offline upgrade<br>
> > >> of cinder from RDO openstack-cinder-1:11.1.0-1.el7 to<br>
> > >> openstack-cinder-1:12.0.3-1.el7.<br>
> > >><br>
> > >> # cinder-manage db version<br>
> > >> 105<br>
> > >><br>
> > >> # cinder-manage --debug db sync<br>
> > >> Error during database migration: (pymysql.err.OperationalError) (2013,<br>
> > >> 'Lost connection to MySQL server during query') [SQL: u'UPDATE volumes<br>
> > >> SET shared_targets=%(shared_targets)s'] [parameters:<br>
> > >> {'shared_targets': 1}]<br>
> > >><br>
> > >> # cinder-manage db version<br>
> > >> 114<br>
> > >><br>
> > >> The db version does not upgrade to queens version 117.  Any help would<br>
> > >> be appreciated.<br>
> > >><br>
> > >> Thank you<br>
> > ><br>
> ><br>
> ><br>
</blockquote></div>