<div>Keep in mind that this is asynchronous communication with a community of volunteers.  Lots of folks are already off today or will be soon.  Sometimes it could be a couple of days before you get a response.</div><br><div>I hope you're able to solve your issue.</div><br><div>Jimmy </div><br><div class="gmail_quote_attribution">On Sep 24 2021, at 4:10 pm, Karera Tony <tonykarera@gmail.com> wrote:</div><blockquote><div>I would really appreciate any support on this</div><br><div class="gmail_quote"><div class="gmail_attr"><div>On Fri, 24 Sep 2021, 11:13 Karera Tony, <<a href="mailto:tonykarera@gmail.com" title="mailto:tonykarera@gmail.com">tonykarera@gmail.com</a>> wrote:</div></div><blockquote><div><div class="gmail_default"><span style="color:rgb(68, 68, 68)"><font style="font-size:small">Hello Team,</font></span></div><div class="gmail_default"><br></div><div class="gmail_default"><span style="color:rgb(68, 68, 68)"><font style="font-size:small">I don't know if there has been any change in the packages but the way I am deploying is the same way I have been deploying.</font></span></div><div class="gmail_default"><br></div><div class="gmail_default"><span style="color:rgb(68, 68, 68)"><font style="font-size:small">I don't understand why there is a certain issue now.</font></span></div><div><div><div><div><div><div><div><font style="font-family:arial, sans-serif">Regards</font></div><div><br></div><div><font style="font-family:arial, sans-serif">Tony Karera</font></div><div><br></div><div><br></div></div></div></div></div></div></div><br></div><br><div class="gmail_quote"><div class="gmail_attr"><div>On Fri, Sep 24, 2021 at 7:30 AM Karera Tony <<a href="mailto:tonykarera@gmail.com" title="mailto:tonykarera@gmail.com">tonykarera@gmail.com</a>> wrote:</div></div><blockquote><div><div class="gmail_default"><span style="color:rgb(68, 68, 68)"><font style="font-size:small">Hello Laurent,</font></span></div><div class="gmail_default"><br></div><div class="gmail_default"><span style="color:rgb(68, 68, 68)"><font style="font-size:small">It turns out I only have one keyring in the container.</font></span></div><div class="gmail_default"><br></div><div class="gmail_default"><div><span style="color:rgb(68, 68, 68)"><font style="font-size:small">root@compute1:/home/stack# docker exec -it nova_compute bash</font></span></div><div><span style="color:rgb(68, 68, 68)"><font style="font-size:small">(nova-compute)[nova@compute1 /]$ cd /etc/ceph/</font></span></div><div><span style="color:rgb(68, 68, 68)"><font style="font-size:small">(nova-compute)[nova@compute1 ceph]$ ls</font></span></div><div><span style="color:rgb(68, 68, 68)"><font style="font-size:small">ceph.client.nova.keyring  ceph.conf  rbdmap</font></span></div></div><div class="gmail_default"><br></div><div><div><div><div><div><div><div><font style="font-family:arial, sans-serif">Regards</font></div><div><br></div><div><font style="font-family:arial, sans-serif">Tony Karera</font></div><div><br></div><div><br></div></div></div></div></div></div></div><br></div><br><div class="gmail_quote"><div class="gmail_attr"><div>On Fri, Sep 24, 2021 at 2:47 AM Laurent Dumont <<a href="mailto:laurentfdumont@gmail.com" title="mailto:laurentfdumont@gmail.com">laurentfdumont@gmail.com</a>> wrote:</div></div><blockquote><div>I do believe Kolla runs a container version of each service on computes. Are you looking inside the nova-compute container (<span style="color:rgb(68, 68, 68)">etc/ceph/ceph.client.cinder.keyring,/etc/ceph/ceph.keyring,/etc/ceph/keyring,/etc/ceph/keyring.bin)</span></div><br><div class="gmail_quote"><div class="gmail_attr"><div>On Thu, Sep 23, 2021 at 11:24 AM Karera Tony <<a href="mailto:tonykarera@gmail.com" title="mailto:tonykarera@gmail.com">tonykarera@gmail.com</a>> wrote:</div></div><blockquote><div><div class="gmail_default"><span style="color:rgb(68, 68, 68)"><font style="font-size:small">Hello Sean,</font></span></div><div class="gmail_default"><br></div><div class="gmail_default"><span style="color:rgb(68, 68, 68)"><font style="font-size:small">Below are the output on the compute node and deployment</font></span></div><div class="gmail_default"><br></div><div class="gmail_default"><div><span style="color:rgb(68, 68, 68)"><font style="font-size:small">root@compute1:/etc/kolla/nova-compute# ls</font></span></div><div><span style="color:rgb(68, 68, 68)"><font style="font-size:small">ceph.client.cinder.keyring  ceph.client.nova.keyring  ceph.conf  config.json  nova.conf</font></span></div></div><div class="gmail_default"><br></div><div class="gmail_default"><div><span style="color:rgb(68, 68, 68)"><font style="font-size:small">(kolla-openstack) stack@deployment:~$ ls /etc/kolla/config/nova/</font></span></div><div><span style="color:rgb(68, 68, 68)"><font style="font-size:small">ceph.client.cinder.keyring  ceph.client.nova.keyring  ceph.conf</font></span></div></div><div class="gmail_default"><br></div><div class="gmail_default"><span style="color:rgb(68, 68, 68)"><font style="font-size:small">And I can confirm that the content is the same.</font></span></div><div class="gmail_default"><br></div><div class="gmail_default"><br></div><div class="gmail_default"><br></div><div><div><div><div><div><div><div><font style="font-family:arial, sans-serif">Regards</font></div><div><br></div><div><font style="font-family:arial, sans-serif">Tony Karera</font></div><div><br></div><div><br></div></div></div></div></div></div></div><br></div><br><div class="gmail_quote"><div class="gmail_attr"><div>On Thu, Sep 23, 2021 at 3:20 PM Sean Mooney <<a href="mailto:smooney@redhat.com" title="mailto:smooney@redhat.com">smooney@redhat.com</a>> wrote:</div></div><blockquote><div>On Thu, 2021-09-23 at 08:59 -0400, Laurent Dumont wrote:</div><div>> I would investigate that compute error first. Creating volumes means the</div><div>> controllers are doing the action. Starting a VM on a compute means you also</div><div>> need Ceph to works on the compute to mount the rdb target.</div><br><div>nova as part of its startup process in aintiallying the resouce tracker will</div><div>try to connect to ceph if you are using the rbd image backend to report how much stroage</div><div>is avaiable. if the keyring does  not work on the vms pool as the user nova is connecting as</div><div>then that will block the agent from starting up fully and will cause it to be missing the hypervior list.</div><br><div>the error seams to indicate that the cinder keyring is not in the nova container</div><div>that likely means you have not put it in /etc/kolla/config/nova</div><div>i woudl check /etc/kolla/config/nova on the deployment host and sudo ls /etc/kolla/nova-compute/</div><div>on the compute node to ensure the cinder keyring is actully copied and has the correct content</div><br><div>i have</div><div>stack@cloud:/opt/repos/devstack$ sudo ls /etc/kolla/nova-compute/</div><div>ceph.client.cinder.keyring  ceph.client.nova.keyring  ceph.conf  config.json  nova.conf</div><br><br><div>[client.cinder]</div><div>        key = *********************************</div><div>        caps mgr = "profile rbd pool=volumes, profile rbd pool=vms"</div><div>        caps mon = "profile rbd"</div><div>        caps osd = "profile rbd pool=volumes, profile rbd pool=vms, profile rbd pool=images"</div><div>stack@cloud:/opt/repos/devstack$ sudo cat /etc/kolla/nova-compute/ceph.client.nova.keyring</div><div>[client.nova]</div><div>        key = *********************************</div><div>        caps mgr = "profile rbd pool=volumes, profile rbd pool=vms"</div><div>        caps mon = "profile rbd"</div><div>        caps osd = "profile rbd pool=volumes, profile rbd pool=vms, profile rbd pool=images"</div><br><div>blanked out the key wiht *************** after the fact but you should have something similar</div><br><br><div>in my case i decied to use a seperate key for nova rbd backend because i was also using EC poosl with a seperate data and metadata pool</div><div>so i neede to modify my ceph.conf to make that work with kolla</div><br><div>stack@cloud:/opt/repos/devstack$ sudo cat /etc/kolla/nova-compute/ceph.conf</div><div># minimal ceph.conf for 15b00858-ba8c-11eb-811f-f9257f38002f</div><div>[global]</div><div>fsid = *********************</div><div>mon_host = [*********************]</div><br><div>[client.glance]</div><div>rbd default data pool = images-data</div><br><div>[client.cinder]</div><div>rbd default data pool = volumes-data</div><br><div>[client.nova]</div><div>rbd default data pool = vms-data</div><br><div>using 2 keyrings/user allows me to set different default data pools for cinder and nova.</div><br><div>></div><div>> Working in Wallaby with the error doesn't mean it would 100% work in</div><div>> Victoria.</div><div>></div><div>> On Thu, Sep 23, 2021 at 5:02 AM Karera Tony <<a href="mailto:tonykarera@gmail.com" title="mailto:tonykarera@gmail.com">tonykarera@gmail.com</a>> wrote:</div><div>></div><div>> > Hey Guys, Any other idea ?</div><div>> ></div><div>> > Regards</div><div>> ></div><div>> > Tony Karera</div><div>> ></div><div>> ></div><div>> ></div><div>> ></div><div>> > On Wed, Sep 22, 2021 at 5:20 PM Karera Tony <<a href="mailto:tonykarera@gmail.com" title="mailto:tonykarera@gmail.com">tonykarera@gmail.com</a>> wrote:</div><div>> ></div><div>> > > Just to add on that,</div><div>> > ></div><div>> > > compute service is listed, I can create Volumes, I have the same cinder</div><div>> > > keyring in the /etc/kolla/config/nova directory as I have in  the</div><div>> > > /etc/kolla/config/cinder/cinder-volume directory along with the nova keyring</div><div>> > > Regards</div><div>> > ></div><div>> > > Tony Karera</div><div>> > ></div><div>> > ></div><div>> > ></div><div>> > ></div><div>> > > On Wed, Sep 22, 2021 at 5:08 PM Karera Tony <<a href="mailto:tonykarera@gmail.com" title="mailto:tonykarera@gmail.com">tonykarera@gmail.com</a>> wrote:</div><div>> > ></div><div>> > > > Hello Guys,</div><div>> > > ></div><div>> > > > Thanks a lot.</div><div>> > > ></div><div>> > > > I had actually checked the nova -compute.log  on the compute node and</div><div>> > > > they were showing the error I will post at the end about the cinder keyring</div><div>> > > > but I know its correct because its the same I was using on wallaby, I even</div><div>> > > > tried to use another ceph cluster with ofcouse different keyrings but its</div><div>> > > > the same issue.</div><div>> > > ></div><div>> > > > Below is the error</div><div>> > > ></div><div>> > > > r Stderr: '2021-09-22T15:04:31.574+0000 7fbce2f4f700 -1 auth: unable to</div><div>> > > > find a keyring on</div><div>> > > > /etc/ceph/ceph.client.cinder.keyring,/etc/ceph/ceph.keyring,/etc/ceph/keyring,/etc/ceph/keyring.bin,:</div><div>> > > > (2) No such file or directory\n2021-09-22T15:04:31.574+0000 7fbce2f4f700 -1</div><div>> > > > AuthRegistry(0x7fbcdc05a8b8) no keyring found at</div><div>> > > > /etc/ceph/ceph.client.cinder.keyring,/etc/ceph/ceph.keyring,/etc/ceph/keyring,/etc/ceph/keyring.bin,,</div><div>> > > > disabling cephx\n2021-09-22T15:04:31.582+0000 7fbce2f4f700 -1 auth: unable</div><div>> > > > to find a keyring on</div><div>> > > > /etc/ceph/ceph.client.cinder.keyring,/etc/ceph/ceph.keyring,/etc/ceph/keyring,/etc/ceph/keyring.bin,:</div><div>> > > > (2) No such file or directory\n2021-09-22T15:04:31.582+0000 7fbce2f4f700 -1</div><div>> > > > AuthRegistry(0x7fbcdc060698) no keyring found at</div><div>> > > > /etc/ceph/ceph.client.cinder.keyring,/etc/ceph/ceph.keyring,/etc/ceph/keyring,/etc/ceph/keyring.bin,,</div><div>> > > > disabling cephx\n2021-09-22T15:04:31.582+0000 7fbce2f4f700 -1 auth: unable</div><div>> > > > to find a keyring on</div><div>> > > > /etc/ceph/ceph.client.cinder.keyring,/etc/ceph/ceph.keyring,/etc/ceph/keyring,/etc/ceph/keyring.bin,:</div><div>> > > > (2) No such file or directory\n2021-09-22T15:04:31.582+0000 7fbce2f4f700 -1</div><div>> > > > AuthRegistry(0x7fbce2f4e020) no keyring found at</div><div>> > > > /etc/ceph/ceph.client.cinder.keyring,/etc/ceph/ceph.keyring,/etc/ceph/keyring,/etc/ceph/keyring.bin,,</div><div>> > > > disabling cephx\n[errno 2] RADOS object not found (error connecting to the</div><div>> > > > cluster)\n'</div><div>> > > > 2021-09-22 15:04:31.592 8 ERROR nova.compute.manager</div><div>> > > > 2021-09-22 15:04:31.592 8 ERROR nova.compute.manager During handling of</div><div>> > > > the above exception, another exception occurred:</div><div>> > > > Regards</div><div>> > > ></div><div>> > > > Tony Karera</div><div>> > > ></div><div>> > > ></div><div>> > > ></div><div>> > > ></div><div>> > > > On Wed, Sep 22, 2021 at 4:50 PM Sean Mooney <<a href="mailto:smooney@redhat.com" title="mailto:smooney@redhat.com">smooney@redhat.com</a>> wrote:</div><div>> > > ></div><div>> > > > > On Wed, 2021-09-22 at 10:46 -0400, Laurent Dumont wrote:</div><div>> > > > > > It could also be a compute cell discovery issue maybe?</div><div>> > > > > no they shoudl still show up in the hypervior list api</div><div>> > > > > ></div><div>> > > > > > Do you see anything under "openstack compute service list"?</div><div>> > > > > if they show up in the service list but not they hyperiors api it</div><div>> > > > > means that the comptue service started and registered its service entry</div><div>> > > > > but</div><div>> > > > > something broke it before it could create a compute node recored in the</div><div>> > > > > db.</div><div>> > > > ></div><div>> > > > > with ceph the case i have hit this most often is when the keyright used</div><div>> > > > > by nova to</div><div>> > > > > get the avaiable capastiy of the ceph cluster is wrong whihc prevent</div><div>> > > > > the resoucetack and compute manager</div><div>> > > > > form actully creating the compute node record.</div><div>> > > > ></div><div>> > > > ></div><div>> > > > > it can happen for other reason too but best place to start is check if</div><div>> > > > > there is an error in the nova compute agent log and go from there.</div><div>> > > > > ></div><div>> > > > > > On Wed, Sep 22, 2021 at 10:33 AM Sean Mooney <<a href="mailto:smooney@redhat.com" title="mailto:smooney@redhat.com">smooney@redhat.com</a>></div><div>> > > > > wrote:</div><div>> > > > > ></div><div>> > > > > > > On Wed, 2021-09-22 at 15:39 +0200, Karera Tony wrote:</div><div>> > > > > > > > Hello Team,</div><div>> > > > > > > ></div><div>> > > > > > > > I have deployed Openstack Victoria using Kolla-ansible on Ubuntu</div><div>> > > > > 20.04</div><div>> > > > > > > and</div><div>> > > > > > > > ceph as the backend storage for Nova, Cinder and Glance.</div><div>> > > > > > > ></div><div>> > > > > > > > It finished with no error but it has failed to register any on the</div><div>> > > > > > > Compute</div><div>> > > > > > > > Nodes under Hypervisors.</div><div>> > > > > > > ></div><div>> > > > > > > > kolla-openstack) stack@deployment:~$ openstack hypervisor list</div><div>> > > > > > > ></div><div>> > > > > > > > (kolla-openstack) stack@deployment:~$</div><div>> > > > > > > ></div><div>> > > > > > > ></div><div>> > > > > > > > Any idea on how to resolve this ?</div><div>> > > > > > > that usually means that somehthing prevented the comptue agent form</div><div>> > > > > > > strating properly</div><div>> > > > > > ></div><div>> > > > > > > for example incorrect ceph keyrings there are several other case</div><div>> > > > > but you</div><div>> > > > > > > mentioned you are</div><div>> > > > > > > using ceph.</div><div>> > > > > > ></div><div>> > > > > > > if this is hte case you should see error in the compute agent log.</div><div>> > > > > > ></div><div>> > > > > > > ></div><div>> > > > > > > > Regards</div><div>> > > > > > > ></div><div>> > > > > > > > Tony Karera</div><div>> > > > > > ></div><div>> > > > > > ></div><div>> > > > > > ></div><div>> > > > > > ></div><div>> > > > ></div><div>> > > > ></div><div>> > > > ></div></blockquote></div></blockquote></div></blockquote></div></blockquote></div></blockquote></div></blockquote>