<div dir="ltr">This doesn't seem like a fatal error, so the issue might be something else.<div>What podman logs glance_api shows? </div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Feb 21, 2023 at 12:14 PM Swogat Pradhan <<a href="mailto:swogatpradhan22@gmail.com">swogatpradhan22@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Hi Abhishek,<div>Yes, this feels like the same bug, as per the comment from <a href="https://launchpad.net/~lars-fuga" id="m_-131232386457854944gmail-yui_3_10_3_1_1676961710061_2109" style="background-image:url("");background-repeat:no-repeat;background-position:0px -1482px;color:rgb(51,102,204);padding:0px 0px 6px 18px;line-height:18px;font-family:Ubuntu,"Bitstream Vera Sans","DejaVu Sans",Tahoma,sans-serif;font-size:12px;background-color:rgb(238,238,238)" target="_blank">Lars Wiegman (lars-fuga)</a> my glance api container is in reboot loop, when glance multi store is configured.</div><div><br></div><div>So I have been searching for a patch for tripleo.</div><div><br></div><div>With regards,</div><div>Swogat Pradhan</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Feb 21, 2023 at 12:09 PM Abhishek Kekane <<a href="mailto:akekane@redhat.com" target="_blank">akekane@redhat.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div class="gmail_default" style="font-family:verdana,sans-serif">Hi Swogat,</div><div class="gmail_default" style="font-family:verdana,sans-serif"><br></div><div class="gmail_default" style="font-family:verdana,sans-serif">I think this looks relevant, kindly go through this and confirm.</div><div class="gmail_default" style="font-family:verdana,sans-serif"><a href="https://bugs.launchpad.net/kolla/+bug/1884259" target="_blank">https://bugs.launchpad.net/kolla/+bug/1884259</a></div><div class="gmail_default" style="font-family:verdana,sans-serif"><br></div><div class="gmail_default" style="font-family:verdana,sans-serif"><br></div><div><div dir="ltr"><div dir="ltr"><div>Thanks & Best Regards,<br><br></div>Abhishek Kekane<br></div></div></div><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Feb 21, 2023 at 11:58 AM Swogat Pradhan <<a href="mailto:swogatpradhan22@gmail.com" target="_blank">swogatpradhan22@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Hi pranali,<div>Those configs(<span style="font-family:verdana,sans-serif">'central', 'cinder_store'</span>) were added when i had started deploying the cloud, those parameters have been removed from the yaml now, but exist in the config file.</div><div>Right now i have reverted the config so i am not getting any erros in the glance api logs.</div><div>But when i configure the multistore i get the following errors on both sides (central and edge) in glance_api.log:</div><div>2023-02-13 13:02:19.878 7 INFO glance.async_ [-] Threadpool model set to 'EventletThreadPoolModel'<br>2023-02-13 13:02:19.969 7 INFO keyring.backend [-] Loading KWallet<br>2023-02-13 13:02:19.977 7 INFO keyring.backend [-] Loading SecretService<br>2023-02-13 13:02:19.982 7 INFO keyring.backend [-] Loading Windows<br>2023-02-13 13:02:19.983 7 INFO keyring.backend [-] Loading chainer<br>2023-02-13 13:02:19.983 7 INFO keyring.backend [-] Loading macOS<br>2023-02-13 13:02:20.571 7 WARNING keystonemiddleware.auth_token [-] AuthToken middleware is set with keystone_authtoken.service_token_roles_required set to False. This is backwards compatible but deprecated behaviour. Please set this to True.<br>2023-02-13 13:02:20.711 7 ERROR stevedore.extension [-] Could not load 'glance.store.s3.Store': No module named 'boto3': ModuleNotFoundError: No module named 'boto3'<br>2023-02-13 13:02:20.719 7 ERROR stevedore.extension [-] Could not load 's3': No module named 'boto3': ModuleNotFoundError: No module named 'boto3'<br></div><div><br></div><div>I get no error whatsoever other than the above.</div><div><br></div><div>With regards,</div><div>Swogat Pradhan</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Feb 21, 2023 at 11:44 AM Pranali Deore <<a href="mailto:pdeore@redhat.com" target="_blank">pdeore@redhat.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Hey Swogat,<div><br></div><div>By looking at the conf files you've shared, not sure from where the extra store sections <span style="font-family:verdana,sans-serif">'central', 'cinder_store' are added since you have not added those in any of your yaml files.</span></div><div><span style="font-family:verdana,sans-serif">Could you please share glance-api logs from both the nodes to check more details?</span></div><div><span style="font-family:verdana,sans-serif">Probably the HA configuration is causing this kind of issue but need more information related to deployment & log to understand the root cause.</span></div><div><span style="font-family:verdana,sans-serif"><br></span></div><div><span style="font-family:verdana,sans-serif"><br></span></div><div><span style="font-family:verdana,sans-serif"><br></span></div><div><span style="font-family:verdana,sans-serif">Thanks,</span></div><div><span style="font-family:verdana,sans-serif"><font color="#999999">~Pranali</font></span></div><div><span style="font-family:verdana,sans-serif"> </span></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Feb 20, 2023 at 4:45 PM Swogat Pradhan <<a href="mailto:swogatpradhan22@gmail.com" target="_blank">swogatpradhan22@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Hi Pranali,<div>Thank you for your response.</div><div>The glance.yaml i had shared is for the central site.</div><div>I am attaching the required files for your reference.</div><div><br></div><div>With regards,</div><div>Swogat Pradhan</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Feb 20, 2023 at 4:29 PM Pranali Deore <<a href="mailto:pdeore@redhat.com" target="_blank">pdeore@redhat.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Hi Swogat,<div><br></div><div>The glance.yaml you've shared is for central site or edge site?</div><div>Is it possible for you to share your glance-api.conf just to check how configuration values are set?</div><div><br></div><div><br></div><div><br></div><div>Thanks,</div><div>Pranali</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Feb 14, 2023 at 12:35 PM Swogat Pradhan <<a href="mailto:swogatpradhan22@gmail.com" target="_blank">swogatpradhan22@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Additional INFO:<div>The glance_api container is in reboot loop after adding multi store config.</div><div>Which is why the image service has become unreachable.</div><div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Feb 13, 2023 at 6:39 PM Swogat Pradhan <<a href="mailto:swogatpradhan22@gmail.com" target="_blank">swogatpradhan22@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Hi,<br>Openstack wallaby | tripleo<br><br>I am trying to setup DCN where i want to setup a glance multistore config in both central and edge sites as per the documentation.<br>But when ever i run stack update with the following config for multistore:<br><br>[stack@hkg2director ~]$ cat workplace/glance.yaml<br>parameter_defaults:<br>  GlanceShowMultipleLocations: true<br>  GlanceBackend: rbd<br>  GlanceEnabledImportMethods: web-download,copy-image<br>  GlanceBackendID: ceph<br>  GlanceMultistoreConfig:<br>    dcn01:<br>      GlanceBackend: rbd<br>      GlanceStoreDescription: 'dcn01 rbd glance store'<br>      CephClusterName: dcn01<br><br>The image service becomes inaccessible. Giving the following error:<br><br>(overcloud) [stack@hkg2director ~]$ openstack image list<br>Failed to contact the endpoint at <a href="https://bolt.bdxworld.com:13292" target="_blank">https://bolt.bdxworld.com:13292</a> for discovery. Fallback to using that endpoint as the base url.<br>Failed to contact the endpoint at <a href="https://bolt.bdxworld.com:13292" target="_blank">https://bolt.bdxworld.com:13292</a> for discovery. Fallback to using that endpoint as the base url.<br>The image service for :regionOne exists but does not have any supported versions.<br><br><br>glance api.log from controller nodes:<br><br>2023-02-13 13:02:19.878 7 INFO glance.async_ [-] Threadpool model set to 'EventletThreadPoolModel'<br>2023-02-13 13:02:19.969 7 INFO keyring.backend [-] Loading KWallet<br>2023-02-13 13:02:19.977 7 INFO keyring.backend [-] Loading SecretService<br>2023-02-13 13:02:19.982 7 INFO keyring.backend [-] Loading Windows<br>2023-02-13 13:02:19.983 7 INFO keyring.backend [-] Loading chainer<br>2023-02-13 13:02:19.983 7 INFO keyring.backend [-] Loading macOS<br>2023-02-13 13:02:20.571 7 WARNING keystonemiddleware.auth_token [-] AuthToken middleware is set with keystone_authtoken.service_token_roles_required set to False. This is backwards compatible but deprecated behaviour. Please set this to True.<br>2023-02-13 13:02:20.711 7 ERROR stevedore.extension [-] Could not load 'glance.store.s3.Store': No module named 'boto3': ModuleNotFoundError: No module named 'boto3'<br>2023-02-13 13:02:20.719 7 ERROR stevedore.extension [-] Could not load 's3': No module named 'boto3': ModuleNotFoundError: No module named 'boto3'<br><br>Is there a patch to fix this issue??<br></div>
</blockquote></div>
</blockquote></div>
</blockquote></div>
</blockquote></div>
</blockquote></div>
</blockquote></div>
</blockquote></div>
</blockquote></div>