<div dir="ltr"><div class="gmail_default" style="font-family:verdana,sans-serif">Just an update on this issue;</div><div class="gmail_default" style="font-family:verdana,sans-serif">The problem was fixed after I removed the following line from my Dockerfile-</div><div class="gmail_default" style="font-family:verdana,sans-serif">'RUN pip install --no-cache-dir -U setuptools'</div><div class="gmail_default" style="font-family:verdana,sans-serif">Apparently, This caused a problem to run /usr/sbin/pcs command which is required during overcloud deployment.</div><div class="gmail_default" style="font-family:verdana,sans-serif"><br></div><div class="gmail_default" style="font-family:verdana,sans-serif">Another question I have is about re-starting a container, if I have re-built the openstack-cinder-volume image on my overcloud-controller and want to test something, how can I start the container from the new image?</div><div class="gmail_default" style="font-family:verdana,sans-serif">Do I need to redeploy the entire overcloud? (it doesn't make sense)</div><div class="gmail_default" style="font-family:verdana,sans-serif"><br></div><div class="gmail_default" style="font-family:verdana,sans-serif">Thanks for the help,</div><div class="gmail_default" style="font-family:verdana,sans-serif">Igal<br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Jan 4, 2021 at 6:44 PM Alan Bishop <<a href="mailto:abishop@redhat.com">abishop@redhat.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div dir="ltr"></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Jan 4, 2021 at 5:31 AM Igal Katzir <<a href="mailto:ikatzir@infinidat.com" target="_blank">ikatzir@infinidat.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div style="font-family:verdana,sans-serif">Hello Alan,</div><div style="font-family:verdana,sans-serif">Thanks for your reply!</div><div style="font-family:verdana,sans-serif"><br></div><div style="font-family:verdana,sans-serif">I am afraid that the reason for my deployment failure might be concerned with the environment file I use to configure my cinder backend.</div><div style="font-family:verdana,sans-serif">The configuration is quite similar to <a href="https://github.com/Infinidat/tripleo-deployment-configs/blob/dev/RHOSP15/cinder-infinidat-config.yaml" target="_blank">https://github.com/Infinidat/tripleo-deployment-configs/blob/dev/RHOSP15/cinder-infinidat-config.yaml</a> <br></div><div style="font-family:verdana,sans-serif">So I wonder if it is  possible to run a deployment where I tell 'TripleO' to use my customize container, using containers-prepare-parameter.yaml, but without the environment file =cinder-infinidat-config.yaml, and configure the backend / start cinder-volume services manually? <br></div></div></blockquote><div><br></div><div>No, your cinder-infinidat-config.yaml file looks fine. It's responsible for getting TripleO to configure cinder to use your driver, and that phase was completed successfully prior to the deployment failure.<br></div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div style="font-family:verdana,sans-serif"></div><div style="font-family:verdana,sans-serif">Or I must have a minimum config as I find in: '/usr/share/openstack-tripleo-heat-templates/deployment/cinder/' (for other vendors)?</div><div style="font-family:verdana,sans-serif">If I do need such a cinder-volume-VENDOR-puppet.yaml config to be integrated during overcloud deployment, where is documentation that explains how to construct this? Do I need to use cinder-base.yaml as a template?</div><div style="font-family:verdana,sans-serif">When looking at the web for "cinder-volume-container-puppet.yaml" I found the <a href="https://github.com/openstack/tripleo-heat-templates/blob/master/overcloud-resource-registry-puppet.j2.yaml" target="_blank">Git Page of overcloud-resource-registry-puppet.j2.yaml <br></a></div><div style="font-family:verdana,sans-serif">and found also <a href="https://opendev.org/openstack/tripleo-heat-templates/src/commit/fffdcf0f3059a4f1146ec533f51a65442a105092/deployment" target="_blank">https://opendev.org/openstack/tripleo-heat-templates/../deployment</a> but it is not so explanatory.</div></div></blockquote><div><br></div><div>Your cinder-infinidat-config.yaml uses a low-level puppet mechanism for configuring what's referred to as a "custom" block storage backend. This is perfectly fine. If you want better integration with TripleO (and puppet) then you'll need to develop 3 separate patches, 1 each in puppet-cinder, puppet-tripleo and tripleo-heat-templates. Undertaking that  would be a good future goal, but isn't necessary in order for you to get past your current deployment issue.<br></div><div><br> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div style="font-family:verdana,sans-serif"><br></div><div style="font-family:verdana,sans-serif">I have opened a case with RedHat as well and they are checking who from their R&D could help since it's out of the scope of support.</div></div></blockquote><div><br></div><div>I think you're starting to see responses from Red Hat that should help identify and resolve the problem.</div><div><br></div><div>Alan<br></div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div style="font-family:verdana,sans-serif"><br></div><div style="font-family:verdana,sans-serif">Regards,</div><div style="font-family:verdana,sans-serif">Igal<br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Dec 31, 2020 at 9:15 PM Alan Bishop <<a href="mailto:abishop@redhat.com" target="_blank">abishop@redhat.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div dir="ltr"><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Dec 31, 2020 at 5:26 AM Igal Katzir <<a href="mailto:ikatzir@infinidat.com" target="_blank">ikatzir@infinidat.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div>Hello all,<div><br></div><div>I am trying to deploy RHOSP16.1 (based on ‘<i>train’ </i><span style="font-style:normal">distribution) for </span>Certification purposes.</div><div>I have build a container for our cinder driver and trying to deploy it.</div><div>Deployment runs almost till the end and fails at stage when it tries to configure Pacemaker;</div><div>Here is the last message:</div><div><pre><code>"Info: Applying configuration version '1609231063'", "Notice: /Stage[main]/Pacemaker::Corosync/File_line[pcsd_bind_addr]/ensure: created", "Info: /Stage[main]/Pacemaker::Corosync/File_line[pcsd_bind_addr]: Scheduling refresh of Service[pcsd]", "Info: /Stage[main]/Pacemaker::Service/Service[pcsd]: Unscheduling all events on Service[pcsd]", "Info: Class[Pacemaker::Corosync]: Unscheduling all events on Class[Pacemaker::Corosync]", "Notice: /Stage[main]/Tripleo::Profile::Pacemaker::Cinder::Volume_bundle/Pacemaker::Resource::Bundle[openstack-cinder-volume]/Pcmk_bundle[openstack-cinder-volume]: Dependency Pcmk_property[property-overcloud-controller-0-cinder-volume-role] has failures: true", "Info: Creating state file /var/lib/puppet/state/state.yaml", "Notice: Applied catalog in 382.92 seconds", "Changes:", "            Total: 1", "Events:", "          Success: 1", "          Failure: 2", "            Total: 3",</code></pre><div><br></div></div><div>I have verified that all packages on my container-image (Pacemaker,Corosync, libqb,and pcs) are installed with same versions as the overcloud-controller.</div></div></blockquote><div><br></div><div>Hi Igal,</div><div><br></div><div>Thank you for checking these package versions and stating they match the ones installed on the overcloud node. This rules out one of the common reasons for failures when trying to run a customized cinder-volume container image.<br></div><div> <br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div><div>But seems that something is still missing, because deployment with the default openstack-cinder-volume image completes successfully.</div></div></blockquote><div><br></div><div>This is also good to know.</div><div> <br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div><div>Can anyone help with debugging this? Let me know if more info needed.</div></div></blockquote><div><br></div><div>More info is needed, but it's hard to predict exactly where to look for the root cause of the failure. I'd start by looking for something at the cinder log file</div><div>to determine whether the cinder-volume service is even trying to start. Look for  /var/log/containers/cinder/cinder-volume.log on the node where pacemaker is trying to run the service. Are there logs indicating the service is trying to start? Or maybe the service is launched, but fails early during startup?</div><div><br></div><div>Another possibility is podman fails to launch the container itself. If that's happening then check for errors in /var/log/messages. One source of this type of failure is you've specified a container bind mount, but the source directory doesn't exist (docker would auto-create the source directory, but podman does not).</div><div><br></div><div>You specifically mentioned RHOSP, so if you need additional support then I recommend opening a support case with Red Hat. That will provide a forum for posting private data, such as details of your overcloud deployment and full sosreports.</div><div><br></div><div>Alan<br></div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div><div><br></div><div>Thanks in advance,</div><div>Igal</div></div></blockquote></div></div>
</blockquote></div><br clear="all"><br>-- <br><div dir="ltr"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><span style="font-family:"trebuchet ms",sans-serif">Regards</span>,<br><span style="font-family:"trebuchet ms",sans-serif"><b>Igal Katzir<br></b></span></div><div><span style="font-family:"trebuchet ms",sans-serif"><span style="color:rgb(61,133,198)">Cell +972-54-5597086</span><b><br></b></span></div><span style="font-family:"trebuchet ms",sans-serif">Interoperability Team <br></span></div><div dir="ltr"><span style="font-family:"trebuchet ms",sans-serif"><b>INFINIDAT</b></span></div><div dir="ltr"><span style="font-family:"trebuchet ms",sans-serif"><b><br></b><br><br><br></span></div></div></div></div></div></div></div></div></div></div></div></div>
</blockquote></div></div>
</blockquote></div><br clear="all"><br>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><span style="font-family:"trebuchet ms",sans-serif">Regards</span>,<br><span style="font-family:"trebuchet ms",sans-serif"><b>Igal Katzir<br></b></span></div><div><span style="font-family:"trebuchet ms",sans-serif"><span style="color:rgb(61,133,198)">Cell +972-54-5597086</span><b><br></b></span></div><span style="font-family:"trebuchet ms",sans-serif">Interoperability Team <br></span></div><div dir="ltr"><span style="font-family:"trebuchet ms",sans-serif"><b>INFINIDAT</b></span></div><div dir="ltr"><span style="font-family:"trebuchet ms",sans-serif"><b><br></b><br><br><br></span></div></div></div></div></div></div></div></div></div></div></div></div>