<div dir="ltr">Hi Alan,<div>Can you please check if the environment file attached is in correct format and how it should be?</div><div>Also should i remove the old netapp environment file and use the new custom environment file created (attached).</div><div><br></div><div>With regards,</div><div>Swogat Pradhan</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, May 31, 2023 at 10:46 PM Swogat Pradhan <<a href="mailto:swogatpradhan22@gmail.com">swogatpradhan22@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Hi Alan,<div>Thanks for your clarification, the way you suggested will solve my issue.</div><div>But i already have a netapp backend in my central site and to add another backend should i follow this documentation: <a href="https://access.redhat.com/documentation/en-us/red_hat_openstack_platform/17.0/html/custom_block_storage_back_end_deployment_guide/ref_configuration-sample-environment-file_custom-cinder-back-end" target="_blank">https://access.redhat.com/documentation/en-us/red_hat_openstack_platform/17.0/html/custom_block_storage_back_end_deployment_guide/ref_configuration-sample-environment-file_custom-cinder-back-end</a></div><div><br></div><div>And should i remove the old netapp environment file and use the new custom environment file created using the above mentioned guide??</div><div><br></div><div>I already have a prod workload in the currently deployed netapp and I do not want to cause any issues in that netapp storage.</div><div><br></div><div><br></div><div>With regards,</div><div>Swogat Pradhan</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, May 30, 2023 at 8:43 PM Alan Bishop <<a href="mailto:abishop@redhat.com" target="_blank">abishop@redhat.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div dir="ltr"><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, May 25, 2023 at 9:39 PM Swogat Pradhan <<a href="mailto:swogatpradhan22@gmail.com" target="_blank">swogatpradhan22@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="auto">Hi Alan,<div dir="auto">My netapp storage is located in edge site itself.</div><div dir="auto">As the networks are routable my central site is able to reach the netapp storage ip address (ping response is 30ms-40ms).</div><div dir="auto">Let's say i included the netapp storage yaml in central site deployment script (which is not recommended) and i am able to create the volumes as it is reachable from controller nodes.</div><div dir="auto">Will i be able to mount those volumes in edge site VM's?? And if i am able to do so, then how will the data flow?? When storing something in the netapp volume will the data flow through the central site controller and get stored in the storage space?</div></div></blockquote><div><br></div><div>A cinder-volume service running in the central site's controplane will be able to work with a netapp backend that's physically located at an edge site. The good news is the c-vol service will be HA because it will be controlled by pacemaker running on the controllers.</div><div><br></div><div>In order for VMs at the edge site to access volumes on the netapp, you'll need to set the CinderNetappAvailabilityZone [1] to the edge site's AZ.<br></div><div><br></div><div>[1] <a href="https://opendev.org/openstack/tripleo-heat-templates/src/branch/stable/wallaby/deployment/cinder/cinder-backend-netapp-puppet.yaml#L43" target="_blank">https://opendev.org/openstack/tripleo-heat-templates/src/branch/stable/wallaby/deployment/cinder/cinder-backend-netapp-puppet.yaml#L43</a></div><div><br></div><div>To attach a netapp volume, nova-compute at the edge will interact with cinder-volume in the controlplane, and cinder-volume will in turn interact with the netapp. This will happen over central <=> edge network connections. Eventually, nova will directly connect to the netapp, so all traffic from the VM to the netapp will occur within the edge site. Data will not flow through the cinder-volume service, but there are restrictions and limitations:</div><div>- Only that one edge site can access the netapp backend</div><div>- If the central <=> edge network connection then you won't be able to attach or detach a netapp volume (but active connections will continue to work)</div><div><br></div><div>Of course, there are operations where cinder services are in the data path (e.g. creating a volume from an image), but not when a VM is accessing a volume.</div><div><br></div><div>Alan<br></div><br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="auto"><div dir="auto"><br></div><div dir="auto">With regards,</div><div dir="auto">Swogat Pradhan</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Fri, 26 May 2023, 10:03 am Alan Bishop, <<a href="mailto:abishop@redhat.com" target="_blank">abishop@redhat.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div dir="ltr"><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, May 25, 2023 at 12:09 AM Swogat Pradhan <<a href="mailto:swogatpradhan22@gmail.com" rel="noreferrer" target="_blank">swogatpradhan22@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Hi Alan,<div>So, can I include the cinder-netapp-storage.yaml file in the central site and then use the new backend to add storage to edge VM's?</div></div></blockquote><div><br></div><div>Where is the NetApp physically located? Tripleo's DCN architecture assumes the storage is physically located at the same site where the cinder-volume service will be deployed. If you include the cinder-netapp-storage.yaml environment file in the central site's controlplane, then VMs at the edge site will encounter the problems I outlined earlier (network latency, no ability to do cross-AZ attachments).<br></div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>I believe it is not possible right?? as the cinder volume in the edge won't have the config for the netapp.</div></div></blockquote><div><br></div><div>The cinder-volume services at an edge site are meant to manage storage devices at that site. If the NetApp is at the edge site, ideally you'd include some variation of the cinder-netapp-storage.yaml environment file in the edge site's deployment. However, then you're faced with the fact that the NetApp driver doesn't support A/A, which is required for c-vol services running at edge sites (In case you're not familiar with these details, tripleo runs all cinder-volume services in active/passive mode under pacemaker on controllers in the controlplane. Thus, only a single instance runs at any time, and pacemaker provides HA by moving the service to another controller if the first one goes down. However, pacemaker is not available at edge sites, and so to get HA, multiple instances of the cinder-volume service run simultaneously on 3 nodes (A/A), using etcd as a Distributed Lock Manager (DLM) to coordinate things. But drivers must specifically support running A/A, and the NetApp driver does NOT.)</div><div><br></div><div>Alan<br></div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>With regards,</div><div>Swogat Pradhan</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, May 25, 2023 at 2:17 AM Alan Bishop <<a href="mailto:abishop@redhat.com" rel="noreferrer" target="_blank">abishop@redhat.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div dir="ltr"><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, May 24, 2023 at 3:15 AM Swogat Pradhan <<a href="mailto:swogatpradhan22@gmail.com" rel="noreferrer" target="_blank">swogatpradhan22@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Hi,<br><div>I have a DCN setup and there is a requirement to use a netapp storage device in one of the edge sites.</div><div>Can someone please confirm if it is possible?</div></div></blockquote><div><br></div><div>I see from prior email to this list that you're using tripleo, so I'll respond with that in mind.</div><div><br></div><div>There are many factors that come into play, but I suspect the short answer to your question is no.</div><div><br></div><div>Tripleo's DCN architecture requires the cinder-volume service running at edge sites to run in active-active</div><div>mode, where there are separate instances running on three nodes in to for the service to be highly <br></div><div>available (HA).The problem is that only a small number of cinder drivers support running A/A, and NetApp's</div><div>drivers do not support A/A.</div><div><br></div><div>It's conceivable you could create a custom tripleo role that deploys just a single node running cinder-volume</div><div>with a NetApp backend, but it wouldn't be HA.</div><div><br></div><div>It's also conceivable you could locate the NetApp system in the central site's controlplane, but there are<br></div><div>extremely difficult constraints you'd need to overcome:</div><div>- Network latency between the central and edge sites would mean the disk performance would be bad.</div><div>- You'd be limited to using iSCSI (FC wouldn't work)</div><div>- Tripleo disables cross-AZ attachments, so the only way for an edge site to access a NetApp volume</div><div>would be to configure the cinder-volume service running in the controlplane with a backend availability</div><div>zone set to the edge site's AZ. You mentioned the NetApp is needed "in one of the edge sites," but in</div><div>reality the NetApp would be available in one, AND ONLY ONE edge site, and it would also not be available</div><div>to any instances running in the central site.</div><div><br></div><div>Alan<br></div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>And if so then should i add the parameters in the edge deployment script or the central deployment script.</div><div>Any suggestions?</div><div><br></div><div>With regards,</div><div>Swogat Pradhan</div></div>
</blockquote></div></div>
</blockquote></div>
</blockquote></div></div>
</blockquote></div>
</blockquote></div></div>
</blockquote></div>
</blockquote></div>