<div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Feb 12, 2015 at 6:41 AM, Li, Chen <span dir="ltr"><<a href="mailto:chen.li@intel.com" target="_blank">chen.li@intel.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">





<div link="blue" vlink="purple" lang="ZH-CN">
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Calibri","sans-serif";color:#1f497d" lang="EN-US">Hi Deepak,<u></u><u></u></span></p><div><div class="h5">
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Calibri","sans-serif";color:#1f497d" lang="EN-US"><u></u> <u></u></span></p>
<p><a name="14b7c4e8906ac58b__MailEndCompose"><u></u><span style="font-size:10.0pt;font-family:Wingdings" lang="EN-US"><span>Ø<span style="font:7.0pt "Times New Roman""> 
</span></span></span><u></u><span style="font-size:10.0pt;font-family:"Courier New"" lang="EN-US">When you say VM, its confusing, whether you are referring to service VM or<u></u><u></u></span></a></p>
<p><u></u><span style="font-size:10.0pt;font-family:Wingdings" lang="EN-US"><span>Ø<span style="font:7.0pt "Times New Roman""> 
</span></span></span><u></u><span style="font-size:10.0pt;font-family:"Courier New"" lang="EN-US">tenant VM. Since you are also saying share-server, I presume you mean<u></u><u></u></span></p>
<p><u></u><span style="font-size:10.0pt;font-family:Wingdings" lang="EN-US"><span>Ø<span style="font:7.0pt "Times New Roman""> 
</span></span></span><u></u><span style="font-size:10.0pt;font-family:"Courier New"" lang="EN-US">service VM!<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Courier New"" lang="EN-US"><u></u> <u></u></span></p>
<p><u></u><span style="font-size:10.0pt;font-family:Wingdings" lang="EN-US"><span>Ø<span style="font:7.0pt "Times New Roman""> 
</span></span></span><u></u><span style="font-size:10.0pt;font-family:"Courier New"" lang="EN-US">IIUC each share-server VM (also called service VM) is serving all VMs<u></u><u></u></span></p>
<p><u></u><span style="font-size:10.0pt;font-family:Wingdings" lang="EN-US"><span>Ø<span style="font:7.0pt "Times New Roman""> 
</span></span></span><u></u><span style="font-size:10.0pt;font-family:"Courier New"" lang="EN-US">created by a tenant. In other words, generic driver creates 1 service VM<u></u><u></u></span></p>
<p><u></u><span style="font-size:10.0pt;font-family:Wingdings" lang="EN-US"><span>Ø<span style="font:7.0pt "Times New Roman""> 
</span></span></span><u></u><span style="font-size:10.0pt;font-family:"Courier New"" lang="EN-US">per tenant, and hence serves all the VMs (tenant VMs) created by that tenant<u></u><u></u></span></p>
<p><u></u><span style="font-size:10.0pt;font-family:Wingdings" lang="EN-US"><span>Ø<span style="font:7.0pt "Times New Roman""> 
</span></span></span><u></u><span style="font-size:10.0pt;font-family:"Courier New"" lang="EN-US">Manila experts on the list can correct me if I am wrong here. Generic<u></u><u></u></span></p>
<p><u></u><span style="font-size:10.0pt;font-family:Wingdings" lang="EN-US"><span>Ø<span style="font:7.0pt "Times New Roman""> 
</span></span></span><u></u><span style="font-size:10.0pt;font-family:"Courier New"" lang="EN-US">driver creates service VM (if not already present for that tenant) as part<u></u><u></u></span></p>
<p><u></u><span style="font-size:10.0pt;font-family:Wingdings" lang="EN-US"><span>Ø<span style="font:7.0pt "Times New Roman""> 
</span></span></span><u></u><span style="font-size:10.0pt;font-family:"Courier New"" lang="EN-US">of creating a new share and connect the tenant network to the service VM<u></u><u></u></span></p>
<p><u></u><span style="font-size:10.0pt;font-family:Wingdings" lang="EN-US"><span>Ø<span style="font:7.0pt "Times New Roman""> 
</span></span></span><u></u><span style="font-size:10.0pt;font-family:"Courier New"" lang="EN-US">network via neutron router (creates ports on the router which helps connect<u></u><u></u></span></p>
<p><u></u><span style="font-size:10.0pt;font-family:Wingdings" lang="EN-US"><span>Ø<span style="font:7.0pt "Times New Roman""> 
</span></span></span><u></u><span style="font-size:10.0pt;font-family:"Courier New"" lang="EN-US">the 2 different subnets), thus the tenant VMs can ping/access the service<u></u><u></u></span></p>
<p><u></u><span style="font-size:10.0pt;font-family:Wingdings" lang="EN-US"><span>Ø<span style="font:7.0pt "Times New Roman""> 
</span></span></span><u></u><span style="font-size:10.0pt;font-family:"Courier New"" lang="EN-US">VM. There is no question and/or need to have 2 service VMs talk to each<u></u><u></u></span></p>
<p><u></u><span style="font-size:10.0pt;font-family:Wingdings" lang="EN-US"><span>Ø<span style="font:7.0pt "Times New Roman""> 
</span></span></span><u></u><span style="font-size:10.0pt;font-family:"Courier New"" lang="EN-US">other, because they are serving different tenants, thus they need to be<u></u><u></u></span></p>
<p><u></u><span style="font-size:10.0pt;font-family:Wingdings" lang="EN-US"><span>Ø<span style="font:7.0pt "Times New Roman""> 
</span></span></span><u></u><span style="font-size:10.0pt;font-family:"Courier New"" lang="EN-US">isolated!<u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-US"><u></u> <u></u></span></p>
<p class="MsoNormal"><span lang="EN-US">Sorry for the bad </span><span><span style="font-family:宋体" lang="EN-US">expression, yes, I mean service VM.<u></u><u></u></span></span></p>
<p class="MsoNormal"><span><span style="font-family:宋体" lang="EN-US"><u></u> <u></u></span></span></p>
<p class="MsoNormal"><span><span style="font-family:宋体" lang="EN-US">I don</span></span><span><span style="font-family:宋体">’<span lang="EN-US">t agree with
</span>“</span></span><span style="font-size:10.0pt;font-family:"Courier New"" lang="EN-US">each share-server VM (also called service VM) is serving all VMs created by a tenant</span><span><span style="font-family:宋体">”<span lang="EN-US">.<u></u><u></u></span></span></span></p>
<p class="MsoNormal"><span lang="EN-US">Because from my practices , 1 service VM is created for 1 share-network.<u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-US">A share-network -> A service VM -> shares which are created with the same
</span>“<span lang="EN-US">share-network</span>”<span lang="EN-US">.</span></p></div></div></div></div></blockquote><div><br></div><div>You are probably right, I don't remember the insides of share-network now, but I always created 1 share-network, so i always had the notion of 1 service VM per tenant.<br> <br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div link="blue" vlink="purple" lang="ZH-CN"><div><div><div class="h5"><p class="MsoNormal"><span lang="EN-US"><u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-US">A tenant(the tenant concept in keystone) can has more than one share-networks, even a same neutron network & subnet can be
</span>“<span lang="EN-US">registered</span>”<span lang="EN-US"> to several share-networks if user do want to do that.<u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-US">Actually, I didn</span>’<span lang="EN-US">t see strong connections between manila shares and tenant (the concept in keystone), but this is other topics then.<u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-US"><u></u> <u></u></span></p>
<p class="MsoNormal"><span lang="EN-US">But, I think I get your point about service VMs need to be isolated.
<u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-US">I agree with that.<u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-US"><u></u> <u></u></span></p>
<pre style="margin-left:21.0pt"><u></u><span style="font-family:Wingdings" lang="EN-US"><span>Ø<span style="font:7.0pt "Times New Roman"">  </span></span></span><u></u><span lang="EN-US">Typically GlusterFS will be deployed on storage nodes (by storage admin)<u></u><u></u></span></pre>
<pre style="margin-left:21.0pt"><u></u><span style="font-family:Wingdings" lang="EN-US"><span>Ø<span style="font:7.0pt "Times New Roman"">  </span></span></span><u></u><span lang="EN-US">that are NOT part of openstack. So having the share-server talk/connect<u></u><u></u></span></pre>
<pre style="margin-left:21.0pt"><u></u><span style="font-family:Wingdings" lang="EN-US"><span>Ø<span style="font:7.0pt "Times New Roman"">  </span></span></span><u></u><span lang="EN-US">with GlusterFS is equivalent to saying "Allow openstack VM to talk with<u></u><u></u></span></pre>
<pre style="margin-left:21.0pt"><u></u><span style="font-family:Wingdings" lang="EN-US"><span>Ø<span style="font:7.0pt "Times New Roman"">  </span></span></span><u></u><span lang="EN-US">non-openstack nodes", in other words "Connect the neutron network to<u></u><u></u></span></pre>
<pre style="margin-left:21.0pt"><u></u><span style="font-family:Wingdings" lang="EN-US"><span>Ø<span style="font:7.0pt "Times New Roman"">  </span></span></span><u></u><span lang="EN-US">non-neutron network (also called provider/host network)".<u></u><u></u></span></pre>
<pre><span lang="EN-US"><u></u> <u></u></span></pre>
<pre><span lang="EN-US"><u></u> <u></u></span></pre>
<p class="MsoNormal"><span lang="EN-US">This is the part I disagree.</span></p></div></div></div></div></blockquote><div><br></div><div>What exactly do you disagree here ?<br> <br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div link="blue" vlink="purple" lang="ZH-CN"><div><div><div class="h5"><p class="MsoNormal"><span lang="EN-US"><u></u><u></u></span></p>
<pre><span lang="EN-US"><u></u> <u></u></span></pre>
<pre><span lang="EN-US"><u></u> <u></u></span></pre>
<pre style="margin-left:21.0pt"><u></u><span style="font-family:Wingdings" lang="EN-US"><span>Ø<span style="font:7.0pt "Times New Roman"">  </span></span></span><u></u><span lang="EN-US">This is achieved by ensuring your openstack Network node is configured to<u></u><u></u></span></pre>
<pre style="margin-left:21.0pt"><u></u><span style="font-family:Wingdings" lang="EN-US"><span>Ø<span style="font:7.0pt "Times New Roman"">  </span></span></span><u></u><span lang="EN-US">forward tenant traffic to provider network, which involves neutron skills<u></u><u></u></span></pre>
<pre style="margin-left:21.0pt"><u></u><span style="font-family:Wingdings" lang="EN-US"><span>Ø<span style="font:7.0pt "Times New Roman"">  </span></span></span><u></u><span lang="EN-US">and some neutron black magic :)<u></u><u></u></span></pre>
<pre style="margin-left:21.0pt"><u></u><span style="font-family:Wingdings" lang="EN-US"><span>Ø<span style="font:7.0pt "Times New Roman"">  </span></span></span><u></u><span lang="EN-US">To know what this involves, pls see section "Setup devstack networking to<u></u><u></u></span></pre>
<pre style="margin-left:21.0pt"><u></u><span style="font-family:Wingdings" lang="EN-US"><span>Ø<span style="font:7.0pt "Times New Roman"">  </span></span></span><u></u><span lang="EN-US">allow Nova VMs access external/provider network" in my blog @<u></u><u></u></span></pre>
<pre style="margin-left:21.0pt"><u></u><span style="font-family:Wingdings" lang="EN-US"><span>Ø<span style="font:7.0pt "Times New Roman"">  </span></span></span><u></u><a href="http://dcshetty.blogspot.in/2015/01/using-glusterfs-native-driver-in.html" target="_blank"><span lang="EN-US">http://dcshetty.blogspot.in/2015/01/using-glusterfs-native-driver-in.html</span></a><span lang="EN-US"><u></u><u></u></span></pre>
<pre><span lang="EN-US"><u></u> <u></u></span></pre>
<pre><span lang="EN-US"><u></u> <u></u></span></pre>
<pre style="margin-left:21.0pt"><u></u><span style="font-family:Wingdings" lang="EN-US"><span>Ø<span style="font:7.0pt "Times New Roman"">  </span></span></span><u></u><span lang="EN-US">This should be taken care by your openstack network admin who should<u></u><u></u></span></pre>
<pre style="margin-left:21.0pt"><u></u><span style="font-family:Wingdings" lang="EN-US"><span>Ø<span style="font:7.0pt "Times New Roman"">  </span></span></span><u></u><span lang="EN-US">configure the openstack network node to allow this to happen, this isn't a<u></u><u></u></span></pre>
<pre style="margin-left:21.0pt"><u></u><span style="font-family:Wingdings" lang="EN-US"><span>Ø<span style="font:7.0pt "Times New Roman"">  </span></span></span><u></u><span lang="EN-US">Manila / GlusterFS driver responsibility, rather its an openstack<u></u><u></u></span></pre>
<pre style="margin-left:21.0pt"><u></u><span style="font-family:Wingdings" lang="EN-US"><span>Ø<span style="font:7.0pt "Times New Roman"">  </span></span></span><u></u><span lang="EN-US">deployment option thats taken care by the network admins during openstack<u></u><u></u></span></pre>
<pre style="margin-left:21.0pt"><u></u><span style="font-family:Wingdings" lang="EN-US"><span>Ø<span style="font:7.0pt "Times New Roman"">  </span></span></span><u></u><span lang="EN-US">deployment.<u></u><u></u></span></pre>
<pre><span lang="EN-US"><u></u> <u></u></span></pre>
<pre><span lang="EN-US"><u></u> <u></u></span></pre>
<pre><span lang="EN-US"><u></u> <u></u></span></pre>
<p class="MsoNormal"><span lang="EN-US">What I want to do is enable GluserFS with Manila with Ganesha in my environment.<u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-US">I</span>’<span lang="EN-US">m working as a cloud admin.<u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-US">So, what I expecting is,<u></u><u></u></span></p>
<p style="margin-left:18.0pt">
<u></u><span lang="EN-US"><span>1.<span style="font:7.0pt "Times New Roman"">      
</span></span></span><u></u><span lang="EN-US">I need to prepare a GlusterFS cluster<u></u><u></u></span></p>
<p style="margin-left:18.0pt">
<u></u><span lang="EN-US"><span>2.<span style="font:7.0pt "Times New Roman"">      
</span></span></span><u></u><span lang="EN-US">I need to prepare images and other stuff for service VM</span></p></div></div></div></div></blockquote><div><br></div><div>Right now, i think all we support is running Ganesha inside the GlusterFS server node only. I don't think we have qualified<br></div><div>the scenario where Ganesha is running in service VM. The Blueprint talks about doing this in near future.<br><br>Ccing Csaba and Ramana who are the right folks to comment more on this.<br><br></div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div link="blue" vlink="purple" lang="ZH-CN"><div><div><div class="h5"><p style="margin-left:18.0pt"><span lang="EN-US"><u></u><u></u></span></p>
<p style="margin-left:18.0pt">
<u></u><span lang="EN-US"><span>3.<span style="font:7.0pt "Times New Roman"">      
</span></span></span><u></u><span lang="EN-US">I need to configure my GluserFS cluster’s information (IPs, volumes) into manila.conf<u></u><u></u></span></p>
<p style="margin-left:18.0pt"><span lang="EN-US"><u></u> <u></u></span></p>
<p style="margin-left:18.0pt">
<u></u><span style="font-family:Wingdings" lang="EN-US"><span>ð<span style="font:7.0pt "Times New Roman""> 
</span></span></span><u></u><span lang="EN-US">All things can work if I start Manila now, Yeah !<u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-US">The only thing I know is manila would create VMs to connect to my GlusterFS cluster.<u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-US"><u></u> <u></u></span></p>
<p class="MsoNormal"><span lang="EN-US"><u></u> <u></u></span></p>
<p class="MsoNormal"><span lang="EN-US">Currently, the neutron network & subnet where service VMs work is created by Manila.<u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-US">Manila called them service_network & service_subnet.<u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-US">So, I don</span>’<span lang="EN-US">t think it is possible for me to configure the network before I create shares.</span></p></div></div></div></div></blockquote><div><br></div><div>service_network and service_subnet is pre-created i thought ? Even if it isn't you can bridge the service_network with provider network after the service_network is created (Ideally it should have been pre-created)<br></div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div link="blue" vlink="purple" lang="ZH-CN"><div><div><div class="h5"><p class="MsoNormal"><span lang="EN-US"><u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-US"><u></u> <u></u></span></p>
<p class="MsoNormal"><span lang="EN-US">Another problem is there is no router I can used to let service_network connected to GlusterFS cluster.<u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-US">Because service_subnet are already connected to user</span>’<span lang="EN-US">s router ( if connect_share_server_to_tenant_network = False)</span></p></div></div></div></div></blockquote><div><br></div><div>If you read my blog, it talks about connecting tenant network to GlusterFS cluster which is on the host/provider network<br>For your case, it maps to connecting service VM (service_network and service_subnet) to GlusterFS cluster. You can either<br></div><div>use the existign router or create  a new router and have it connect the service_subnet with the external subnet on which GlusterFS is running.<br><br></div><div>thanx,<br>deepak<br></div></div><br></div></div>