<div dir="ltr"><div style>Hi Jon,</div><div><br></div><div>Thanks! Even if not directly applicable, it's still good information.<br></div><div><br></div><div class="gmail_extra"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">
I could but I don't think what I did is useful to others. I actually<br>
completely redid my networking setup when from a flat layout to vlans<br>
and different IP space.  This upgrade is meant to by my last major<br>
service disruption on the path from "beta" to "general release", and<br>
is the only one that disrupted running VM all previous updates and<br>
reconfigs only disrupted API operations not running systems.  Given<br>
the scope of change and the "beta" expectation of the users I didn't<br>
make any effort to get a smooth transition.<br>
<br>
We've actually stopped using floating IPs since the default network is<br>
now routable IPs, but allow users to specify their own fixed v4<br>
addresses instead for systems that need/want consistent IP addrs.  We<br>
provide for this by having quantum provide dhcp with a dynamic<br>
allocation range that is the top half of the IP space and use our<br>
existing in house IPAM and DNS to allow users to register addresses in<br>
the lower half (this is exactly how we manage our other user subnets,<br>
just we use our own DHCP there).  The IP space is now the same block<br>
that was previously used for the floating IPs, so after a little<br>
renumbering any DNS entry users had made for their floating IPs is now<br>
available to them as a FIxed IP.<br>
<br>
I understand there are other use cases for floating IPs than gust<br>
getting a public mapping to the usually private fixed IP space and<br>
that having self service IPAM and DNS for users is probably pretty<br>
rare, so not sure if even that translates to other sites at all.<br>
<div class="im"><br>
> Regarding your actual Quantum configuration: you're not using network<br>
> namespaces, right?<br>
<br>
</div>We are using network namespaces as we are allowing projects to create<br>
their own GRE based private networks.<br></blockquote><div><br></div><div style>Ah, gotcha. I misinterpreted your original description for "Provider Router with Private Networks".</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">

<div class="im"><br>
> Also, have you run into the need to manually cleanup<br>
> open-vswitch? For example, with the issue of instances getting multiple<br>
> ports, did Quantum ever clean up after itself?<br>
<br>
</div>For the multiple port allocation bug we just declared the systems<br>
broken, deleted and relaunched, I honestly don't remember if they were<br>
reachable on any of the assigned IPs.  In that case (deleting the<br>
instance) the network returned to a consistent state (AFAIK).<br>
<div class="im"><br>
> Or have you had to manually<br>
> audit the open-switch config versus what Quantum thinks open-vswitch should<br>
> have versus what should really be configured all around?<br>
<br>
</div>I haven't noticed any issues like that.<br>
<br>
Caveats here being this has only been running for a month and the main<br>
supported use case is very simple, one provider vlan on one bridge, so<br>
as long as the ports are created on the compute node and stuck in the<br>
right bridge it works.<br>
<br>
I've have added an additional vlan based provider network and that has<br>
worked though that was last week and there are less than 10 ports on<br>
it.  Also I and some users have played around with the GRE based<br>
project networks adnd those also seem to work, though I don't have a<br>
good sense of how much load they see.  I put them out there as "not<br>
really supported but try it and let me know how it works", I can see<br>
several projects using them some apparently dual porting all their<br>
instances and noone has complained, except when I briefly broke<br>
meta-data service on them, so they are using them and notice when they<br>
break...<br>
<br>
-Jon<br>
</blockquote></div><br><br clear="all"><div><br></div>-- <br><div dir="ltr">Joe Topjian<div>Systems Architect</div><div>Cybera Inc.</div><div><br></div><div><a href="http://www.cybera.ca" target="_blank">www.cybera.ca</a></div>
<div><br></div><div><font color="#666666"><span>Cybera</span><span> is a not-for-profit organization that works to spur and support innovation, for the economic benefit of Alberta, through the use of cyberinfrastructure.</span></font></div>
</div>
</div></div>