<div dir="ltr">I think it's supposed to be called on the network/compute nodes while neutron services are off (aka before they start on boot).</div><div class="gmail_extra"><br><br><div class="gmail_quote">On Fri, Jan 24, 2014 at 8:33 AM, George Shuklin <span dir="ltr"><<a href="mailto:george.shuklin@gmail.com" target="_blank">george.shuklin@gmail.com</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Thanks. Seems be good, but it not called during hosts startup. This is a bug or a feature?<div class="HOEnZb"><div class="h5">
<br>
<br>
<br>
On 24.01.2014 10:58, Robert Collins wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
neutron-ovs-cleanup should clean that right up for you.<br>
<br>
On 24 January 2014 21:54, George Shuklin <<a href="mailto:george.shuklin@gmail.com" target="_blank">george.shuklin@gmail.com</a>> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
OVS 2.0.1 is still in plans.<br>
<br>
But I found the source of networking delays!<br>
<br>
If someone touch ovs configuration (f.e. add iface to bridge) it save state<br>
to internal database and restore it on next boot.<br>
<br>
But if br-int has some tun/tap interfaces, they gonna be saved too. With all<br>
gre-rules. And restored on next boot. Before nova start any instances. That<br>
cause some huge delay and sometime irresponsiveness of floatingips, and even<br>
DHCP gonna ask for lease few times, or even fail completely to get lease due<br>
timeout.<br>
<br>
I don't know proper solution so far, but for now it just rule 'how to change<br>
OVS config':<br>
<br>
* schedule downtime<br>
* shutoff/migrate every instance<br>
* disable routers/dhcp agents (for networking node)<br>
* change configuration<br>
* clean bridges of all strange interfaces<br>
* move instances back or start them<br>
<br>
Situation is bit simpler for netboot nodes, where is no local 'configuration<br>
database' on the node.<br>
<br>
<br>
<br>
On 24.01.2014 00:51, Jacob Godin wrote:<br>
<br>
Hi George,<br>
<br>
Thanks for the detailed response. How has OVS 2 been working for you so far?<br>
<br>
I'm running the 3.5 kernel from Precise (generic-lts-quantal), so hopefully<br>
the kernel module won't be an issue. Not sure why that delay would occur<br>
after boot..<br>
<br>
<br>
<br>
On Sun, Jan 19, 2014 at 3:45 PM, George Shuklin <<a href="mailto:george.shuklin@gmail.com" target="_blank">george.shuklin@gmail.com</a>><br>
wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Yes and no.<br>
<br>
Yes: I was able to upgrade laboratory cluster from OVS 1.10 to OVS 1.11<br>
and it performs few orders better under --rand-source DoS attack then OVS<br>
1.10-based installation.<br>
No: there is issues.<br>
<br>
Issue #1:<br>
OVS 1.11 (vanilla version) has datapath (kernel module) with is not<br>
compilable with linux-3.11 (which is default for ubuntu cloud archive).<br>
Because canonical was able to build OVS 1.10 against 3.11, I think this is<br>
possible. Research pending, but right now I stuck with linux-3.8<br>
<br>
Issue #2:<br>
Delayed recovery after reboot. Because of unknown reason (research<br>
pending) systems under OVS 1.11 behave bit strange after whole system (all<br>
hosts) reboot. There is a long delay (about 6-10 minutes) before networking<br>
restore after successful booting of every server and instance start. At<br>
first I even thought it is broken (uptime 3 minutes - no dhcp for<br>
instances).<br>
<br>
I'll continue to play around ovs 2.0.1 and other questions with<br>
networking, because deploying OVS 1.10 to production environment is some<br>
kind of slow suicide. Any script kiddie with hping and just 15 Mbit channel<br>
will able to completely shutoff networking node (>90% packet loss), and just<br>
about 5Mbit/s of --rand-source flood is enough to cripple it (>5% packet<br>
loss).<br>
<br>
<br>
On 01/18/2014 04:24 PM, Jacob Godin wrote:<br>
<br>
Hi George,<br>
<br>
To clarify, you were able to upgrade from 1.10 or install 1.11 fresh<br>
without any issues?<br>
<br>
Sent from my mobile device<br>
<br>
On Jan 17, 2014 4:56 PM, "George Shuklin" <<a href="mailto:george.shuklin@gmail.com" target="_blank">george.shuklin@gmail.com</a>><br>
wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
For 1.11 I was wrong, it working fine.<br>
<br>
For 2.0.1 something is broken, but I still can't get where. VMs can ping<br>
each other within host (if configured manually), but traffic is not getting<br>
out br-tun (no GRE, no DHCP from network node).<br>
<br>
On 01/16/14 18:11, Aaron Rosen wrote:<br>
<br>
Hi,<br>
<br>
Can you give more details on how it breaks? Did you restart the agents so<br>
it reprograms the flows back down?<br>
<br>
On Jan 16, 2014 2:06 AM, "George Shuklin" <<a href="mailto:george.shuklin@gmail.com" target="_blank">george.shuklin@gmail.com</a>><br>
wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Good day.<br>
<br>
Did anyone successfully combine havanna and OVS > 1.10? OVS 1.10 is<br>
really suck under specific types of load (was fixed in OVS 1.11 and later).<br>
But plain upgrade of OVS breaks neutron (under research).<br>
<br>
Did anyone walk that path?<br>
<br>
Thanks.<br>
<br>
______________________________<u></u>_________________<br>
OpenStack-operators mailing list<br>
<a href="mailto:OpenStack-operators@lists.openstack.org" target="_blank">OpenStack-operators@lists.<u></u>openstack.org</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-operators" target="_blank">http://lists.openstack.org/<u></u>cgi-bin/mailman/listinfo/<u></u>openstack-operators</a><br>
</blockquote>
<br>
<br>
______________________________<u></u>_________________<br>
OpenStack-operators mailing list<br>
<a href="mailto:OpenStack-operators@lists.openstack.org" target="_blank">OpenStack-operators@lists.<u></u>openstack.org</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-operators" target="_blank">http://lists.openstack.org/<u></u>cgi-bin/mailman/listinfo/<u></u>openstack-operators</a><br>
<br>
</blockquote></blockquote>
<br>
<br>
______________________________<u></u>_________________<br>
OpenStack-operators mailing list<br>
<a href="mailto:OpenStack-operators@lists.openstack.org" target="_blank">OpenStack-operators@lists.<u></u>openstack.org</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-operators" target="_blank">http://lists.openstack.org/<u></u>cgi-bin/mailman/listinfo/<u></u>openstack-operators</a><br>
<br>
</blockquote>
<br>
<br>
</blockquote>
<br>
</div></div></blockquote></div><br></div>