<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<meta name="Generator" content="Microsoft Word 15 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
        {font-family:"Helvetica LT Std Black";}
@font-face
        {font-family:"Helvetica LT Std Cond Light";}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0in;
        margin-bottom:.0001pt;
        font-size:12.0pt;
        font-family:"Times New Roman",serif;}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:blue;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:purple;
        text-decoration:underline;}
p.MsoListParagraph, li.MsoListParagraph, div.MsoListParagraph
        {mso-style-priority:34;
        margin-top:0in;
        margin-right:0in;
        margin-bottom:0in;
        margin-left:.5in;
        margin-bottom:.0001pt;
        font-size:12.0pt;
        font-family:"Times New Roman",serif;}
p.msonormal0, li.msonormal0, div.msonormal0
        {mso-style-name:msonormal;
        mso-margin-top-alt:auto;
        margin-right:0in;
        mso-margin-bottom-alt:auto;
        margin-left:0in;
        font-size:12.0pt;
        font-family:"Times New Roman",serif;}
span.EmailStyle19
        {mso-style-type:personal-reply;
        font-family:"Calibri",sans-serif;
        color:#1F497D;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-size:10.0pt;}
@page WordSection1
        {size:8.5in 11.0in;
        margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
        {page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]-->
</head>
<body lang="EN-US" link="blue" vlink="purple">
<div class="WordSection1">
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1F497D">> 
</span>the default backend in the docs is not linux bridge right now is it.<br>
> i tought i has been ml2/ovs for many years.<span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1F497D"><o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1F497D"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1F497D">Nope – still defaults to linuxbridge on master -
<a href="https://docs.openstack.org/neutron/latest/install/controller-install-rdo.html">
https://docs.openstack.org/neutron/latest/install/controller-install-rdo.html</a>.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1F497D"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1F497D">And I don’t think that’s necessarily a bad thing if it’s the simplest option to get working well at the moment, but if the future is OVN, OVN should be at least
 as good in all respects.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1F497D"><o:p> </o:p></span></p>
<div>
<p class="MsoNormal"><b><span style="font-size:11.0pt;font-family:"Helvetica LT Std Cond Light";color:black">Chris Apsey<o:p></o:p></span></b></p>
<p class="MsoNormal"><b><span style="font-size:11.0pt;font-family:"Helvetica LT Std Black";color:#C1D72E">GEORGIA CYBER CENTER<o:p></o:p></span></b></p>
</div>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1F497D"><o:p> </o:p></span></p>
<div>
<div style="border:none;border-top:solid #E1E1E1 1.0pt;padding:3.0pt 0in 0in 0in">
<p class="MsoNormal"><b><span style="font-size:11.0pt;font-family:"Calibri",sans-serif">From:</span></b><span style="font-size:11.0pt;font-family:"Calibri",sans-serif"> Sean Mooney <smooney@redhat.com>
<br>
<b>Sent:</b> Thursday, August 27, 2020 11:11 AM<br>
<b>To:</b> Apsey, Christopher <CAPSEY@augusta.edu>; openstack-discuss@lists.openstack.org<br>
<b>Subject:</b> [EXTERNAL] Re: [neutron][ovn] OVN Performance<o:p></o:p></span></p>
</div>
</div>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">CAUTION: EXTERNAL SENDER This email originated from an external source. Please exercise caution before opening attachments, clicking links, replying, or providing information to the sender. If you believe it to be fraudulent, contact the
 AU Cybersecurity Hotline at 72-CYBER (2-9237 / 706-722-9237) or <a href="mailto:72CYBER@augusta.edu">
72CYBER@augusta.edu</a><br>
<br>
On Thu, 2020-08-27 at 14:37 +0000, Apsey, Christopher wrote:<br>
> All,<br>
> <br>
> I know that OVN is going to become the default neutron backend at some point and displace linuxbridge as the default<br>
> configuration option in the docs, but we have noticed a pretty significant performance disparity between OVN and<br>
> linuxbridge on identical hardware over the past year or so in a few different environments[1].<br>
the default backend in the docs is not linux bridge right now is it.<br>
i tought i has been ml2/ovs for many years.<br>
> I know that example is unscientific, but similar results have been borne out in many different scenarios from what<br>
> we have observed. There are three main problems from what we see:<br>
> <br>
> <br>
> 1. OVN does not handle large concurrent requests as well as linuxbridge. Additionally, linuxbridge concurrent<br>
> capacity grows (not linearly, but grows nonetheless) by adding additional neutron API endpoints and RPC agents. OVN<br>
> does not really horizontally scale by adding additional API endpoints, from what we have observed.<br>
> <br>
> 2. OVN gets significantly slower as load on the system grows. We have observed a soft cap of about 2000-2500<br>
> instances in a given deployment before ovn-backed neutron stops responding altogether to nova requests (even for<br>
> booting a single instance). We have observed linuxbridge get to 5000+ instances before it starts to struggle on the<br>
> same hardware (and we think that linuxbridge can go further with improved provider network design in that particular<br>
> case).<br>
> <br>
> 3. Once the southbound database process hits 100% CPU usage on the leader in the ovn cluster, it’s game over<br>
> (probably causes 1+2)<br>
> <br>
> It's entirely possible that we just don’t understand OVN well enough to tune it [2][3][4], but then the question<br>
> becomes how do we get that tuning knowledge into the docs so people don’t scratch their heads when their cool new OVN<br>
> deployment scales 40% as well as their ancient linuxbridge-based one?<br>
> <br>
> If it is ‘known’ that OVN has some scaling challenges, is there a plan to fix it, and what is the best way to<br>
> contribute to doing so?<br>
> <br>
> We have observed similar results on Ubuntu 18.04/20.04 and CentOS 7/8 on Stein, Train, and Ussuri.<br>
> <br>
> [1] <a href="https://pastebin.com/kyyURTJm">https://pastebin.com/kyyURTJm</a><br>
> [2] <a href="https://github.com/GeorgiaCyber/kinetic/tree/master/formulas/ovsdb">https://github.com/GeorgiaCyber/kinetic/tree/master/formulas/ovsdb</a><br>
> [3] <a href="https://github.com/GeorgiaCyber/kinetic/tree/master/formulas/neutron">https://github.com/GeorgiaCyber/kinetic/tree/master/formulas/neutron</a><br>
> [4] <a href="https://github.com/GeorgiaCyber/kinetic/tree/master/formulas/compute">https://github.com/GeorgiaCyber/kinetic/tree/master/formulas/compute</a><br>
> <br>
> Chris Apsey<br>
> GEORGIA CYBER CENTER<br>
> <o:p></o:p></p>
</div>
</body>
</html>