<div dir="ltr"><div>Hi Sean,</div><div><br></div><div>I have a few questions and they are in-line. This is the reference doc i am trying to achieve in my private cloud - <a href="https://www.redpill-linpro.com/techblog/2021/01/30/bonding-sriov-nics-with-openstack.html">https://www.redpill-linpro.com/techblog/2021/01/30/bonding-sriov-nics-with-openstack.html</a></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Fri, Mar 10, 2023 at 9:02 AM Sean Mooney <<a href="mailto:smooney@redhat.com">smooney@redhat.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">On Fri, 2023-03-10 at 08:30 -0500, Satish Patel wrote:<br>
> Thanks Sean,<br>
> <br>
> I don't have NIC which supports hardware offloading or any kind of feature.<br>
> I am using intel nic 82599 just for SRIOV and looking for bonding<br>
> support which is only possible inside VM. As you know we already run a<br>
> large SRIOV environment with openstack but my biggest issue is to upgrade<br>
> switches without downtime. I want to be more resilient to not worry<br>
> about that.<br>
> <br>
> Do you still think it's dangerous or not a good idea to bond sriov nic<br>
> inside VM?  what could go wrong here just trying to understand before i go<br>
> crazy :)<br>
lacp bond mode generaly dont work fully but you should be abel to get basic failover bondign working<br>
and perhaps tcp loadbalcing provide it does not require switch coperator to work form inside the guest.<br></blockquote><div><br></div><div>What do you mean by not working fully? Are you talking about active-active vs active-standby? </div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<br>
just keep in mind that by defintion if you decalre a network as on a seperate phsynet to another<br>
then you as the operator are asserting that there is no l2 connectivity between those networks.<br>
<br></blockquote><div> </div><div>This is interesting why not both physnet have the same L2 segment? Are you worried STP about the loop? But that is how LACP works both physical interfaces on the same segments. </div><div><br></div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
as vlan 100 on physnet_1 is intended ot be a sperate vlan form vlan 100 on phsynet_2<br></blockquote><div><br></div><div>I did a test in the lab with physnet_1 and physnet_2 both on the same VLAN ID in the same L2 domain and all works. </div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<br>
if you break that and use phsynets to select PFs you are also breaking neutron multi teancy model<br>
meaning it is not safy to aloow end uers to create vlan networks and instead you can only use provider created<br>
vlan networks.<br></blockquote><div><br></div><div>This is a private cloud and we don't have any multi-tenancy model. We have all VLAN base providers and my Datacenter core router is the gateway for all my vlans providers. </div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<br>
so what you want to do is proably achiveable but you menthion phsyntes per pf and that sounds like you are breaking<br>
the physnets are seperate isolagged phsycial netowrks rule.<br></blockquote><div><br></div><div>I can understand each physnet should be in a different tenant but in my case its vlan base provider and not sure what rules it's going to break. </div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<br>
> <br>
> <br>
> <br>
> <br>
> On Fri, Mar 10, 2023 at 6:57 AM Sean Mooney <<a href="mailto:smooney@redhat.com" target="_blank">smooney@redhat.com</a>> wrote:<br>
> <br>
> > On Thu, 2023-03-09 at 16:43 -0500, Satish Patel wrote:<br>
> > > Folks,<br>
> > > <br>
> > > As you know, SR-IOV doesn't support bonding so the only solution is to<br>
> > > implement LACP bonding inside the VM.<br>
> > > <br>
> > > I did some tests in the lab to create two physnet and map them with two<br>
> > > physical nic and create VF and attach them to VM. So far all good but one<br>
> > > problem I am seeing is each neutron port I create has an IP address<br>
> > > associated and I can use only one IP on bond but that is just a waste of<br>
> > IP<br>
> > > in the Public IP pool.<br>
> > > <br>
> > > Are there any way to create sriov port but without IP address?<br>
> > techinially we now support adressless port in neutron and nova.<br>
> > so that shoudl be possible.<br>
> > if you tried to do this with hardware offloaed ovs rather then the<br>
> > standard sriov with the sriov<br>
> > nic agent you likel will need to also use the allowed_adress_pairs<br>
> > extension to ensure that ovs did not<br>
> > drop the packets based on the ip adress. if you are using heriarcical port<br>
> > binding where you TOR is manged<br>
> > by an ml2 driver you might also need the allowed_adress_pairs extension<br>
> > with the sriov nic agent to make sure<br>
> > the packets are not drop at the swtitch level.<br>
> > <br>
> > as you likely arlready no we do not support VF bonding in openstack or<br>
> > bonded ports in general in then neutron api.<br>
> > there was an effort a few years ago to make a bond port extention that<br>
> > mirror hwo trunk ports work<br>
> > i.e. hanving 2 neutron subport and a bond port that  agreates them but we<br>
> > never got that far with<br>
> > the design. that would have enabeld boning to be implemtned in diffent ml2<br>
> > driver  like ovs/sriov/ovn ectra with<br>
> > a consitent/common api.<br>
> > <br>
> > some people have used mellonox's VF lag functionalty howver that was never<br>
> > actully enable propelry in nova/neutron<br>
> > so its not officlaly supported upstream but that functional allow you to<br>
> > attach only a singel VF to the guest form<br>
> > bonded ports on a single card.<br>
> > <br>
> > there is no supprot in nova/neutron for that offically as i said it just<br>
> > happens to work unitnetionally so i would not<br>
> > advise that you use it in produciton unless your happy to work though any<br>
> > issues you find yourself.<br>
> > <br>
> > <br>
<br>
</blockquote></div></div>