<div dir="ltr">Hi Everyone,<div><br></div><div>I don't even know where to start.  Linuxbridge works fine, but i'm going to start investing some time into ironic and last I looked through the docs it prefers (if not requires) the use of OVS instead of linuxbridge.  with that said, I am running into a peculiar problem where the tap device for the dhcp agent seems to be missing.  </div><div><br></div><div>when i do an 'ovs-vsctl show' it shows a tap port added to the br-int bridge.  if i do a 'ovs-ofctl show br-int' it shows that both states as "LINK DOWN".  in the logs, it shows the tap device as missing.  an 'ip link' also shows it as missing.  i'm use to seeing the dhcp network name space use the interface name of "ns-XXXXXX" but in this case, i do not but i see the interface name of the tap device.  This is better explained with a couple of pastes.  Included is a copy of my ml2 ini, dhcp-agent and the outputs of OVS and relevant parts of syslog.</div><div><br></div><div>ml2_conf.ini:</div><div><br></div><div><div>[ml2]</div><div>type_drivers = flat,vlan</div><div>tenant_network_types = vlan,flat</div><div>mechanism_drivers = openvswitch</div><div># extension_drivers = port_security</div><div><br></div><div>[ml2_type_flat]</div><div>flat_networks = provider</div><div><br></div><div>[ml2_type_vlan]</div><div>network_vlan_ranges = provider</div><div><br></div><div>[securitygroup]</div><div>firewall_driver = neutron.agent.linux.iptables_firewall.OVSHybridIptablesFirewallDriver</div><div>enable_security_group = True</div><div>enable_ipset = True</div><div><br></div><div>[agent]</div><div>l2_population = True</div><div>log_agent_heartbeats = True</div><div>prevent_arp_spoofing = True</div><div><br></div><div>[ovs]</div><div>bridge_mappings = provider:br-eth1</div><div># use_veth_interconnection = True</div></div><div><br></div><div>dhcp_agent.ini:</div><div><br></div><div><div>[DEFAULT]</div><div>debug = True</div><div>verbose = True</div><div>interface_driver = neutron.agent.linux.interface.OVSInterfaceDriver</div><div>dhcp_driver = neutron.agent.linux.dhcp.Dnsmasq</div><div>enable_isolated_metadata = True</div><div>dnsmasq_config_file = /etc/neutron/dnsmasq-neutron.conf</div><div>use_namespaces = True</div><div>dhcp_delete_namespaces = True</div><div><br></div><div>[AGENT]</div><div>log_agent_heartbeats = True</div></div><div><br></div><div>ovs-vsctl show:</div><div><br></div><div><div>339c6df7-f22f-41c2-962c-59e8e3da2e15</div><div>    Bridge "br-eth1"</div><div>        Port "phy-br-eth1"</div><div>            Interface "phy-br-eth1"</div><div>                type: patch</div><div>                options: {peer="int-br-eth1"}</div><div>        Port "eth1"</div><div>            Interface "eth1"</div><div>        Port "br-eth1"</div><div>            Interface "br-eth1"</div><div>                type: internal</div><div>    Bridge br-int</div><div>        fail_mode: secure</div><div>        Port "int-br-eth1"</div><div>            Interface "int-br-eth1"</div><div>                type: patch</div><div>                options: {peer="phy-br-eth1"}</div><div>        Port "tapbbe36037-e7"</div><div>            tag: 2</div><div>            Interface "tapbbe36037-e7"</div><div>                type: internal</div><div>        Port br-int</div><div>            Interface br-int</div><div>                type: internal</div><div>    ovs_version: "2.4.0"</div></div><div><br></div><div>ovs-ofctl show:</div><div><br></div><div><div><div>root@epc265:~# ovs-ofctl show br-int</div><div>OFPT_FEATURES_REPLY (xid=0x2): dpid:00002a2dafef4340</div><div>n_tables:254, n_buffers:256</div><div>capabilities: FLOW_STATS TABLE_STATS PORT_STATS QUEUE_STATS ARP_MATCH_IP</div><div>actions: output enqueue set_vlan_vid set_vlan_pcp strip_vlan mod_dl_src mod_dl_dst mod_nw_src mod_nw_dst mod_nw_tos mod_tp_src mod_tp_dst</div><div> 1(int-br-eth1): addr:aa:06:f4:fa:fa:0c</div><div>     config:     0</div><div>     state:      0</div><div>     speed: 0 Mbps now, 0 Mbps max</div><div> 4(tapbbe36037-e7): addr:00:00:00:00:00:00</div><div>     config:     PORT_DOWN</div><div>     state:      LINK_DOWN</div><div>     speed: 0 Mbps now, 0 Mbps max</div><div> LOCAL(br-int): addr:2a:2d:af:ef:43:40</div><div>     config:     0</div><div>     state:      0</div><div>     speed: 0 Mbps now, 0 Mbps max</div><div>OFPT_GET_CONFIG_REPLY (xid=0x4): frags=normal miss_send_len=0</div></div></div><div><br></div><div><div>root@epc265:~# ovs-ofctl show br-eth1</div><div>OFPT_FEATURES_REPLY (xid=0x2): dpid:0000ecf4bbde6cda</div><div>n_tables:254, n_buffers:256</div><div>capabilities: FLOW_STATS TABLE_STATS PORT_STATS QUEUE_STATS ARP_MATCH_IP</div><div>actions: output enqueue set_vlan_vid set_vlan_pcp strip_vlan mod_dl_src mod_dl_dst mod_nw_src mod_nw_dst mod_nw_tos mod_tp_src mod_tp_dst</div><div> 1(eth1): addr:ec:f4:bb:de:6c:da</div><div>     config:     0</div><div>     state:      0</div><div>     current:    10GB-FD</div><div>     advertised: 10GB-FD FIBER</div><div>     supported:  10GB-FD FIBER</div><div>     speed: 10000 Mbps now, 10000 Mbps max</div><div> 2(phy-br-eth1): addr:36:98:ab:e4:e0:6f</div><div>     config:     0</div><div>     state:      0</div><div>     speed: 0 Mbps now, 0 Mbps max</div><div> LOCAL(br-eth1): addr:ec:f4:bb:de:6c:da</div><div>     config:     0</div><div>     state:      0</div><div>     speed: 0 Mbps now, 0 Mbps max</div><div>OFPT_GET_CONFIG_REPLY (xid=0x4): frags=normal miss_send_len=0</div></div><div><br></div><div>snippets of logs:</div><div><br></div><div>syslog: </div><div><br></div><div><div>Mar  7 15:59:33 epc265 dnsmasq[36861]: started, version 2.68 cachesize 150</div><div>Mar  7 15:59:33 epc265 dnsmasq[36861]: compile time options: IPv6 GNU-getopt DBus i18n IDN DHCP DHCPv6 no-Lua TFTP conntrack ipset auth</div><div>Mar  7 15:59:33 epc265 dnsmasq[36861]: warning: no upstream servers configured</div><div>Mar  7 15:59:33 epc265 dnsmasq-dhcp[36861]: DHCP, static leases only on 10.81.20.0, lease time 1d</div><div>Mar  7 15:59:33 epc265 dnsmasq-dhcp[36861]: DHCP, sockets bound exclusively to interface tapbbe36037-e7</div><div>Mar  7 15:59:33 epc265 dnsmasq[36861]: read /var/lib/neutron/dhcp/70fb10ff-6644-4bd0-87ed-ae6970279cbd/addn_hosts - 3 addresses</div><div>Mar  7 15:59:33 epc265 dnsmasq-dhcp[36861]: read /var/lib/neutron/dhcp/70fb10ff-6644-4bd0-87ed-ae6970279cbd/host</div><div>Mar  7 15:59:33 epc265 dnsmasq-dhcp[36861]: read /var/lib/neutron/dhcp/70fb10ff-6644-4bd0-87ed-ae6970279cbd/opts</div><div>Mar  7 15:59:34 epc265 dnsmasq[36891]: started, version 2.68 cachesize 150</div><div>Mar  7 15:59:34 epc265 dnsmasq[36891]: compile time options: IPv6 GNU-getopt DBus i18n IDN DHCP DHCPv6 no-Lua TFTP conntrack ipset auth</div><div>Mar  7 15:59:34 epc265 dnsmasq[36891]: warning: no upstream servers configured</div><div>Mar  7 15:59:34 epc265 dnsmasq-dhcp[36891]: DHCP, static leases only on 10.81.20.0, lease time 1d</div><div>Mar  7 15:59:34 epc265 dnsmasq-dhcp[36891]: DHCP, sockets bound exclusively to interface tapbbe36037-e7</div><div>Mar  7 15:59:34 epc265 dnsmasq[36891]: read /var/lib/neutron/dhcp/70fb10ff-6644-4bd0-87ed-ae6970279cbd/addn_hosts - 3 addresses</div><div>Mar  7 15:59:34 epc265 dnsmasq-dhcp[36891]: read /var/lib/neutron/dhcp/70fb10ff-6644-4bd0-87ed-ae6970279cbd/host</div><div>Mar  7 15:59:34 epc265 dnsmasq-dhcp[36891]: read /var/lib/neutron/dhcp/70fb10ff-6644-4bd0-87ed-ae6970279cbd/opts</div><div>Mar  7 15:59:34 epc265 dnsmasq[36891]: read /var/lib/neutron/dhcp/70fb10ff-6644-4bd0-87ed-ae6970279cbd/addn_hosts - 3 addresses</div><div>Mar  7 15:59:34 epc265 dnsmasq-dhcp[36891]: read /var/lib/neutron/dhcp/70fb10ff-6644-4bd0-87ed-ae6970279cbd/host</div><div>Mar  7 15:59:34 epc265 dnsmasq-dhcp[36891]: read /var/lib/neutron/dhcp/70fb10ff-6644-4bd0-87ed-ae6970279cbd/opts</div><div>Mar  7 15:59:34 epc265 dnsmasq-dhcp[36891]: DHCPDISCOVER(tapbbe36037-e7) fa:16:3e:21:90:ce no address available</div><div>Mar  7 15:59:37 epc265 dnsmasq-dhcp[36891]: DHCPDISCOVER(tapbbe36037-e7) fa:16:3e:21:90:ce no address available</div><div>Mar  7 16:00:00 epc265 dnsmasq-dhcp[36891]: DHCPDISCOVER(tapbbe36037-e7) fa:16:3e:a5:a6:da</div><div>Mar  7 16:00:00 epc265 dnsmasq-dhcp[36891]: DHCPOFFER(tapbbe36037-e7) 10.81.20.12 fa:16:3e:a5:a6:da</div><div>Mar  7 16:00:00 epc265 dnsmasq-dhcp[36891]: DHCPDISCOVER(tapbbe36037-e7) fa:16:3e:21:90:ce no address available</div></div><div><br></div><div>ovs-vswitchd.log (please note the tap device specified in this log is different than what is shown above, but the message is the same)</div><div><br></div><div><div>2016-03-02T03:58:24.346Z|00105|bridge|INFO|bridge br-int: added interface tap22aa83ec-86 on port 2</div><div>2016-03-02T03:58:24.733Z|00106|netdev_linux|INFO|ioctl(SIOCGIFHWADDR) on tap22aa83ec-86 device failed: No such device</div><div>2016-03-02T03:58:24.736Z|00107|netdev_linux|WARN|ioctl(SIOCGIFINDEX) on tap22aa83ec-86 device failed: No such device</div><div>2016-03-02T03:58:25.020Z|00108|connmgr|INFO|br-eth1<->unix: 1 flow_mods in the last 0 s (1 adds)</div><div>2016-03-02T03:58:25.056Z|00109|connmgr|INFO|br-int<->unix: 1 flow_mods in the last 0 s (1 adds)</div><div>2016-03-02T03:58:25.126Z|00110|netdev_linux|WARN|tap22aa83ec-86: removing policing failed: No such device</div><div>2016-03-02T03:58:25.194Z|00111|connmgr|INFO|br-int<->unix: 1 flow_mods in the last 0 s (1 deletes)</div><div>2016-03-02T03:58:25.225Z|00112|connmgr|INFO|br-int<->unix: 1 flow_mods in the last 0 s (1 deletes)</div></div><div><br></div><div>ip netns:</div><div><br></div><div><div>root@epc265:/var/log/openvswitch# ip netns list</div><div>qdhcp-70fb10ff-6644-4bd0-87ed-ae6970279cbd</div><div>root@epc265:/var/log/openvswitch# ip netns exec $(ip netns) ip a</div><div>1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default</div><div>    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00</div><div>    inet <a href="http://127.0.0.1/8">127.0.0.1/8</a> scope host lo</div><div>       valid_lft forever preferred_lft forever</div><div>    inet6 ::1/128 scope host</div><div>       valid_lft forever preferred_lft forever</div><div>55: tapbbe36037-e7: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UNKNOWN group default</div><div>    link/ether fa:16:3e:44:19:0d brd ff:ff:ff:ff:ff:ff</div><div>    inet <a href="http://10.81.20.11/24">10.81.20.11/24</a> brd 10.81.20.255 scope global tapbbe36037-e7</div><div>       valid_lft forever preferred_lft forever</div><div>    inet <a href="http://169.254.169.254/16">169.254.169.254/16</a> brd 169.254.255.255 scope global tapbbe36037-e7</div><div>       valid_lft forever preferred_lft forever</div><div>    inet6 fe80::f816:3eff:fe44:190d/64 scope link</div><div>       valid_lft forever preferred_ft forever</div></div><div><br></div><div><div>root@epc265:/var/log/openvswitch# ip netns exec $(ip netns) ping 4.2.2.1</div><div>PING 4.2.2.1 (4.2.2.1) 56(84) bytes of data.</div><div>64 bytes from <a href="http://4.2.2.1">4.2.2.1</a>: icmp_seq=1 ttl=56 time=1.18 ms</div><div>64 bytes from <a href="http://4.2.2.1">4.2.2.1</a>: icmp_seq=2 ttl=56 time=1.05 ms</div><div>^C</div><div>--- 4.2.2.1 ping statistics ---</div><div>2 packets transmitted, 2 received, 0% packet loss, time 1001ms</div><div>rtt min/avg/max/mdev = 1.051/1.118/1.185/0.067 ms</div><div>root@epc265:/var/log/openvswitch# ip netns exec $(ip netns) ping 10.81.20.1</div><div>PING 10.81.20.1 (10.81.20.1) 56(84) bytes of data.</div><div>64 bytes from <a href="http://10.81.20.1">10.81.20.1</a>: icmp_seq=1 ttl=64 time=158 ms</div><div>64 bytes from <a href="http://10.81.20.1">10.81.20.1</a>: icmp_seq=2 ttl=64 time=12.2 ms</div><div>64 bytes from <a href="http://10.81.20.1">10.81.20.1</a>: icmp_seq=3 ttl=64 time=12.5 ms</div><div>64 bytes from <a href="http://10.81.20.1">10.81.20.1</a>: icmp_seq=4 ttl=64 time=109 ms</div><div>64 bytes from <a href="http://10.81.20.1">10.81.20.1</a>: icmp_seq=5 ttl=64 time=62.3 ms</div><div>^C</div><div>--- 10.81.20.1 ping statistics ---</div><div>5 packets transmitted, 5 received, 0% packet loss, time 4005ms</div><div>rtt min/avg/max/mdev = 12.290/70.945/158.270/56.603 ms</div></div><div><br></div><div>(not too sure why the RTT is oddly high going to the default gateway but at the very least it's returning something)</div><div><br></div><div>so. . there you have it. . any information will be much appreciated to help me resolve this issue will be much appreciated.  </div><div><br></div><div>Thanks.</div><div><br></div><div>Sinh</div><div><br></div></div>