<html><head></head><body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space; ">I'm not sure what to do next. I've finally got my first<div>instance up and running. But it doesn't get a DHCP address.</div><div>Which is the first thing I can't figure out.</div><div><br></div><div>I assume(d) that the Control node is [going to be] the gateway</div><div>to the rest of the network (because the Control node is also</div><div>the Network node) and the Compute should route all traffic coming</div><div>from the VMs to that host.</div><div><br></div><div><br></div><div>In Openstack I have created the "physical" (provider) network,</div><div>with a allocation pool of IP address that is available on the,</div><div>surprise, surprise, the physical network (which is eventually</div><div>NATed out to the Internet) where everything else not related</div><div>to Openstack is located.</div><div><br></div><div>I also have three tenant networks, which won't be routed outside</div><div>of Openstack.</div><div><br></div><div>There is a Openstack router, with a leg (port) on each of these</div><div>networks. Unfortunately, all ports on that router is "Down".</div><div>That's the second thing I can't figure out how to change. I can't</div><div>seem to figure out a way to do anything about that and I see</div><div>anything obvious to this in the logs:</div><div><br></div><div>----- s n i p -----</div><div>bladeA01b:~# grep 57fa1869-fc0d-4c5c-924c-402782b5bd24 /var/log/neutron/neutron-openvswitch-agent.log</div><div><font class="Apple-style-span">2016-06-27 10:50:17.575 17559 INFO neutron.agent.common.ovs_lib [req-6627cbfc-f9c4-4cf8-b07f-92b53eba1ccc - - - - -] Port 57fa1869-fc0d-4c5c-924c-402782b5bd24 not present in bridge br-physical<br>2016-06-27 10:50:18.385 17559 INFO neutron.plugins.ml2.drivers.openvswitch.agent.ovs_neutron_agent [req-6627cbfc-f9c4-4cf8-b07f-92b53eba1ccc - - - - -] Port 57fa1869-fc0d-4c5c-924c-402782b5bd24 was not found on the integration bridge and will therefore not be processed<br>2016-06-27 10:50:19.329 17559 INFO neutron.agent.securitygroups_rpc [req-6627cbfc-f9c4-4cf8-b07f-92b53eba1ccc - - - - -] Preparing filters for devices set([u'57fa1869-fc0d-4c5c-924c-402782b5bd24', u'657fbe47-babe-4a0e-afd6-5dbfd05d5748', u'1e7c4621-a4ff-4057-8ce7-3ecdca717b27', u'1b37164c-834d-4765-9829-87c621b2dc8c'])<br>2016-06-27 10:50:47.293 17559 INFO neutron.agent.common.ovs_lib [req-6627cbfc-f9c4-4cf8-b07f-92b53eba1ccc - - - - -] Port 57fa1869-fc0d-4c5c-924c-402782b5bd24 not present in bridge br-physical<br>2016-06-27 10:50:48.103 17559 INFO neutron.plugins.ml2.drivers.openvswitch.agent.ovs_neutron_agent [req-6627cbfc-f9c4-4cf8-b07f-92b53eba1ccc - - - - -] Port 57fa1869-fc0d-4c5c-924c-402782b5bd24 was not found on the integration bridge and will therefore not be processed<br>2016-06-27 10:50:49.044 17559 INFO neutron.agent.securitygroups_rpc [req-6627cbfc-f9c4-4cf8-b07f-92b53eba1ccc - - - - -] Preparing filters for devices set([u'57fa1869-fc0d-4c5c-924c-402782b5bd24', u'657fbe47-babe-4a0e-afd6-5dbfd05d5748', u'1e7c4621-a4ff-4057-8ce7-3ecdca717b27', u'1b37164c-834d-4765-9829-87c621b2dc8c'])<br>2016-06-27 11:15:26.635 20929 INFO neutron.plugins.ml2.drivers.openvswitch.agent.ovs_neutron_agent [req-430be11d-8f34-4750-9aef-71af9fb8994d - - - - -] Port 57fa1869-fc0d-4c5c-924c-402782b5bd24 updated. Details: {u'profile': {}, u'network_qos_policy_id': None, u'qos_policy_id': None, u'allowed_address_pairs': [], u'admin_state_up': True, u'network_id': u'eadb3df0-3c4b-46e5-afb7-fe5d2ef09328', u'segmentation_id': None, u'device_owner': u'network:router_gateway', u'physical_network': u'external', u'mac_address': u'fa:16:3e:46:b8:f2', u'device': u'57fa1869-fc0d-4c5c-924c-402782b5bd24', u'port_security_enabled': False, u'port_id': u'57fa1869-fc0d-4c5c-924c-402782b5bd24', u'fixed_ips': [{u'subnet_id': u'172bdf64-9291-415a-8930-455f1f59453f', u'ip_address': u'10.0.0.200'}], u'network_type': u'flat', u'security_groups': []}<br>2016-06-27 11:15:28.833 20929 INFO neutron.plugins.ml2.drivers.openvswitch.agent.ovs_neutron_agent [req-430be11d-8f34-4750-9aef-71af9fb8994d - - - - -] Configuration for devices up [u'57fa1869-fc0d-4c5c-924c-402782b5bd24'] and devices down [] completed.<br>2016-06-27 17:07:15.302 23086 INFO neutron.plugins.ml2.drivers.openvswitch.agent.ovs_neutron_agent [req-06aee021-d73f-4984-b5fc-7ccb73edf20f - - - - -] Port 57fa1869-fc0d-4c5c-924c-402782b5bd24 updated. Details: {u'profile': {}, u'network_qos_policy_id': None, u'qos_policy_id': None, u'allowed_address_pairs': [], u'admin_state_up': True, u'network_id': u'eadb3df0-3c4b-46e5-afb7-fe5d2ef09328', u'segmentation_id': None, u'device_owner': u'network:router_gateway', u'physical_network': u'external', u'mac_address': u'fa:16:3e:46:b8:f2', u'device': u'57fa1869-fc0d-4c5c-924c-402782b5bd24', u'port_security_enabled': False, u'port_id': u'57fa1869-fc0d-4c5c-924c-402782b5bd24', u'fixed_ips': [{u'subnet_id': u'172bdf64-9291-415a-8930-455f1f59453f', u'ip_address': u'10.0.0.200'}], u'network_type': u'flat', u'security_groups': []}<br>2016-06-27 17:07:17.037 23086 INFO neutron.plugins.ml2.drivers.openvswitch.agent.ovs_neutron_agent [req-06aee021-d73f-4984-b5fc-7ccb73edf20f - - - - -] Configuration for devices up [u'57fa1869-fc0d-4c5c-924c-402782b5bd24'] and devices down [] completed.<br>2016-06-27 17:07:20.473 23086 INFO neutron.plugins.ml2.drivers.openvswitch.agent.ovs_neutron_agent [req-06aee021-d73f-4984-b5fc-7ccb73edf20f - - - - -] Port 57fa1869-fc0d-4c5c-924c-402782b5bd24 updated. Details: {u'profile': {}, u'network_qos_policy_id': None, u'qos_policy_id': None, u'allowed_address_pairs': [], u'admin_state_up': True, u'network_id': u'eadb3df0-3c4b-46e5-afb7-fe5d2ef09328', u'segmentation_id': None, u'device_owner': u'network:router_gateway', u'physical_network': u'external', u'mac_address': u'fa:16:3e:46:b8:f2', u'device': u'57fa1869-fc0d-4c5c-924c-402782b5bd24', u'port_security_enabled': False, u'port_id': u'57fa1869-fc0d-4c5c-924c-402782b5bd24', u'fixed_ips': [{u'subnet_id': u'172bdf64-9291-415a-8930-455f1f59453f', u'ip_address': u'10.0.0.200'}], u'network_type': u'flat', u'security_groups': []}<br>2016-06-27 17:07:21.994 23086 INFO neutron.plugins.ml2.drivers.openvswitch.agent.ovs_neutron_agent [req-06aee021-d73f-4984-b5fc-7ccb73edf20f - - - - -] Configuration for devices up [u'57fa1869-fc0d-4c5c-924c-402782b5bd24'] and devices down [] completed.<br>2016-06-27 17:07:46.553 26647 INFO neutron.plugins.ml2.drivers.openvswitch.agent.ovs_neutron_agent [req-8a1fb99d-e3a2-41a7-b610-788cea2e0e2a - - - - -] Port 57fa1869-fc0d-4c5c-924c-402782b5bd24 updated. Details: {u'profile': {}, u'network_qos_policy_id': None, u'qos_policy_id': None, u'allowed_address_pairs': [], u'admin_state_up': True, u'network_id': u'eadb3df0-3c4b-46e5-afb7-fe5d2ef09328', u'segmentation_id': None, u'device_owner': u'network:router_gateway', u'physical_network': u'external', u'mac_address': u'fa:16:3e:46:b8:f2', u'device': u'57fa1869-fc0d-4c5c-924c-402782b5bd24', u'port_security_enabled': False, u'port_id': u'57fa1869-fc0d-4c5c-924c-402782b5bd24', u'fixed_ips': [{u'subnet_id': u'172bdf64-9291-415a-8930-455f1f59453f', u'ip_address': u'10.0.0.200'}], u'network_type': u'flat', u'security_groups': []}<br>2016-06-27 17:07:48.430 26647 INFO neutron.plugins.ml2.drivers.openvswitch.agent.ovs_neutron_agent [req-8a1fb99d-e3a2-41a7-b610-788cea2e0e2a - - - - -] Configuration for devices up [u'57fa1869-fc0d-4c5c-924c-402782b5bd24'] and devices down [] completed.<br>2016-06-27 21:01:00.090 26647 INFO neutron.plugins.ml2.drivers.openvswitch.agent.ovs_neutron_agent [req-8a1fb99d-e3a2-41a7-b610-788cea2e0e2a - - - - -] Port 57fa1869-fc0d-4c5c-924c-402782b5bd24 updated. Details: {u'profile': {}, u'network_qos_policy_id': None, u'qos_policy_id': None, u'allowed_address_pairs': [], u'admin_state_up': True, u'network_id': u'eadb3df0-3c4b-46e5-afb7-fe5d2ef09328', u'segmentation_id': None, u'device_owner': u'network:router_gateway', u'physical_network': u'external', u'mac_address': u'fa:16:3e:46:b8:f2', u'device': u'57fa1869-fc0d-4c5c-924c-402782b5bd24', u'port_security_enabled': False, u'port_id': u'57fa1869-fc0d-4c5c-924c-402782b5bd24', u'fixed_ips': [{u'subnet_id': u'172bdf64-9291-415a-8930-455f1f59453f', u'ip_address': u'10.0.0.200'}], u'network_type': u'flat', u'security_groups': []}<br>2016-06-27 21:01:02.017 26647 INFO neutron.plugins.ml2.drivers.openvswitch.agent.ovs_neutron_agent [req-8a1fb99d-e3a2-41a7-b610-788cea2e0e2a - - - - -] Configuration for devices up [u'57fa1869-fc0d-4c5c-924c-402782b5bd24'] and devices down [] completed.<br>2016-06-27 21:19:16.746 26647 INFO neutron.agent.securitygroups_rpc [req-8a1fb99d-e3a2-41a7-b610-788cea2e0e2a - - - - -] Remove device filter for set([u'57fa1869-fc0d-4c5c-924c-402782b5bd24'])<br>2016-06-27 21:19:16.886 26647 INFO neutron.plugins.ml2.drivers.openvswitch.agent.ovs_neutron_agent [req-8a1fb99d-e3a2-41a7-b610-788cea2e0e2a - - - - -] Ports set([u'57fa1869-fc0d-4c5c-924c-402782b5bd24']) removed</font><br></div><div>----- s n i p -----<br><br></div><div>"not found on the integration bridge" (that would be "br-provider"</div><div>as I've configured it - but next part says "br-physical", which is</div><div>it?), "not present in bridge br-physical".</div><div>Ok.. ? So do _I'm_ supposed to put it there, or is Openstack?</div><div><br></div><div>See the included screenshot for how this looks like in graphical</div><div>form. PS, the third tenant network is under the router info blob.</div><div><br></div><div><br></div><div>When I create my instance, I chose one of the tenant networks</div><div>and one of the floating IPs (from the "physical" pool), but</div><div>it won't get an IP, and the floating one isn't recorded anywhere</div><div>in the instance (second thing). And even if I login through VNC</div><div>(which I have to do via a separate VNC client, because the "built-in"</div><div>one in the web GUI don't seem to work for some reason - fourth</div><div>thing) and set it, it won't route anywhere.</div><div><br></div><div><br></div><div>On the Controller I have the following interfaces ("lo" removed</div><div>from the list for brevity), routes and bridges:</div><div><br></div><div>----- s n i p -----</div><div>bladeA01b:~# ifconfig</div><div>br-physical: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500<br>        inet 10.0.4.1  netmask 255.255.0.0  broadcast 10.0.4.255<br>        ether 78:e7:d1:59:f8:ec  txqueuelen 0  (Ethernet)<br>        RX packets 9416  bytes 2024698 (1.9 MiB)<br>        RX errors 0  dropped 0  overruns 0  frame 0<br>        TX packets 4141  bytes 1846909 (1.7 MiB)<br>        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0<br><br>br-provider: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500<br>        inet 10.99.0.1  netmask 255.255.255.0  broadcast 10.99.0.255<br>        ether 78:e7:d1:59:f8:e8  txqueuelen 0  (Ethernet)<br>        RX packets 12  bytes 986 (986.0 B)<br>        RX errors 0  dropped 9  overruns 0  frame 0<br>        TX packets 3  bytes 182 (182.0 B)<br>        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0<br><br>eth0: flags=4419<UP,BROADCAST,RUNNING,PROMISC,MULTICAST>  mtu 1500<br>        ether 78:e7:d1:59:f8:e8  txqueuelen 1000  (Ethernet)<br>        RX packets 934  bytes 70418 (68.7 KiB)<br>        RX errors 0  dropped 15  overruns 0  frame 0<br>        TX packets 0  bytes 0 (0.0 B)<br>        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0<br>        device interrupt 28  memory 0xfb000000-fb7fffff  <br><br>eth1: flags=4419<UP,BROADCAST,RUNNING,PROMISC,MULTICAST>  mtu 1500<br>        ether 78:e7:d1:59:f8:ec  txqueuelen 1000  (Ethernet)<br>        RX packets 9950  bytes 2028818 (1.9 MiB)<br>        RX errors 0  dropped 0  overruns 0  frame 0<br>        TX packets 4662  bytes 1893239 (1.8 MiB)<br>        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0<br>        device interrupt 40  memory 0xfa000000-fa7fffff  </div><div><br></div><div>bladeA01b:~# route -n</div><div>Kernel IP routing table</div><div>Destination    Gateway         Genmask         Flags Metric Ref    Use Iface</div><div>0.0.0.0           10.0.0.254      0.0.0.0              UG    0         0        0     br-physical</div><div>10.0.0.0         0.0.0.0            255.255.0.0      U       0         0        0     br-physical</div><div>10.99.0.0       0.0.0.0            255.255.255.0  U       0         0        0     br-provider</div><div><br></div><div>bladeA01b:~# ovs-vsctl show</div><div>f9ba2214-4c6c-4185-97c3-20ff5c1ca8f0<br>    Bridge br-provider<br>        fail_mode: secure<br>        Port int-br-physical<br>            Interface int-br-physical<br>                type: patch<br>                options: {peer=phy-br-physical}<br>        Port patch-tun<br>            Interface patch-tun<br>                type: patch<br>                options: {peer=patch-int}<br>        Port br-provider<br>            Interface br-provider<br>                type: internal<br>        Port "eth0"<br>            Interface "eth0"<br>    Bridge br-tun<br>        fail_mode: secure<br>        Port patch-int<br>            Interface patch-int<br>                type: patch<br>                options: {peer=patch-tun}<br>        Port br-tun<br>            Interface br-tun<br>                type: internal</div><div>    Bridge br-physical<br>        Port phy-br-physical<br>            Interface phy-br-physical<br>                type: patch<br>                options: {peer=int-br-physical}<br>        Port br-physical<br>            Interface br-physical<br>                type: internal<br>        Port "tapf4f5a1e1-74"<br>            Interface "tapf4f5a1e1-74"<br>                type: internal<br>        Port "eth1"<br>            Interface "eth1"<br>    ovs_version: "2.3.0"</div><div>----- s n i p -----</div><div><br></div><div>Here, "br-provider" is bridged with "eth0", which is connected</div><div>to a cisco switch, without any uplink. See more below.</div><div><br></div><div>And "br-physical" is linked with "eth1" which is connected to an</div><div>identical Cisco switch with the uplink to the rest of the network.</div><div><br></div><div>On the Compute I have:</div><div><br></div><div>----- s n i p -----</div><div>bladeA03b:~# ifconfig</div><div>br-physical: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500<br>        inet 10.0.4.3  netmask 255.255.0.0  broadcast 10.0.4.255<br>        ether 78:e7:d1:59:f2:64  txqueuelen 0  (Ethernet)<br>        RX packets 11120  bytes 2431517 (2.3 MiB)<br>        RX errors 0  dropped 588  overruns 0  frame 0<br>        TX packets 6862  bytes 2241131 (2.1 MiB)<br>        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0<br><br>br-provider: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1458<br>        inet 10.99.0.3  netmask 255.255.255.0  broadcast 10.99.0.255<br>        ether 78:e7:d1:59:f2:60  txqueuelen 0  (Ethernet)<br>        RX packets 317  bytes 29098 (28.4 KiB)<br>        RX errors 0  dropped 3  overruns 0  frame 0<br>        TX packets 200  bytes 36124 (35.2 KiB)<br>        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0<br><br>docker0: flags=4099<UP,BROADCAST,MULTICAST>  mtu 1500<br>        inet 172.17.42.1  netmask 255.255.0.0  broadcast 0.0.0.0<br>        ether 02:42:60:20:b1:b6  txqueuelen 0  (Ethernet)<br>        RX packets 0  bytes 0 (0.0 B)<br>        RX errors 0  dropped 0  overruns 0  frame 0<br>        TX packets 0  bytes 0 (0.0 B)<br>        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0<br><br>eth0: flags=4419<UP,BROADCAST,RUNNING,PROMISC,MULTICAST>  mtu 1500<br>        ether 78:e7:d1:59:f2:60  txqueuelen 1000  (Ethernet)<br>        RX packets 3031  bytes 229586 (224.2 KiB)<br>        RX errors 0  dropped 32  overruns 0  frame 0<br>        TX packets 210  bytes 38494 (37.5 KiB)<br>        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0<br>        device interrupt 28  memory 0xfb000000-fb7fffff  </div><div><br>eth1: flags=4419<UP,BROADCAST,RUNNING,PROMISC,MULTICAST>  mtu 1500<br>        ether 78:e7:d1:59:f2:64  txqueuelen 1000  (Ethernet)<br>        RX packets 16453  bytes 2991187 (2.8 MiB)<br>        RX errors 0  dropped 39  overruns 0  frame 0<br>        TX packets 7614  bytes 2321027 (2.2 MiB)<br>        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0<br>        device interrupt 40  memory 0xfa000000-fa7fffff  <br><br></div><div>qbr6a866c7f-2b: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1458<br>        ether 0a:eb:34:e9:14:97  txqueuelen 0  (Ethernet)<br>        RX packets 10  bytes 1366 (1.3 KiB)<br>        RX errors 0  dropped 0  overruns 0  frame 0<br>        TX packets 0  bytes 0 (0.0 B)<br>        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0<br><br>qvb6a866c7f-2b: flags=4419<UP,BROADCAST,RUNNING,PROMISC,MULTICAST>  mtu 1458<br>        ether 0a:eb:34:e9:14:97  txqueuelen 1000  (Ethernet)<br>        RX packets 10  bytes 756 (756.0 B)<br>        RX errors 0  dropped 0  overruns 0  frame 0<br>        TX packets 9  bytes 1464 (1.4 KiB)<br>        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0<br><br>qvo6a866c7f-2b: flags=4419<UP,BROADCAST,RUNNING,PROMISC,MULTICAST>  mtu 1458<br>        ether 92:ea:b0:a3:3e:05  txqueuelen 1000  (Ethernet)<br>        RX packets 9  bytes 1464 (1.4 KiB)<br>        RX errors 0  dropped 0  overruns 0  frame 0<br>        TX packets 10  bytes 756 (756.0 B)<br>        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0<br><br>tap6a866c7f-2b: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1458<br>        ether fe:16:3e:80:7a:30  txqueuelen 500  (Ethernet)<br>        RX packets 9  bytes 1464 (1.4 KiB)<br>        RX errors 0  dropped 0  overruns 0  frame 0<br>        TX packets 10  bytes 756 (756.0 B)<br>        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0</div><div><br></div><div>bladeA03b:~# route -n<br>Kernel IP routing table<br>Destination     Gateway         Genmask         Flags Metric Ref    Use Iface<br>0.0.0.0            10.0.0.254      0.0.0.0             UG     0         0        0     br-physical<br>10.0.0.0          0.0.0.0            255.255.0.0     U        0         0        0     br-physical<br>10.99.0.0        0.0.0.0            255.255.255.0 U        0         0        0     br-provider<br>172.17.0.0      0.0.0.0            255.255.0.0     U        0         0        0     docker0</div><div><br></div><div>bladeA03b:~# ovs-vsctl show</div><div>5e1ec384-b926-4148-9bfd-cbf7db56cfa2<br>    Bridge br-physical<br>        Port "eth1"<br>            Interface "eth1"<br>        Port br-physical<br>            Interface br-physical<br>                type: internal<br>    Bridge br-provider<br>        Port "qvo6a866c7f-2b"<br>            Interface "qvo6a866c7f-2b"<br>        Port br-provider<br>            Interface br-provider<br>                type: internal<br>        Port "eth0"<br>            Interface "eth0"<br>    ovs_version: "2.3.0"</div><div>----- s n i p -----</div><div><br></div><div>Again, "br-provider" is bridged with "eth0", same Cisco switch</div><div>as the Controller/eth0 is connected to. I can ping the two</div><div>10.99.0.x addresses for these two machines. WITHOUT going through</div><div>"eth1" (and the site firewall/gateway/router).</div><div><br></div><div>In both these machines, "eth1" is the connection to the "physical"</div><div>(provider/administration) network and as said, "eth0" is the internal</div><div>(tenant) network.</div><div><br></div><div><br></div><div>My security group I'm using allows everything, ingress and egress.</div><div><div>--<br>Life sucks and then you die</div><img id="d8647996-b964-445e-8dee-07625466d05d" height="508" width="622" apple-width="yes" apple-height="yes" src="cid:211F7237-BC1A-4449-8A04-F91164713588@bayour.com"></div></body></html>