<div dir="ltr">try this <div><br></div><div><a href="http://2014.texaslinuxfest.org/sites/default/files/HopkinsPPTdeck.pdf">http://2014.texaslinuxfest.org/sites/default/files/HopkinsPPTdeck.pdf</a><br></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Sep 22, 2015 at 1:16 PM, Sam Stoelinga <span dir="ltr"><<a href="mailto:sammiestoel@gmail.com" target="_blank">sammiestoel@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div>Hi all,</div><div><br></div><div>Would appreciate your networking expertise.</div><div><br></div>I have a 7 node environment, 3 controllers which run also as network node and 4 compute nodes. There are 2 compute nodes which are behaving correctly both sending and receiving packets, but the other 2 compute nodes can sent broadcasts such as ARP request and DHCP requests but the responses is not received. Also note that previously this was working but out of nowhere this issue started happening.<div><br></div><div>I've debugged this using tcpdump on both the compute node and the controller node. The VM's DHCP request gets successfully sent to the controller node and the controller node responds with a dhcp response. It also get's successfully sent out of eth3 (vlan trunk), but this dhcp response never arrives on the compute node. So then I tried to login via VNC and manually set the IP and then try pinging, the result was outgoing arp request seen by all nodes but the arp response was not received by the compute node.</div><div><br></div><div>I've tried disabling hardware offloading as I thought this may be the nic discarding packets, but that didn't help. I have spent about a day debugging with tcpdump but running out of clueues. Anybody with a similar experience? It's weird that the node can sent out packets seen by other nodes but it can not receive the responses from other nodes.</div><div><br></div><div>tcpdump on compute which isn't receiving packets</div><div><div>tcpdump -i eth3 -nnNs 512</div><div>tcpdump: WARNING: eth3: no IPv4 address assigned</div><div>tcpdump: verbose output suppressed, use -v or -vv for full protocol decode</div><div>listening on eth3, link-type EN10MB (Ethernet), capture size 512 bytes</div><div>08:02:02.232749 STP 802.1s, Rapid STP, CIST Flags [Learn, Forward, Agreement], length 102</div><div>08:02:03.990588 IP 0.0.0.0.68 > 255.255.255.255.67: BOOTP/DHCP, Request from fa:16:3e:0d:26:a5 (this is a VM), length 300</div><div>08:02:04.232797 STP 802.1s, Rapid STP, CIST Flags [Learn, Forward, Agreement], length 102</div><div>08:02:11.393997 LLDP, length 318: HP</div><div>08:02:12.232627 STP 802.1s, Rapid STP, CIST Flags [Learn, Forward, Agreement], length 102</div><div>08:02:13.118051 IP 0.0.0.0.68 > 255.255.255.255.67: BOOTP/DHCP, Request from fa:16:3e:0d:26:a5, length 300</div><div>08:02:14.232638 STP 802.1s, Rapid STP, CIST Flags [Learn, Forward, Agreement], length 102</div></div><div><br></div><div>tcpdump on controller</div><div><div>ip netns exec qdhcp-878e1f0a-abba-4637-8afd-2814a38136a5 tcpdump -i tape2f5fa09-19 -nnNs 512</div><div>tcpdump: verbose output suppressed, use -v or -vv for full protocol decode</div><div>listening on tape2f5fa09-19, link-type EN10MB (Ethernet), capture size 512 bytes</div><div>08:01:32.591906 ARP, Request who-has 192.168.111.122 tell 192.168.111.3, length 28<br></div><div>08:01:33.033029 IP 0.0.0.0.68 > 255.255.255.255.67: BOOTP/DHCP, Request from fa:16:3e:0d:26:a5, length 300</div><div>08:01:33.033327 IP 192.168.111.3.67 > 192.168.111.122.68: BOOTP/DHCP, Reply, length 328</div><div>08:01:38.048136 ARP, Request who-has 192.168.111.122 tell 192.168.111.3, length 28</div><div>08:01:39.051897 ARP, Request who-has 192.168.111.122 tell 192.168.111.3, length 28</div><div>08:01:40.051901 ARP, Request who-has 192.168.111.122 tell 192.168.111.3, length 28</div><div>08:01:45.168519 ARP, Request who-has 192.168.111.138 tell 192.168.111.138, length 46</div><div>08:01:45.168546 ARP, Request who-has 192.168.111.138 tell 192.168.111.138, length 46</div><div>08:01:46.962341 IP 0.0.0.0.68 > 255.255.255.255.67: BOOTP/DHCP, Request from fa:16:3e:0d:26:a5, length 300</div><div>08:01:46.962584 IP 192.168.111.3.67 > 192.168.111.122.68: BOOTP/DHCP, Reply, length 328</div><div>08:01:49.438756 ARP, Request who-has 192.168.111.138 tell 192.168.111.138, length 46</div><div>08:01:49.438780 ARP, Request who-has 192.168.111.138 tell 192.168.111.138, length 46</div><div>08:01:51.346561 ARP, Request who-has 192.168.111.112 tell 192.168.111.136, length 46</div><div>08:01:51.967905 ARP, Request who-has 192.168.111.122 tell 192.168.111.3, length 28</div></div><div><br></div><div>Thanks,</div><div>Sam Stoelinga</div></div>
<br>_______________________________________________<br>
Mailing list: <a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack" rel="noreferrer" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack</a><br>
Post to     : <a href="mailto:openstack@lists.openstack.org">openstack@lists.openstack.org</a><br>
Unsubscribe : <a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack" rel="noreferrer" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack</a><br>
<br></blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="gmail_signature">Nasir Mahmood<br></div>
</div>