<div dir="ltr"><span style="font-size:12.8000001907349px">This is a new relatively new issue that has started occurring on our OpenStack setup since we upgraded Juno (RDO based) to 2.2-1 (we had been running Juno 2.0 before without issue). Our setup is:</span><div style="font-size:12.8000001907349px"><br></div><div style="font-size:12.8000001907349px">1 x controller</div><div style="font-size:12.8000001907349px">1 x neutron</div><div style="font-size:12.8000001907349px">4 x compute</div><div style="font-size:12.8000001907349px"><br></div><div style="font-size:12.8000001907349px">backed by a 3 node Ceph cluster, running CentOS 7.1</div><div style="font-size:12.8000001907349px"><br></div><div style="font-size:12.8000001907349px">The neutron network is setup with GRE tunnels from the neutron server to the compute nodes using OVS on a separate network interface from the management and SAN traffic.<br><div><br></div><div>It has taken us a while to figure out what is going on, but basically when an instance is created and scheduled on a compute node, neutron is applying iptables rules to all compute nodes. These iptables rules block new incoming connections, however established sessions continue to work (like an ongoing ping will continue to work, but if we stop it and restart it, it then stops working).</div></div><div style="font-size:12.8000001907349px"><br></div><div style="font-size:12.8000001907349px">We have found by looking at tcpdump that packets are making it all the way to the qbrxxx interfaces, but then are being dropped before reaching the tapxxxx interface which seems to mean that iptables rules are the culprit. If we flush the iptables rules, then communication is restored and everything works, again seemingly confirming the iptable rules being the problem.</div><div style="font-size:12.8000001907349px"><br></div><div style="font-size:12.8000001907349px">We initially thought the problem was something to do with Security Groups, but the issue affects all instances regardless of tenant. It might be an issue with the default Security Group not being applied even though it is defined? We have some tenants with custom Security Groups and they are also affected, so I don't think that is the issue.</div><div style="font-size:12.8000001907349px"><br></div><div style="font-size:12.8000001907349px">I would like to get this resolved, but my iptables-foo is a bit weak in this regard. Our current workaround is to have a crontab flushing the tables every minute, but that's down right terrible and we know it. So if anybody sees anything glaringly obvious as to why this occurring or is aware of some sort of bug or issue that would explain and maybe address this issue, I would love to hear about it. </div><div style="font-size:12.8000001907349px"><br></div><div style="font-size:12.8000001907349px">Maybe we are missing something in our iptables rules that should be there. Perhaps forwarding an example of a working /etc/sysconfig/iptables from somebody that has a working CentOS 7.1 setup using RDO.</div><div style="font-size:12.8000001907349px"><br></div><div style="font-size:12.8000001907349px">Here are the rules being applied:</div><div style="font-size:12.8000001907349px"><br></div><div style="font-size:12.8000001907349px"><div>Chain INPUT (policy ACCEPT)</div><div>target     prot opt source               destination</div><div>neutron-openvswi-INPUT  all  --  <a href="http://0.0.0.0/0" target="_blank">0.0.0.0/0</a>            <a href="http://0.0.0.0/0" target="_blank">0.0.0.0/0</a></div><div><br></div><div>Chain FORWARD (policy ACCEPT)</div><div>target     prot opt source               destination</div><div>neutron-filter-top  all  --  <a href="http://0.0.0.0/0" target="_blank">0.0.0.0/0</a>            <a href="http://0.0.0.0/0" target="_blank">0.0.0.0/0</a></div><div>neutron-openvswi-FORWARD  all  --  <a href="http://0.0.0.0/0" target="_blank">0.0.0.0/0</a>            <a href="http://0.0.0.0/0" target="_blank">0.0.0.0/0</a></div><div><br></div><div>Chain OUTPUT (policy ACCEPT)</div><div>target     prot opt source               destination</div><div>neutron-filter-top  all  --  <a href="http://0.0.0.0/0" target="_blank">0.0.0.0/0</a>            <a href="http://0.0.0.0/0" target="_blank">0.0.0.0/0</a></div><div>neutron-openvswi-OUTPUT  all  --  <a href="http://0.0.0.0/0" target="_blank">0.0.0.0/0</a>            <a href="http://0.0.0.0/0" target="_blank">0.0.0.0/0</a></div><div><br></div><div>Chain neutron-filter-top (2 references)</div><div>target     prot opt source               destination</div><div>neutron-openvswi-local  all  --  <a href="http://0.0.0.0/0" target="_blank">0.0.0.0/0</a>            <a href="http://0.0.0.0/0" target="_blank">0.0.0.0/0</a></div><div><br></div><div>Chain neutron-openvswi-FORWARD (1 references)</div><div>target     prot opt source               destination</div><div>neutron-openvswi-sg-chain  all  --  <a href="http://0.0.0.0/0" target="_blank">0.0.0.0/0</a>            <a href="http://0.0.0.0/0" target="_blank">0.0.0.0/0</a>            PHYSDEV match --physdev-out tapf91449ef-0e --physdev-is-bridged</div><div>neutron-openvswi-sg-chain  all  --  <a href="http://0.0.0.0/0" target="_blank">0.0.0.0/0</a>            <a href="http://0.0.0.0/0" target="_blank">0.0.0.0/0</a>            PHYSDEV match --physdev-in tapf91449ef-0e --physdev-is-bridged</div><div><br></div><div>Chain neutron-openvswi-INPUT (1 references)</div><div>target     prot opt source               destination</div><div>neutron-openvswi-of91449ef-0  all  --  <a href="http://0.0.0.0/0" target="_blank">0.0.0.0/0</a>            <a href="http://0.0.0.0/0" target="_blank">0.0.0.0/0</a>            PHYSDEV match --physdev-in tapf91449ef-0e --physdev-is-bridged</div><div><br></div><div>Chain neutron-openvswi-OUTPUT (1 references)</div><div>target     prot opt source               destination</div><div><br></div><div>Chain neutron-openvswi-if91449ef-0 (1 references)</div><div>target     prot opt source               destination</div><div>DROP       all  --  <a href="http://0.0.0.0/0" target="_blank">0.0.0.0/0</a>            <a href="http://0.0.0.0/0" target="_blank">0.0.0.0/0</a>            state INVALID</div><div>RETURN     all  --  <a href="http://0.0.0.0/0" target="_blank">0.0.0.0/0</a>            <a href="http://0.0.0.0/0" target="_blank">0.0.0.0/0</a>            state RELATED,ESTABLISHED</div><div>RETURN     udp  --  10.10.0.2            <a href="http://0.0.0.0/0" target="_blank">0.0.0.0/0</a>            udp spt:67 dpt:68</div><div>RETURN     all  --  <a href="http://0.0.0.0/0" target="_blank">0.0.0.0/0</a>            <a href="http://0.0.0.0/0" target="_blank">0.0.0.0/0</a>            match-set IPv4c8238a74-1311-4700-9 src</div><div>neutron-openvswi-sg-fallback  all  --  <a href="http://0.0.0.0/0" target="_blank">0.0.0.0/0</a>            <a href="http://0.0.0.0/0" target="_blank">0.0.0.0/0</a></div><div><br></div><div>Chain neutron-openvswi-local (1 references)</div><div>target     prot opt source               destination</div><div><br></div><div>Chain neutron-openvswi-of91449ef-0 (2 references)</div><div>target     prot opt source               destination</div><div>RETURN     udp  --  <a href="http://0.0.0.0/0" target="_blank">0.0.0.0/0</a>            <a href="http://0.0.0.0/0" target="_blank">0.0.0.0/0</a>            udp spt:68 dpt:67</div><div>neutron-openvswi-sf91449ef-0  all  --  <a href="http://0.0.0.0/0" target="_blank">0.0.0.0/0</a>            <a href="http://0.0.0.0/0" target="_blank">0.0.0.0/0</a></div><div>DROP       udp  --  <a href="http://0.0.0.0/0" target="_blank">0.0.0.0/0</a>            <a href="http://0.0.0.0/0" target="_blank">0.0.0.0/0</a>            udp spt:67 dpt:68</div><div>DROP       all  --  <a href="http://0.0.0.0/0" target="_blank">0.0.0.0/0</a>            <a href="http://0.0.0.0/0" target="_blank">0.0.0.0/0</a>            state INVALID</div><div>RETURN     all  --  <a href="http://0.0.0.0/0" target="_blank">0.0.0.0/0</a>            <a href="http://0.0.0.0/0" target="_blank">0.0.0.0/0</a>            state RELATED,ESTABLISHED</div><div>RETURN     icmp --  <a href="http://0.0.0.0/0" target="_blank">0.0.0.0/0</a>            <a href="http://0.0.0.0/0" target="_blank">0.0.0.0/0</a></div><div>RETURN     tcp  --  <a href="http://0.0.0.0/0" target="_blank">0.0.0.0/0</a>            <a href="http://0.0.0.0/0" target="_blank">0.0.0.0/0</a>            tcp multiport dports 1:24</div><div>RETURN     udp  --  <a href="http://0.0.0.0/0" target="_blank">0.0.0.0/0</a>            <a href="http://0.0.0.0/0" target="_blank">0.0.0.0/0</a>            udp multiport dports 1:65535</div><div>RETURN     tcp  --  <a href="http://0.0.0.0/0" target="_blank">0.0.0.0/0</a>            <a href="http://0.0.0.0/0" target="_blank">0.0.0.0/0</a>            tcp multiport dports 26:65535</div><div>neutron-openvswi-sg-fallback  all  --  <a href="http://0.0.0.0/0" target="_blank">0.0.0.0/0</a>            <a href="http://0.0.0.0/0" target="_blank">0.0.0.0/0</a></div><div><br></div><div>Chain neutron-openvswi-sf91449ef-0 (1 references)</div><div>target     prot opt source               destination</div><div>RETURN     all  --  10.10.0.48           <a href="http://0.0.0.0/0" target="_blank">0.0.0.0/0</a>            MAC FA:16:3E:0B:9D:FB</div><div>DROP       all  --  <a href="http://0.0.0.0/0" target="_blank">0.0.0.0/0</a>            <a href="http://0.0.0.0/0" target="_blank">0.0.0.0/0</a></div><div><br></div><div>Chain neutron-openvswi-sg-chain (2 references)</div><div>target     prot opt source               destination</div><div>neutron-openvswi-if91449ef-0  all  --  <a href="http://0.0.0.0/0" target="_blank">0.0.0.0/0</a>            <a href="http://0.0.0.0/0" target="_blank">0.0.0.0/0</a>            PHYSDEV match --physdev-out tapf91449ef-0e --physdev-is-bridged</div><div>neutron-openvswi-of91449ef-0  all  --  <a href="http://0.0.0.0/0" target="_blank">0.0.0.0/0</a>            <a href="http://0.0.0.0/0" target="_blank">0.0.0.0/0</a>            PHYSDEV match --physdev-in tapf91449ef-0e --physdev-is-bridged</div><div>ACCEPT     all  --  <a href="http://0.0.0.0/0" target="_blank">0.0.0.0/0</a>            <a href="http://0.0.0.0/0" target="_blank">0.0.0.0/0</a></div><div><br></div><div>Chain neutron-openvswi-sg-fallback (2 references)</div><div>target     prot opt source               destination</div><div>DROP       all  --  <a href="http://0.0.0.0/0" target="_blank">0.0.0.0/0</a>            <a href="http://0.0.0.0/0" target="_blank">0.0.0.0/0</a></div></div><div style="font-size:12.8000001907349px"><br></div><div style="font-size:12.8000001907349px"><br></div><div style="font-size:12.8000001907349px">Thanks in advance,</div><div style="font-size:12.8000001907349px"><br></div><div style="font-size:12.8000001907349px">Tom Walsh</div><div style="font-size:12.8000001907349px">ExpressHosting</div><div style="font-size:12.8000001907349px"><a href="http://expresshosting.net/" target="_blank">http://expresshosting.net/</a></div></div>