<div dir="ltr">Hi All,<div><br></div><div>We have a Mirantis Mitaka deployment and are experiencing slow internet speed on instances that are using floating IP's.</div><div><br></div><div>Let me start with what's not impacted:</div><div><ul><li>Transfers between instances on the same or different tenant networks</li><li>Transfers between instances on separate OpenStack deployments</li><li>Transfers between instances and servers outside of OpenStack</li><li>Instances that are on VLAN provider networks</li></ul><div>So the situation is limited only to instances with floating IP's going out to the internet.</div><div><br></div><div>Here's an example of the slow speed:</div><div><br></div><div>Selecting best server based on latency...</div><div>Hosted by Quonix, Inc. (Philadelphia, PA) [24.88 km]: 11.956 ms</div><div>Testing download speed........................................</div><div>Download: 11.84 Mbit/s</div><div>Testing upload speed..................................................</div><div>Upload: 3.12 Mbit/s</div></div><div><br></div><div>Here's an example of the same test from one of the controllers. The controllers are on the same network and use the same gateway.</div><div><br></div><div><div><div>Hosted by Quonix, Inc. (Philadelphia, PA) [24.88 km]: 3.933 ms</div><div>Testing download speed................................................................................</div><div>Download: 624.71 Mbit/s</div><div>Testing upload speed....................................................................................................</div><div>Upload: 213.82 Mbit/s</div></div><div><br></div><div>Now for the more interesting part...</div><div><br></div><div>Here's an example running a speedtest within the namespace</div><div><br></div><div><div>ip netns e qrouter-8fd1a0e9-b1cd-4ca9-89dd-e9e4fdc82778 ./speedtest-cli --server 7519 --source 192.168.77.1</div><div>Retrieving <a href="http://speedtest.net">speedtest.net</a> configuration...</div><div>Retrieving <a href="http://speedtest.net">speedtest.net</a> server list...</div><div>Selecting best server based on ping...</div><div>Hosted by Quonix, Inc. (Philadelphia, PA) [24.88 km]: 4006.975 ms</div><div>Testing download speed................................................................................</div><div>Download: 2.60 Mbit/s</div><div>Testing upload speed....................................................................................................</div><div>Upload: 2.46 Mbit/s</div></div><div><br></div><div>Here's the same example except in this case I've changed resolv.conf to only use our primary DNS servers instead of the resolvers that are local to OpenStack. One of these resolvers is the fuel node and the other is dnsmasq which is also using pointed to the fuel node in its config.</div><div><br></div><div><div>ip netns e qrouter-8fd1a0e9-b1cd-4ca9-89dd-e9e4fdc82778 ./speedtest-cli --server 7519 --source 192.168.77.1</div><div>Retrieving <a href="http://speedtest.net">speedtest.net</a> configuration...</div><div>Retrieving <a href="http://speedtest.net">speedtest.net</a> server list...<br></div><div>Selecting best server based on ping...</div><div>Hosted by Quonix, Inc. (Philadelphia, PA) [24.88 km]: 3.905 ms</div><div>Testing download speed................................................................................</div><div>Download: 547.38 Mbit/s</div><div>Testing upload speed....................................................................................................</div><div>Upload: 283.14 Mbit/s</div></div><div><br></div><div>Running a dig against these server within the namespace fails:</div><div><br></div><div><div>ip netns e qrouter-8fd1a0e9-b1cd-4ca9-89dd-e9e4fdc82778 /usr/bin/dig @<a href="http://172.17.1.6">172.17.1.6</a> <a href="http://google.com">google.com</a></div><div><br></div><div>; <<>> DiG 9.9.5-3ubuntu0.8-Ubuntu <<>> @<a href="http://172.17.1.6">172.17.1.6</a> <a href="http://google.com">google.com</a></div><div>; (1 server found)</div><div>;; global options: +cmd</div><div>;; cRunning a dig against these server within the namespace fails:</div><div><br></div><div>ip netns e qrouter-8fd1a0e9-b1cd-4ca9-89dd-e9e4fdc82778 /usr/bin/dig @<a href="http://172.17.1.6">172.17.1.6</a> <a href="http://google.com">google.com</a></div><div><br></div><div>; <<>> DiG 9.9.5-3ubuntu0.8-Ubuntu <<>> @<a href="http://172.17.1.6">172.17.1.6</a> <a href="http://google.com">google.com</a></div><div>; (1 server found)</div><div>;; global options: +cmd</div><div>;; connection timed out; no servers could be reached</div><div><br></div><div>ip netns e qrouter-8fd1a0e9-b1cd-4ca9-89dd-e9e4fdc82778 /usr/bin/dig @<a href="http://172.16.1.13">172.16.1.13</a> <a href="http://google.com">google.com</a></div><div><br></div><div>; <<>> DiG 9.9.5-3ubuntu0.8-Ubuntu <<>> @<a href="http://172.16.1.13">172.16.1.13</a> <a href="http://google.com">google.com</a></div><div>; (1 server found)</div><div>;; global options: +cmd</div><div>;; connection timed out; no servers could be reachedonnection timed out; no servers could be reached</div></div><div><br></div><div><div>ip netns e qrouter-8fd1a0e9-b1cd-4ca9-89dd-e9e4fdc82778 /usr/bin/dig @<a href="http://172.16.1.13">172.16.1.13</a> <a href="http://google.com">google.com</a></div><div><br></div><div>; <<>> DiG 9.9.5-3ubuntu0.8-Ubuntu <<>> @<a href="http://172.16.1.13">172.16.1.13</a> <a href="http://google.com">google.com</a></div><div>; (1 server found)</div><div>;; global options: +cmd</div><div>;; connection timed out; no servers could be reached</div></div><div><br></div><div>The instance itself is using our primary DNS servers so I'm starting to think the speed issue within the namespace may be merely a coincidence since name resolution within the instance appears to work fine but I'm not sure how to troubleshoot this further. I'm considering modifying the dnsmasq config to use our primary DNS servers but I'm doubting that would help anything.</div><div><br></div><div>Any help tracking this down would be greatly appreciated!</div><div><br></div><div>Thank You,</div><div><div class="gmail_signature"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div><div dir="ltr"><div dir="ltr"><div dir="ltr"><p style="margin-top:8px;margin-bottom:8px;font-family:helvetica,verdana,arial,sans-serif;font-size:0.85em;color:rgb(51,51,51);line-height:1.4"><span style="font-size:0.85em;line-height:1.4">___</span><br></p><p style="margin-top:8px;margin-bottom:8px;font-family:helvetica,verdana,arial,sans-serif;font-size:1.1em;color:rgb(51,51,51);line-height:1.4">John Petrini</p></div></div></div></div><a href="http:///" target="_blank"></a></div></div></div></div></div>
</div></div>