<div dir="ltr">If this is project specifc usually I run the router-update and fixes the problem.<div><br></div><div><div>/usr/bin/neutron router-update --admin-state-up False $routerid</div><div>/usr/bin/neutron router-update --admin-state-up True $routerid</div></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Mon, Feb 26, 2018 at 5:53 AM, Jorge Luiz Correa <span dir="ltr"><<a href="mailto:correajl@gmail.com" target="_blank">correajl@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div>I would like some help to identify (and correct) a problem with instances metadata during booting. My environment is a Mitaka instalation, under Ubuntu 16.04 LTS, with 1 controller, 1 network node and 5 compute nodes. I'm using classic OVS as network setup. <br><br>The problem ocurs after some period of time in some projects (not all projects at same time). When booting a Ubuntu Cloud Image with cloud-init, instances lost conection with API metadata and doesn't get their information like key-pairs and cloud-init scripts. <br><br><span style="font-family:monospace,monospace">[  118.924311] cloud-init[932]: 2018-02-23 18:27:05,003 - url_helper.py[WARNING]: Calling '<a href="http://169.254.169.254/2009-04-04/meta-data/instance-id" target="_blank">http://169.254.169.254/2009-<wbr>04-04/meta-data/instance-id</a>' failed [101/120s]: request error [HTTPConnectionPool(host='169.<wbr>254.169.254', port=80): Max retries exceeded with url: /2009-04-04/meta-data/<wbr>instance-id (Caused by ConnectTimeoutError(<requests.<wbr>packages.urllib3.connection.<wbr>HTTPConnection object at 0x7faabcd6fa58>, 'Connection to 169.254.169.254 timed out. (connect timeout=50.0)'))]<br>[  136.959361] cloud-init[932]: 2018-02-23 18:27:23,038 - url_helper.py[WARNING]: Calling '<a href="http://169.254.169.254/2009-04-04/meta-data/instance-id" target="_blank">http://169.254.169.254/2009-<wbr>04-04/meta-data/instance-id</a>' failed [119/120s]: request error [HTTPConnectionPool(host='169.<wbr>254.169.254', port=80): Max retries exceeded with url: /2009-04-04/meta-data/<wbr>instance-id (Caused by ConnectTimeoutError(<requests.<wbr>packages.urllib3.connection.<wbr>HTTPConnection object at 0x7faabcd7f240>, 'Connection to 169.254.169.254 timed out. (connect timeout=17.0)'))]<br>[  137.967469] cloud-init[932]: 2018-02-23 18:27:24,040 - DataSourceEc2.py[CRITICAL]: Giving up on md from ['<a href="http://169.254.169.254/2009-04-04/meta-data/instance-id" target="_blank">http://169.254.169.254/2009-<wbr>04-04/meta-data/instance-id</a>'] after 120 seconds<br>[  137.972226] cloud-init[932]: 2018-02-23 18:27:24,048 - url_helper.py[WARNING]: Calling '<a href="http://192.168.0.7/latest/meta-data/instance-id" target="_blank">http://192.168.0.7/latest/<wbr>meta-data/instance-id</a>' failed [0/120s]: request error [HTTPConnectionPool(host='192.<wbr>168.0.7', port=80): Max retries exceeded with url: /latest/meta-data/instance-id (Caused by NewConnectionError('<requests.<wbr>packages.urllib3.connection.<wbr>HTTPConnection object at 0x7faabcd7fc18>: Failed to establish a new connection: [Errno 111] Connection refused',))]<br>[  138.974223] cloud-init[932]: 2018-02-23 18:27:25,053 - url_helper.py[WARNING]: Calling '<a href="http://192.168.0.7/latest/meta-data/instance-id" target="_blank">http://192.168.0.7/latest/<wbr>meta-data/instance-id</a>' failed [1/120s]: request error [HTTPConnectionPool(host='192.<wbr>168.0.7', port=80): Max retries exceeded with url: /latest/meta-data/instance-id (Caused by NewConnectionError('<requests.<wbr>packages.urllib3.connection.<wbr>HTTPConnection object at 0x7faabcd7fa58>: Failed to establish a new connection: [Errno 111] Connection refused',))]</span><br><br>After give up 169.254.169.254 it tries 192.168.0.7 that is the dhcp address for the project. <br><br>I've checked that neutron-l3-agent is running, without errors. On compute node where VM is running, agents and vswitch is running. I could check the namespace of a problematic project and saw an iptables rules redirecting traffic from <a href="http://169.254.169.254:80" target="_blank">169.254.169.254:80</a> to <a href="http://0.0.0.0:9697" target="_blank">0.0.0.0:9697</a>, and there is a process neutron-ns-medata_proxy_ID  that opens that port. So, it look like the metadata-proxy is running fine. But, as we can see in logs there is a timeout. <br><br></div>If I restart all services on network node sometimes solves the problem. In some cases I have to restart services on controller node (nova-api). So, all work fine for some time and start to have problems again. <br><div><br>Where can I investigate to try finding the cause of the problem?<br><br>I appreciate any help. Thank you!<span class="HOEnZb"><font color="#888888"><br><br clear="all"><div><div class="m_-1243636634722705139gmail_signature"><div dir="ltr">- JLC</div></div></div>
</font></span></div></div>
<br>______________________________<wbr>_________________<br>
Mailing list: <a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack" rel="noreferrer" target="_blank">http://lists.openstack.org/<wbr>cgi-bin/mailman/listinfo/<wbr>openstack</a><br>
Post to     : <a href="mailto:openstack@lists.openstack.org">openstack@lists.openstack.org</a><br>
Unsubscribe : <a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack" rel="noreferrer" target="_blank">http://lists.openstack.org/<wbr>cgi-bin/mailman/listinfo/<wbr>openstack</a><br>
<br></blockquote></div><br></div>