<div dir="ltr">Thanks for the replies from you can Jeremy. We will try to try the local mirror. Inline replies are for your question.<div class="gmail_extra"><br><div class="gmail_quote">On Mon, Nov 7, 2016 at 4:30 PM, Clark Boylan <span dir="ltr"><<a href="mailto:cboylan@sapwetik.org" target="_blank">cboylan@sapwetik.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><span class="gmail-">On Mon, Nov 7, 2016, at 01:13 PM, Hongbin Lu wrote:<br>
> Hi infra team,<br>
><br>
> I am working on the Zun project and we experienced random failure within<br>
> the gate. The error is as below:<br>
><br>
>     2016-10-16 00:30:49.359 | ++<br>
> /opt/stack/new/zun/devstack/<wbr>lib/zun:install_etcd_server:<wbr>316 :   curl -L<br>
> <a href="https://github.com/coreos/etcd/releases/download/v3.0.7/etcd-v3.0.7-linux-amd64.tar.gz" rel="noreferrer" target="_blank">https://github.com/coreos/<wbr>etcd/releases/download/v3.0.7/<wbr>etcd-v3.0.7-linux-amd64.tar.gz</a><br>
> -o /opt/stack/new/zun/etcd/etcd-<wbr>v3.0.7-linux-amd64.tar.gz<br>
>     ....<br>
>     curl: (7) Failed to connect to <a href="http://github.com" rel="noreferrer" target="_blank">github.com</a> port 443: Connection timed<br>
>     out<br>
><br>
> By searching on logstach by using a query (message:"Failed to connect to<br>
> <a href="http://github.com" rel="noreferrer" target="_blank">github.com</a> port 443: Connection timed out"), it looks all the failure<br>
> were<br>
> happening in node "ubuntu-*-osic-cloud1-*". Is that related to anything<br>
> specific to the osic cloud?<br>
<br>
</span>OSIC is one of our ipv6 "only" clouds so connections going out to ipv4<br>
only hosts (like <a href="http://github.com" rel="noreferrer" target="_blank">github.com</a>) have to go through a shared NAT set up. It<br>
is possible that this is related to the problem.<br>
<br>
We have also seen issues where conflicts with routing tables break<br>
instances' ability to route packets to the router which performs NAT as<br>
well. Double check that you aren't overriding the routes for <a href="http://10.0.0.0/8" rel="noreferrer" target="_blank">10.0.0.0/8</a><br>
there.<br></blockquote><div><br></div><div>I don't think we have any logic that override it. </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<br>
And generally the Internet is an unreliable place. We don't consume our<br>
git repos from github and instead mirror them ourselves, we also mirror<br>
ubuntu, debian, and centos packages mirrors, and pypi package mirrors<br>
and so on for this reason.<br>
<br>
My suggestion would be to use the etcd pacakge out of the Xenial mirror<br>
which should be far more reliable on any of our test hosts (mirrors are<br>
cloud region local caches of distributed filesystems).<br>
<br>
As a final note it is always tremendously helpful to provide at least<br>
one example link to the job logs that experience problems when reporting<br>
issues to the infra team. There is a lot of data collected which is<br>
useful for debugging.<br></blockquote><div><br></div><div>Here is a sample link: <a href="http://logs.openstack.org/46/380646/24/check/gate-zun-devstack-dsvm/d7c7bab/logs/devstacklog.txt.gz#_2016-10-16_00_30_49_359">http://logs.openstack.org/46/380646/24/check/gate-zun-devstack-dsvm/d7c7bab/logs/devstacklog.txt.gz#_2016-10-16_00_30_49_359</a> <br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<span class="gmail-HOEnZb"><font color="#888888"><br>
Clark<br>
</font></span><div class="gmail-HOEnZb"><div class="gmail-h5"><br>
______________________________<wbr>______________________________<wbr>______________<br>
OpenStack Development Mailing List (not for usage questions)<br>
Unsubscribe: <a href="http://OpenStack-dev-request@lists.openstack.org?subject:unsubscribe" rel="noreferrer" target="_blank">OpenStack-dev-request@lists.<wbr>openstack.org?subject:<wbr>unsubscribe</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" rel="noreferrer" target="_blank">http://lists.openstack.org/<wbr>cgi-bin/mailman/listinfo/<wbr>openstack-dev</a><br>
</div></div></blockquote></div><br></div></div>