<div dir="ltr"><div dir="ltr"><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Fri, May 24, 2019 at 7:37 PM Clark Boylan <<a href="mailto:cboylan@sapwetik.org" target="_blank">cboylan@sapwetik.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">On Fri, May 24, 2019, at 10:23 AM, Alfredo Moralejo Alonso wrote:<br>
> Hi,<br>
> <br>
> Since last hours puppet-openstack-integrating jobs in RDO are failing <br>
> to deploy puppet modules from <br>
> <a href="https://opendev.org/openstack/puppet-" rel="noreferrer" target="_blank">https://opendev.org/openstack/puppet-</a><modules> in CentOS7.<br>
> <br>
> The sympthom is jobs get stuck randomly when installing modules using <br>
> r10k. Investigating it, I've been able to reproduce the issue running:<br>
> <br>
> git clone --mirror <a href="https://github.com/openstack/puppet-" rel="noreferrer" target="_blank">https://github.com/openstack/puppet-</a><module><br>
> <br>
> About 50% of the times, commands get stuck for any project in <br>
> <a href="http://opendev.org/openstack" rel="noreferrer" target="_blank">opendev.org/openstack</a>. I've checked that it works fine if i don't use <br>
> "--mirror". <br>
> <br>
> As it seems to work fine with fedora, I've compiled and installed <br>
> latest version of git from upstream and in a CentOS7 and then, git <br>
> clone --mirror works fine, but in this case r10k also gets stuck when <br>
> running:<br>
> <br>
> git --git-dir <br>
> /home/centos/.r10k/git/https---opendev.org-openstack-puppet-keystone <br>
> fetch origin --prune<br>
> <br>
> In this case, it only happens with puppet-keystone.<br>
> <br>
> Note that it always works fine using <a href="http://github.com/openstack" rel="noreferrer" target="_blank">github.com/openstack</a> mirrors <br>
> instead of <a href="http://opendev.org" rel="noreferrer" target="_blank">opendev.org</a> so the problem seems to be some combination of <br>
> git repos from opendev with CentOS7 git. Has there been any change that <br>
> may be affecting git repos behavior somehow?<br>
<br>
Yesterday we replicated all of refs/changes and refs/notes from Gerrit to Gitea. We had these replicated on the old Cgit farm, but gitea didn't support this replication until wednesday when we upgraded Gitea. The manpage for git clone --mirror says it will "map all refs (including remote-tracking branches, notes etc.)" so this is possibly related.<br>
<br>
When you say it gets stuck randomly does that mean the git process never completes the clone? or it stops with failure? In either case stracing the clone process might help to figure out if it is these new refs that it is having problems with.<br>
<br></blockquote><div><br></div><div>When fails, it never completes, example output with GIT_TRACE enabled:</div><div><br></div><div>$ git  clone --mirror <a href="https://opendev.org/openstack/puppet-neutron" target="_blank">https://opendev.org/openstack/puppet-neutron</a><br>trace: built-in: git 'clone' '--mirror' '<a href="https://opendev.org/openstack/puppet-neutron" target="_blank">https://opendev.org/openstack/puppet-neutron</a>'<br>Cloning into bare repository 'puppet-neutron.git'...<br>trace: run_command: 'git-remote-https' 'origin' '<a href="https://opendev.org/openstack/puppet-neutron" target="_blank">https://opendev.org/openstack/puppet-neutron</a>'<br>trace: run_command: 'fetch-pack' '--stateless-rpc' '--stdin' '--lock-pack' '--thin' '<a href="https://opendev.org/openstack/puppet-neutron/" target="_blank">https://opendev.org/openstack/puppet-neutron/</a>'<br>trace: exec: 'git' 'fetch-pack' '--stateless-rpc' '--stdin' '--lock-pack' '--thin' '<a href="https://opendev.org/openstack/puppet-neutron/" target="_blank">https://opendev.org/openstack/puppet-neutron/</a>'<br>trace: built-in: git 'fetch-pack' '--stateless-rpc' '--stdin' '--lock-pack' '--thin' '<a href="https://opendev.org/openstack/puppet-neutron/" target="_blank">https://opendev.org/openstack/puppet-neutron/</a>'</div><div><br></div><div>It always get stuck in:</div><div><br></div><div>trace: built-in: git 'fetch-pack' ...</div><div><br></div><div>I have a 2MB strace output, but it's probably more useful for you to just replicate it in a centos:latest container?, simply:</div><div><br></div><div>"<br></div><div>docker run -it <a href="http://docker.io/centos:latest">docker.io/centos:latest</a> /bin/bash</div><div><br></div><div>yum install -y git strace</div><div><br></div><div>git clone --mirror <a href="https://opendev.org/openstack/puppet-nova">https://opendev.org/openstack/puppet-nova</a></div><div>"</div><div>you can run the git clone several times if it finishes fine.</div><div><br></div><div><br></div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
Clark<br>
<br>
_______________________________________________<br>
OpenStack-Infra mailing list<br>
<a href="mailto:OpenStack-Infra@lists.openstack.org" target="_blank">OpenStack-Infra@lists.openstack.org</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-infra" rel="noreferrer" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-infra</a></blockquote></div></div>