<div dir="ltr">Hi,<div>Still having timeouts but now in tripleo-heat-templates experimental gates (tripleo-ci-centos-7-ovb-fakeha-caserver and tripleo-ci-centos-7-ovb-ha-tempest-oooq).</div><div><br></div><div>see examples:</div><div><a href="http://logs.openstack.org/31/518331/23/experimental-tripleo/tripleo-ci-centos-7-ovb-fakeha-caserver/7502e82/">http://logs.openstack.org/31/518331/23/experimental-tripleo/tripleo-ci-centos-7-ovb-fakeha-caserver/7502e82/</a><br></div><div><a href="http://logs.openstack.org/31/518331/23/experimental-tripleo/tripleo-ci-centos-7-ovb-ha-tempest-oooq/46e8e0d/">http://logs.openstack.org/31/518331/23/experimental-tripleo/tripleo-ci-centos-7-ovb-ha-tempest-oooq/46e8e0d/</a><br></div><div><br></div><div>Anyone have an idea what we can do to fix it?</div><div><br></div><div>Thanks,</div><div>Idgar</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Sat, Jan 20, 2018 at 4:38 AM, Paul Belanger <span dir="ltr"><<a href="mailto:pabelanger@redhat.com" target="_blank">pabelanger@redhat.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="HOEnZb"><div class="h5">On Fri, Jan 19, 2018 at 11:23:45AM -0600, Ben Nemec wrote:<br>
><br>
><br>
> On 01/18/2018 09:45 AM, Emilien Macchi wrote:<br>
> > On Thu, Jan 18, 2018 at 6:34 AM, Or Idgar <<a href="mailto:oidgar@redhat.com">oidgar@redhat.com</a>> wrote:<br>
> > > Hi,<br>
> > > we're encountering many timeouts for zuul gates in TripleO.<br>
> > > For example, see<br>
> > > <a href="http://logs.openstack.org/95/508195/28/check-tripleo/tripleo-ci-centos-7-ovb-ha-oooq/c85fcb7/" rel="noreferrer" target="_blank">http://logs.openstack.org/95/<wbr>508195/28/check-tripleo/<wbr>tripleo-ci-centos-7-ovb-ha-<wbr>oooq/c85fcb7/</a>.<br>
> > ><br>
> > > rechecks won't help and sometimes specific gate is end successfully and<br>
> > > sometimes not.<br>
> > > The problem is that after recheck it's not always the same gate which is<br>
> > > failed.<br>
> > ><br>
> > > Is there someone who have access to the servers load to see what cause this?<br>
> > > alternatively, is there something we can do in order to reduce the running<br>
> > > time for each gate?<br>
> ><br>
> > We're migrating to RDO Cloud for OVB jobs:<br>
> > <a href="https://review.openstack.org/#/c/526481/" rel="noreferrer" target="_blank">https://review.openstack.org/#<wbr>/c/526481/</a><br>
> > It's a work in progress but will help a lot for OVB timeouts on RH1.<br>
> ><br>
> > I'll let the CI folks comment on that topic.<br>
> ><br>
><br>
> I noticed that the timeouts on rh1 have been especially bad as of late so I<br>
> did a little testing and found that it did seem to be running more slowly<br>
> than it should.  After some investigation I found that 6 of our compute<br>
> nodes have warning messages that the cpu was throttled due to high<br>
> temperature.  I've disabled 4 of them that had a lot of warnings. The other<br>
> 2 only had a handful of warnings so I'm hopeful we can leave them active<br>
> without affecting job performance too much.  It won't accomplish much if we<br>
> disable the overheating nodes only to overload the remaining ones.<br>
><br>
> I'll follow up with our hardware people and see if we can determine why<br>
> these specific nodes are overheating.  They seem to be running 20 degrees C<br>
> hotter than the rest of the nodes.<br>
><br>
</div></div>Did tripleo-test-cloud-rh1 get new kernels applied for meltdown / spectre,<br>
possible that is impacting performance too?<br>
<span class="HOEnZb"><font color="#888888"><br>
-Paul<br>
</font></span><div class="HOEnZb"><div class="h5"><br>
______________________________<wbr>______________________________<wbr>______________<br>
OpenStack Development Mailing List (not for usage questions)<br>
Unsubscribe: <a href="http://OpenStack-dev-request@lists.openstack.org?subject:unsubscribe" rel="noreferrer" target="_blank">OpenStack-dev-request@lists.<wbr>openstack.org?subject:<wbr>unsubscribe</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" rel="noreferrer" target="_blank">http://lists.openstack.org/<wbr>cgi-bin/mailman/listinfo/<wbr>openstack-dev</a><br>
</div></div></blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div>Best regards,</div>Or Idgar</div></div>
</div>