<div dir="ltr"><div><div><div>For those interested we now have a minimal way to reproduce the MessagingTimeout in Mistral.<br><br>    <a href="https://bugs.launchpad.net/mistral/+bug/1624284">https://bugs.launchpad.net/mistral/+bug/1624284</a><br><br></div>It seems to be related to this change in Mistral:<br><br>    <a href="https://github.com/openstack/mistral/commit/1b0f0cddd620a3785017bb28d432cb0030b627d7">https://github.com/openstack/mistral/commit/1b0f0cddd620a3785017bb28d432cb0030b627d7</a><br><br></div>And even more specifically, this line:<br><br>    <a href="https://github.com/openstack/mistral/commit/1b0f0cddd620a3785017bb28d432cb0030b627d7#diff-fa1c08d9053a1e6736fb8ac64e51d1ab">https://github.com/openstack/mistral/commit/1b0f0cddd620a3785017bb28d432cb0030b627d7#diff-fa1c08d9053a1e6736fb8ac64e51d1ab</a><br><br>Thomas Herve managed to work around it by changing the executor.<br></div><div><br><div><div><div><div><div><div class="gmail_extra"><br><div class="gmail_quote">On 16 September 2016 at 01:19, Emilien Macchi <span dir="ltr"><<a href="mailto:emilien@redhat.com" target="_blank">emilien@redhat.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">So here's an update about current situation:<br>
<br>
Master / Newton<br>
gate-tripleo-ci-centos-7-ovb-<wbr>nonha<br>
gate-tripleo-ci-centos-7-ovb-<wbr>ha<br>
The 2 jobs are supposed to pass, but some jobs are timing out in RH1 cloud.<br>
In order to reduce the timeouts, Ben ran:<br>
heat-manage purge_deleted 3<br>
nova-manage db archive_deleted_rows --verbose --max_rows 1000000<br>
sudo mysqlcheck -o -A<br>
<br>
gate-tripleo-ci-centos-7-<wbr>nonha-multinode<br>
We merged the revert: <a href="https://review.openstack.org/#/c/370250/" rel="noreferrer" target="_blank">https://review.openstack.org/#<wbr>/c/370250/</a><br>
At the time I'm writing this email, the job is still non-voting:<br>
<a href="https://review.openstack.org/#/c/371133/" rel="noreferrer" target="_blank">https://review.openstack.org/#<wbr>/c/371133/</a><br>
But hopefully Infra will merge this patch soon to bring it back in the gate.<br>
<br>
<br>
stable/mitaka and stable/liberty<br>
gate-tripleo-ci-centos-7-ovb-<wbr>nonha works fine.<br>
gate-tripleo-ci-centos-7-ovb-<wbr>ha is broken because Galera was updated<br>
in EPEL (and TripleO Mitaka still deploys EPEL).<br>
I have 2 patches in order to fix the situation:<br>
1) Fix Galera configuration to work with recent EPEL (kudos to Damien<br>
for his help): <a href="https://review.openstack.org/#/c/371029/" rel="noreferrer" target="_blank">https://review.openstack.org/#<wbr>/c/371029/</a><br>
2) (not required but good to have) Disable EPEL in tripleoclient<br>
<a href="https://review.openstack.org/#/c/369559/" rel="noreferrer" target="_blank">https://review.openstack.org/#<wbr>/c/369559/</a> - I would understand if<br>
people -1 this patch and I have no strong opinion about it.<br>
<br>
I hope 1) will pass CI so we can just move forward.<br>
<br>
It's end of day for me but if someone can monitor<br>
<a href="http://tripleo.org/cistatus.html" rel="noreferrer" target="_blank">http://tripleo.org/cistatus.<wbr>html</a> during Friday morning and make sure<br>
everything it still running fine, we would appreciate it. Also please<br>
report any bug related to CI and set the ci & alert tags.<br>
<br>
Thanks, and let's keep focusing on Newton release!<br>
<div class="gmail-HOEnZb"><div class="gmail-h5"><br>
On Thu, Sep 15, 2016 at 11:26 AM, Emilien Macchi <<a href="mailto:emilien@redhat.com">emilien@redhat.com</a>> wrote:<br>
> On Wed, Sep 14, 2016 at 10:13 PM, Emilien Macchi <<a href="mailto:emilien@redhat.com">emilien@redhat.com</a>> wrote:<br>
>> Hi,<br>
>><br>
>> Just a heads-up before end of day:<br>
>><br>
>> 1) multinode job is failing 80% of time. James and myself did some<br>
>> attempts to revert or fix things but we have been unfortunate until<br>
>> now.<br>
>> Everything is documented here: <a href="https://bugs.launchpad.net/tripleo/+bug/1623606" rel="noreferrer" target="_blank">https://bugs.launchpad.net/<wbr>tripleo/+bug/1623606</a><br>
><br>
> We found out that <a href="https://review.openstack.org/#/c/368760/" rel="noreferrer" target="_blank">https://review.openstack.org/#<wbr>/c/368760/</a> is breaking<br>
> us, so we will revert it and work on it again later.<br>
><br>
>> 2) ovb jobs are timeing out during NetworkDeployment because<br>
>> 99-refresh-completed is not signaling to Heat due to instance-id being<br>
>> detected as null by os-apply-config.<br>
>> James proposed a revert: <a href="https://review.openstack.org/#/c/370250/" rel="noreferrer" target="_blank">https://review.openstack.org/#<wbr>/c/370250/</a><br>
>> But the patch can't be merged because of 1).<br>
><br>
> We are going to merge James's revert, we think it will bring back OVB jobs.<br>
><br>
> To merge the reverts, we need to disable voting on multinode jobs:<br>
> <a href="https://review.openstack.org/#/c/370922/" rel="noreferrer" target="_blank">https://review.openstack.org/#<wbr>/c/370922/</a><br>
><br>
> Please do not merge anything today (except the 2 reverts) until our<br>
> situation becomes more stable. Probably tonight or tomorrow.<br>
> Once situation is better, I or someone else in the team will give an<br>
> update here.<br>
><br>
> Thanks for your understanding,<br>
><br>
>> I'll continue to work on it tomorrow but if you're able to jump in and<br>
>> make progress on it, this downtime is very critical at this stage of<br>
>> the cycle.<br>
>><br>
>> Any help is highly welcome.<br>
>><br>
>> Thanks,<br>
>> --<br>
>> Emilien Macchi<br>
><br>
><br>
><br>
> --<br>
> Emilien Macchi<br>
<br>
<br>
<br>
--<br>
Emilien Macchi<br>
<br>
______________________________<wbr>______________________________<wbr>______________<br>
OpenStack Development Mailing List (not for usage questions)<br>
Unsubscribe: <a href="http://OpenStack-dev-request@lists.openstack.org?subject:unsubscribe" rel="noreferrer" target="_blank">OpenStack-dev-request@lists.<wbr>openstack.org?subject:<wbr>unsubscribe</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" rel="noreferrer" target="_blank">http://lists.openstack.org/<wbr>cgi-bin/mailman/listinfo/<wbr>openstack-dev</a><br>
</div></div></blockquote></div><br></div></div></div></div></div></div></div></div>