<div dir="ltr">Hi Mike,<div><br></div><div>Thank you very much for this update!</div><div><br></div><div>I reviewed these failures, there are a few things going on:</div><div><br></div><div>1. A chunk of those items are starting from yesterday morning (June 11, PST) when we were doing some migration of CI environments during which we had some issues, hence a few quick failures. In the future we will be smarter about minimizing failures when changing CI infrastructure.</div><div><br></div><div>2. We were seeing many ssh timeouts in the days before that, and after the migration (hardware reorganization, which we are still scrambling over) we ended up having that timeout hit again, until we figured out some virtual network interface driver optimization for our hypervisor and it seems more stable now. We are also adding in SSDs as we speak, and tweaking the environment to further optimize. It seems to be running a lot better already, and there were a few recent successful runs.</div><div><br></div><div>3. During our migration, a certain tweak to the NEDGE backend was lost (increasing of internal timeout) which is a tweak that highly improved success rate during a working test run (as opposed to the many 6min failures caused by our CI infrastructure rather than the backend.) We are currently also scrambling over backend hardware too, and may not need that tweak in the future, but I just recently put it back in and it looks like those internal timeouts are gone again.</div><div><br></div><div>So to summarize, a lot of these failures are due to our CI infrastructure issues and non-backend related, many of the failures before today's morning are <6min failures caused by ssh timeout to the instance where the backend was untouched. Now there do exist some issues with the backend itself, but they are minor, and we are working through them by improving backend hardware as well as continued effort on NexentaEdge source code.</div><div><br></div><div>Finally we are doing our best to give timely responses to comments and questions. The Nexenta Edge review was updated with new driver changes based on comments from today, and all other questions, comments and suggestions are very welcomed and highly appreciated!</div><div><br></div><div>Thanks again</div><div><br></div><div>--</div><div>Zohar</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Fri, Jun 12, 2015 at 9:27 AM, Mike Perez <span dir="ltr"><<a href="mailto:thingee@gmail.com" target="_blank">thingee@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">This just today:<br>
<br>
<a href="https://review.openstack.org/#/c/190677/" rel="noreferrer" target="_blank">https://review.openstack.org/#/c/190677/</a> failed<br>
<a href="https://review.openstack.org/#/c/190725/" rel="noreferrer" target="_blank">https://review.openstack.org/#/c/190725/</a> failed<br>
<a href="https://review.openstack.org/#/c/187624/" rel="noreferrer" target="_blank">https://review.openstack.org/#/c/187624/</a> failed<br>
<a href="https://review.openstack.org/#/c/190169/" rel="noreferrer" target="_blank">https://review.openstack.org/#/c/190169/</a> failed<br>
<a href="https://review.openstack.org/#/c/189135/" rel="noreferrer" target="_blank">https://review.openstack.org/#/c/189135/</a> failed<br>
<a href="https://review.openstack.org/#/c/185906/" rel="noreferrer" target="_blank">https://review.openstack.org/#/c/185906/</a> failed<br>
<a href="https://review.openstack.org/#/c/190173/" rel="noreferrer" target="_blank">https://review.openstack.org/#/c/190173/</a> failed<br>
<a href="https://review.openstack.org/#/c/186580/" rel="noreferrer" target="_blank">https://review.openstack.org/#/c/186580/</a> failed<br>
<a href="https://review.openstack.org/#/c/189517/" rel="noreferrer" target="_blank">https://review.openstack.org/#/c/189517/</a> failed<br>
<a href="https://review.openstack.org/#/c/185545/" rel="noreferrer" target="_blank">https://review.openstack.org/#/c/185545/</a> failed<br>
<a href="https://review.openstack.org/#/c/184596/" rel="noreferrer" target="_blank">https://review.openstack.org/#/c/184596/</a> failed<br>
<a href="https://review.openstack.org/#/c/182985/" rel="noreferrer" target="_blank">https://review.openstack.org/#/c/182985/</a> failed<br>
<a href="https://review.openstack.org/#/c/189720/" rel="noreferrer" target="_blank">https://review.openstack.org/#/c/189720/</a> failed<br>
<a href="https://review.openstack.org/#/c/188649/" rel="noreferrer" target="_blank">https://review.openstack.org/#/c/188649/</a> failed<br>
<a href="https://review.openstack.org/#/c/178573/" rel="noreferrer" target="_blank">https://review.openstack.org/#/c/178573/</a> failed<br>
<br>
What's going on here, and when will this be corrected. This is<br>
publishing false failures to Cinder patches.<br>
<br>
<br>
--<br>
Mike Perez<br>
</blockquote></div><br></div>