<div dir="ltr"><div>Hi Mike,</div><div><br></div><div>The majority of the CIs don't run all 304 tests mostly because of these tempest problems. I remember there was a list in the Thirdparty CI Wiki with the common tests that used to fails to everyone, or at least most of people.  IMO its better to have a more consistent CI than CIs with full coverage giving lots of false negatives. Don't how much of the tests from that list are fixed on tempest but we should bring that list up again and reconsider to have the list of 'known to fail' tests.</div><div><br></div><div>Our HBSD drivers are only running 211 because we remove the snapshots tests that were failing due a  patch that broken our driver.</div><div><br></div><div class="gmail_extra"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div class=""><div><br></div></div></blockquote></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Mar 26, 2015 at 2:21 PM, Mike Perez <span dir="ltr"><<a href="mailto:thingee@gmail.com" target="_blank">thingee@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span class="">On 09:39 Thu 26 Mar     , Mike Perez wrote:<br>
> As discussed in the last Cinder meeting [1], in order to have your volume<br>
> driver readded into the Kilo release, you must have a CI reporting and stable<br>
> for five days prior to 4/6.<br>
><br>
> This includes:<br>
><br>
> 1) Providing logs to screen sessions, etc configs, tempest output [2].<br>
> 2) You should be running around 304 tests if you're following instructions from<br>
>    the Cinder third party wiki [3]. If you're running less than that, your CI<br>
>    will be *NOT* be considered satisfactory for skipping tests.<br>
><br>
> I will also be emailing individuals who have already asked for exceptions, just<br>
> to make sure communication was clear.<br>
><br>
><br>
> [1] - <a href="http://eavesdrop.openstack.org/meetings/cinder/2015/cinder.2015-03-25-16.00.log.html#l-173" target="_blank">http://eavesdrop.openstack.org/meetings/cinder/2015/cinder.2015-03-25-16.00.log.html#l-173</a><br>
> [2] - <a href="http://ci.openstack.org/third_party.html#requirements" target="_blank">http://ci.openstack.org/third_party.html#requirements</a><br>
> [3] - <a href="https://wiki.openstack.org/wiki/Cinder/tested-3rdParty-drivers#What_tests_do_I_use.3F" target="_blank">https://wiki.openstack.org/wiki/Cinder/tested-3rdParty-drivers#What_tests_do_I_use.3F</a><br>
<br>
</span>The current CI's not meeting the second requirement:<br>
<br>
* Cloudbyte<br>
* Dell EQL<br>
* Dell SC FC<br>
* Dell SC ISCSI<br>
* EMC VMAX FC<br>
* EMC VMX ISCSI<br>
* EMC VNX FC<br>
* EMC VNX ISCSI<br>
* EMC XIO FC<br>
* EMC XIO ISCSI<br>
* HDS NFS<br>
* HDS NAS<br>
* Hitachi HBSD FC<br>
* Hitach HBSD ISCSI<br>
* IBM Flash Systems FC<br>
* IBM Flash Systems ISCSI<br>
* IBM NAS<br>
* IBM XIV (couldn't find tempest results to verify)<br>
* IBM Storwize FC<br>
* IBM Storwize ISCSI<br>
* Nimble<br>
* OpenVStorage<br>
* Quobyte<br>
* XIO FC<br>
* XIO ISCSI<br>
* Vmware<br>
<br>
Pretty sure this is because the previous instructions in the wiki were<br>
incorrect and are now corrected [1]. This is not the fault of the CI<br>
maintainers. As mentioned, individual emails are being sent out to get this all<br>
sorted.<br>
<br>
<br>
[1] - <a href="https://wiki.openstack.org/wiki/Cinder/tested-3rdParty-drivers#What_tests_do_I_use.3F" target="_blank">https://wiki.openstack.org/wiki/Cinder/tested-3rdParty-drivers#What_tests_do_I_use.3F</a><br>
<div class="HOEnZb"><div class="h5"><br>
--<br>
Mike Perez<br>
<br>
__________________________________________________________________________<br>
OpenStack Development Mailing List (not for usage questions)<br>
Unsubscribe: <a href="http://OpenStack-dev-request@lists.openstack.org?subject:unsubscribe" target="_blank">OpenStack-dev-request@lists.openstack.org?subject:unsubscribe</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
</div></div></blockquote></div><br></div></div>