<div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote">On 29 September 2015 at 08:28, Chris Hoge <span dir="ltr"><<a href="mailto:chris@openstack.org" target="_blank">chris@openstack.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div style="word-wrap:break-word"><span class="">On Sep 29, 2015, at 8:04 AM, Erlon Cruz <<a href="mailto:sombrafam@gmail.com" target="_blank">sombrafam@gmail.com</a>> wrote:<br></span><div><div><span class=""><blockquote type="cite"><br><div><div dir="ltr"><div><div><div><div><div>Hi Cris,<br><br></div>There are some questions that came to my mind.<br><br>Cinder has near zero tolerance to backends that does not have a CI running. So, can one assume that all drivers in Cinder will have the "OpenStack Compatible" seal?<br></div></div></div></div></div></div></blockquote><div><br></div></span><div>One of the reasons we started with Cinder was because they have</div><div>have an existing program that is well maintained. Any driver passing</div><div>CI becomes eligible for the "OpenStack Compatible” mark. It’s not</div><div>automatic, and still needs a signed agreement with the Foundation. </div></div></div></div></blockquote><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div style="word-wrap:break-word"><div><div><span class=""><div><br></div><blockquote type="cite"><div><div dir="ltr"><div><div><div>When you say that the driver have to 'pass' the integration tests, what tests do you consider? All tests in tempest? All patches? Do you have any criteria to determine if a backend is passing or not?<br></div></div></div></div></div></blockquote><div><br></div></span><div>We’re letting the project drive what tests need to be passed. So,</div><div>taking a look at this dashboard[1] (it’s one of many that monitor</div><div>our test systems) the drivers are running the dsvm-tempest-full</div><div>tests. One of the things that the tests exercise, and we’re interested</div><div>in from the driver standpoint, are both the user-facing Cinder APIs</div><div>as well as the driver-facing APIs.</div></div></div></div></blockquote><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div style="word-wrap:break-word"><div><div><div><br></div><div>For Neutron, which we would like to help roll out in the coming year,</div><div>this would be a CI run that is defined by the Neutron development</div><div>team. We have no interest in dictating to the developers what should</div><div>be run. Instead, we want to adopt what the community considers</div><div>to be the best-practices and standards for drivers.</div></div></div></div></blockquote><div><br></div><div>We've experienced that tracking the CI's outcome on a per-commit basis can only lead to insanity, at least as far as Neutron is concerned.</div><div><br></div><div>I have been mulling over the idea (I am sure I am not the only one) that compliance should be sought and validated at specific milestones of interest (when the stable branch is cut? When the milestone RC is ready? etc). We can then collect the outcome of all the CI's reporting back, vetting the output, verifying who is bogus and who isn't etc. The post-processing will inevitably require some degree of manual intervention. We can also ask for those results to be persistent for longer.</div><div><br></div><div>Is it something that would be acceptable?</div><div><br></div><div>Obviously the first step for us, Neutron, is to come up with a testing suite(s) that's representative of all the various flavors of support that a networking solution can provide when it claims to be integrated with Neutron.</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div style="word-wrap:break-word"><div><div><span class=""><div><br></div><blockquote type="cite"><div><div dir="ltr"><div><div>About this "OpenStack Compatible" flag, how does it work? Will you hold a list with the Compatible vendors? Is anything a vendor need to to in order to use this?<br></div></div></div></div></blockquote><div><br></div></span><div>“OpenStack Compatible” is one of the trademark programs that is</div><div>administered by the Foundation. A company that want to apply the</div><div>OpenStack logo to their product needs to sign a licensing agreement,</div><div>which gives them the right to use the logo in their marketing materials.</div><div><br></div><div>We also create an entry in the OpenStack Marketplace for their</div><div>product, which has information about the company and the product, but</div><div>also information about tests that the product may have passed. The</div><div>best example I can give right now is with the “OpenStack Powered”</div><div>program, where we display which Defcore guideline a product has</div><div>successfully passed[2].</div><div><br></div><div><div>Chris</div><div><br></div><div>[1] <a href="http://ci-watch.tintri.com/project?project=cinder&time=24+hours" target="_blank">http://ci-watch.tintri.com/project?project=cinder&time=24+hours</a></div><div>[2] For example: <a href="http://www.openstack.org/marketplace/public-clouds/unitedstack/uos-cloud" target="_blank">http://www.openstack.org/marketplace/public-clouds/unitedstack/uos-cloud</a></div></div><div><div class="h5"><br><blockquote type="cite"><div><div dir="ltr"><div>Thanks,<br></div>Erlon<br></div><div class="gmail_extra"><br><div class="gmail_quote">On Mon, Sep 28, 2015 at 5:55 PM, Kyle Mestery <span dir="ltr"><<a href="mailto:mestery@mestery.com" target="_blank">mestery@mestery.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div dir="ltr">The Neutron team also discussed this in Vancouver, you can see the etherpad here [1]. We talked about the idea of creating a validation suite, and it sounds like that's something we should again discuss in Tokyo for the Mitaka cycle. I think a validation suite would be a great step forward for Neutron third-party CI systems to use to validate they work with a release.<br><br>[1] <a href="https://etherpad.openstack.org/p/YVR-neutron-third-party-ci-liberty" target="_blank">https://etherpad.openstack.org/p/YVR-neutron-third-party-ci-liberty</a><br></div><div><div><div class="gmail_extra"><br><div class="gmail_quote">On Sun, Sep 27, 2015 at 11:39 AM, Armando M. <span dir="ltr"><<a href="mailto:armamig@gmail.com" target="_blank">armamig@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote"><div><div>On 25 September 2015 at 15:40, Chris Hoge <span dir="ltr"><<a href="mailto:chris@openstack.org" target="_blank">chris@openstack.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">In November, the OpenStack Foundation will start requiring vendors requesting<br>
new "OpenStack Compatible" storage driver licenses to start passing the Cinder<br>
third-party integration tests. </blockquote><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">The new program was approved by the Board at<br>
the July meeting in Austin and follows the improvement of the testing standards<br>
and technical requirements for the "OpenStack Powered" program. This is all<br>
part of the effort of the Foundation to use the OpenStack brand to guarantee a<br>
base-level of interoperability and consistency for OpenStack users and to<br>
protect the work of our community of developers by applying a trademark backed<br>
by their technical efforts.<br>
<br>
The Cinder driver testing is the first step of a larger effort to apply<br>
community determined standards to the Foundation marketing programs. We're<br>
starting with Cinder because it has a successful testing program in place, and<br>
we have plans to extend the program to network drivers and OpenStack<br>
applications. We're going require CI testing for new "OpenStack Compatible"<br>
storage licenses starting on November 1, and plan to roll out network and<br>
application testing in 2016.<br>
<br>
One of our goals is to work with project leaders and developers to help us<br>
define and implement these test programs. The standards for third-party<br>
drivers and applications should be determined by the developers and users<br>
in our community, who are experts in how to maintain the quality of the<br>
ecosystem.<br>
<br>
We welcome and feedback on this program, and are also happy to answer any<br>
questions you might have.<br></blockquote><div><br></div></div></div><div>Thanks for spearheading this effort.</div><div><br></div><div>Do you have more information/pointers about the program, and how Cinder in particular is </div><div>paving the way for other projects to follow?</div><div><br></div><div>Thanks,</div><div>Armando</div><span><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">
<br>
Thanks!<br>
<span><font color="#888888"><br>
Chris Hoge<br>
Interop Engineer<br>
OpenStack Foundation<br>
__________________________________________________________________________<br>
OpenStack Development Mailing List (not for usage questions)<br>
Unsubscribe: <a href="http://OpenStack-dev-request@lists.openstack.org/?subject:unsubscribe" rel="noreferrer" target="_blank">OpenStack-dev-request@lists.openstack.org?subject:unsubscribe</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" rel="noreferrer" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
</font></span></blockquote></span></div><br></div></div>
<br>__________________________________________________________________________<br>
OpenStack Development Mailing List (not for usage questions)<br>
Unsubscribe: <a href="http://OpenStack-dev-request@lists.openstack.org/?subject:unsubscribe" rel="noreferrer" target="_blank">OpenStack-dev-request@lists.openstack.org?subject:unsubscribe</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" rel="noreferrer" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
<br></blockquote></div><br></div>
</div></div><br>__________________________________________________________________________<br>
OpenStack Development Mailing List (not for usage questions)<br>
Unsubscribe: <a href="http://OpenStack-dev-request@lists.openstack.org/?subject:unsubscribe" rel="noreferrer" target="_blank">OpenStack-dev-request@lists.openstack.org?subject:unsubscribe</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" rel="noreferrer" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
<br></blockquote></div><br></div>
__________________________________________________________________________<br>OpenStack Development Mailing List (not for usage questions)<br>Unsubscribe: <a href="mailto:OpenStack-dev-request@lists.openstack.org" target="_blank">OpenStack-dev-request@lists.openstack.org</a>?subject:unsubscribe<br><a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br></div></blockquote></div></div></div><br></div></div><br>__________________________________________________________________________<br>
OpenStack Development Mailing List (not for usage questions)<br>
Unsubscribe: <a href="http://OpenStack-dev-request@lists.openstack.org?subject:unsubscribe" rel="noreferrer" target="_blank">OpenStack-dev-request@lists.openstack.org?subject:unsubscribe</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" rel="noreferrer" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
<br></blockquote></div><br></div></div>