<html><head><meta http-equiv="Content-Type" content="text/html charset=utf-8"></head><body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;" class=""><br class=""><div><blockquote type="cite" class=""><div class="">On Feb 5, 2016, at 9:54 AM, Tim Bell <<a href="mailto:Tim.Bell@cern.ch" class="">Tim.Bell@cern.ch</a>> wrote:</div><br class="Apple-interchange-newline"><div class=""><div style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space; font-size: 14px; font-family: Calibri, sans-serif;" class=""><div class=""><div class=""><div class="">...</div></div></div><span id="OLK_SRC_BODY_SECTION" class=""><div class=""><br class=""></div><blockquote id="MAC_OUTLOOK_ATTRIBUTION_BLOCKQUOTE" style="BORDER-LEFT: #b5c4df 5 solid; PADDING:0 0 0 5; MARGIN:0 0 0 5;" class="" type="cite"><div class=""><meta http-equiv="Content-Type" content="text/html; charset=utf-8" class=""><div dir="auto" class=""><div class="">On "production-grade":</div><div class=""><br class=""></div><div class="">I'd be (strongly) in favor of defining a target deployment configuration and size which we find representative of the minimum bar for "production-grade." Anything less concrete and specific becomes more nuisance than help. I'd hope that specs might look
 like the following:</div><div class=""><br class=""></div><div class="">- tests must be run against an OpenStack-certified cloud containing at minimum 20 compute nodes, 1 TB block storage, 1 TB object storage</div><div class="">- tests must demonstrate service responsiveness, stability, and reliability while VMs, compute volumes, object store objects, and networks are created/destroyed at a rate of 50/second in any combination while maintaining 99.9%+ service availability, <1%
 error rate, and response latency of <100ms  </div><div class="">- tests must demonstrate service resiliency when faced with common component failures such as: compute node failure, storage failure, network failure, etc.</div></div></div></blockquote></span><div class=""><br class=""></div><div class="">The scale could be defined on the basis of the survey data. The reference implementation should be able to address at least X% of deployments. I can think of at least one project which was not suitable for use at a reasonable size configuration and not being able to demonstrate this would have saved a lot of grief in the ops community as well as ensuring the project addressed the issue early.</div></div></div></blockquote><div><br class=""></div>+1 and I can think of more than one. =\</div><div><br class=""></div><div>—j</div><div><br class=""></div></body></html>