<div dir="ltr"><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small">This analysis and followup you describe is the normal approach to an NPS survey, although I'm not sure whether we (in the broadest sense) can ask questions of particular respondents directly. Questions may have to be routed through the Foundation for privacy reasons. I don't see that responding to the verbatim responses and analysing the NPS score are mutually exclusive, particularly since we have to outsource the analysis, and it does not distract us in the slightest.</div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small">The analysis I've requested is to attempt to draw correlations between high/low/medium scores and other factors. As you point out, it could be particular vendors (or in fact use of any vendor) that is driving a scores higher or lower. It could also be any number of other things.</div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small">Whilst we do have heaps of anecdotal evidence that can guide us, one thing anecdotal evidence isn't good for is identifying trends and progress over time. In any NPS driven program it is critical to listen to the verbatim comments as they can provide important direction. The NPS data also provides useful information when combined with other correlated data, or if the NPS queries are performed after specific interactions (which is something we might want to look at in the medium term).</div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small">In summary: analysis of the performance of OpenStack needs to be both qualitative and quantitative.</div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small"><br></div></div><div class="gmail_extra"><br clear="all"><div><div class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div dir="ltr"><div dir="ltr"><b><font size="2" face="arial, helvetica, sans-serif">Roland Chan</font></b></div><div dir="ltr"><font size="2" face="arial, helvetica, sans-serif"><b>Aptira - Asia Pacific’s leading provider of OpenStack</b></font></div><div dir="ltr"><font size="2" face="arial, helvetica, sans-serif">Direct/mobile: +61 4 28 28 48 58</font></div><div dir="ltr"><font size="2" face="arial, helvetica, sans-serif">General enquiries: +61 2 8030 2333</font></div><div dir="ltr"><font size="2" face="arial, helvetica, sans-serif">Australia toll free: 1800 APTIRA</font></div><div dir="ltr"><font size="2" face="arial, helvetica, sans-serif">Website <a href="http://aptira.com" target="_blank">aptira.com</a></font></div><div dir="ltr"><font size="2" face="arial, helvetica, sans-serif">Twitter @aptira</font></div></div></div></div></div></div></div>
<br><div class="gmail_quote">On 12 December 2015 at 11:07, Stefano Maffulli <span dir="ltr"><<a href="mailto:stefano@openstack.org" target="_blank">stefano@openstack.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span class="">On 12/11/2015 02:31 PM, Lauren Sell wrote:<br>
> When we analyzed the latest user survey data, we looked at a demographic<br>
> variable (user role, e.g. app developer), a firmographic variable (e.g.<br>
> company size), and deployment stage. We learned that overall, there was<br>
> no significant difference in NPS scores for people who identified with a<br>
> specific function, such as app developers, or for companies by size.<br>
</span>[...]<br>
<br>
that's all very clear from the survey report.  I'm still wondering what<br>
this is supposed to mean though: how did the promoters/detractors<br>
acquire 'openstack'? In other words, when they cast the 1-10 vote, what<br>
are they exactly grading, what does openstack mean to them in such<br>
context? Are they grading the open source project or their vendor?<br>
<br>
A much better use of User Committee time would then be to read page<br>
11-12 of the report and discuss those comments, instead of worrying<br>
about a change in a number that has vague origins and is incomparable to<br>
previous editions as you explain below.<br>
<span class=""><br>
> One cause for variance is that unfortunately we’re not comparing apples<br>
> to apples with the trending data in the latest survey report.<br>
</span>[...]<br>
> As a next step*, *the independent analyst plans to draw up<br>
> correlations<br>
[...]<br>
<br>
I think this effort is a huge distraction: we have plenty of anecdotal<br>
evidence from the survey of pain points, and we're using time in the<br>
User Committee and Foundation to slice and dice a number that comes from<br>
vague definitions.<br>
<br>
In fact, I'd like to see more work to follow up with individual<br>
interviews to 'detractors' to get actionable insights. For example, who<br>
is this person saying that "Development   is   happening   at a  rapid<br>
pace, [...]  but ‘productization’  is lagging". What's 'productization',<br>
what exactly would that person like to see? Asking them will give us<br>
more insights and things to do to improve the situation, if really needed.<br>
<br>
Also, I'd like to see more focus on other data we already have from the<br>
contributor and user community: are the quarterly reports with the<br>
efficiency metrics in bugs and code contributions still being produced?<br>
Knowing how fast are bugs being fixed and features added is much more<br>
valuable than stretching an 'industry standard' to an open source project.<br>
<br>
/stef<br>
<div class="HOEnZb"><div class="h5"><br>
_______________________________________________<br>
User-committee mailing list<br>
<a href="mailto:User-committee@lists.openstack.org">User-committee@lists.openstack.org</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/user-committee" rel="noreferrer" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/user-committee</a><br>
</div></div></blockquote></div><br></div>