<p dir="ltr">Stefano, I will continue to push for a consultant to analyse the results. I cannot attempt to predict what that will show. Maybe it will show noise. We can't tell until we look.</p>
<p dir="ltr">If you wish to pursue a different line, I think there is sufficient space for you to carry it forward. </p>
<p dir="ltr">I would also note that no resources have been committed from the community. An analyst has been engaged to work the NPS data. I do not think that precludes any other action on the part of the community or the Foundation. Indeed the Foundation has an increased budget for this sort of thing this year. </p>
<p dir="ltr">Roland</p>
<br><div class="gmail_quote"><div dir="ltr">On Mon, 14 Dec 2015 17:34 Stefano Maffulli <<a href="mailto:stefano@openstack.org">stefano@openstack.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">On 12/13/2015 01:54 PM, Roland Chan wrote:<br>
> This analysis and followup you describe is the normal approach to an NPS<br>
> survey,<br>
<br>
The thing is that the user survey was published in October, you<br>
mentioned the NPS thing over a month ago and meanwhile no analysis has<br>
been done.<br>
<br>
[...] I don't see that<br>
> responding to the verbatim responses and analysing the NPS score are<br>
> mutually exclusive, particularly since we have to outsource the<br>
> analysis, and it does not distract us in the slightest.<br>
<br>
They are mutually exclusive when you have limited resources and<br>
volunteers as in this group. It should be enough proof to look at how<br>
this group has focused on looking at the score itself and not at the<br>
actions to follow up. How else do you explain that he NPS was first<br>
introduced in May and then repeated in October, but nobody has brought<br>
up following up to respondents?<br>
<br>
> The analysis I've requested is to attempt to draw correlations between<br>
> high/low/medium scores and other factors. As you point out, it could be<br>
> particular vendors (or in fact use of any vendor) that is driving a<br>
> scores higher or lower. It could also be any number of other things.<br>
<br>
Feel free to have fun slicing and dicing a number meant for a different<br>
"industry". I just would like people to be aware that there are better<br>
things to do and that are not being done.<br>
<br>
> Whilst we do have heaps of anecdotal evidence that can guide us, one<br>
> thing anecdotal evidence isn't good for is identifying trends and<br>
> progress over time. In any NPS driven program it is critical to listen<br>
> to the verbatim comments as they can provide important direction.<br>
<br>
you're not addressing my criticism to NPS applied to a collaboration<br>
effort that has a widely diverse kind of customers (from DIY operators<br>
to students to app developers...) and a very different kind of "product"<br>
released every 6 months. You tell me how you think you can identify<br>
trends in this environment, how much effort this will take (time and<br>
expertise), what the outcome will be. I'm still convinced that it's<br>
better to dedicate time and resource to readily actionable tasks.<br>
<br>
/stef<br>
<br>
_______________________________________________<br>
User-committee mailing list<br>
<a href="mailto:User-committee@lists.openstack.org" target="_blank">User-committee@lists.openstack.org</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/user-committee" rel="noreferrer" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/user-committee</a><br>
</blockquote></div>