<div dir="ltr">In recent history, we've been looking each week at stats from <a href="http://russellbryant.net/openstack-stats/tripleo-openreviews.html" target="_blank">http://russellbryant.net/openstack-stats/tripleo-openreviews.html</a> to get a gauge on how our review pipeline is tracking.<div>


<br></div><div>The main stats we've been tracking have been the "since the last revision without -1 or -2". I've included some history at [1], but the summary is that our 3rd quartile has slipped from 13 days to 16 days over the last 4 weeks or so. Our 1st quartile is fairly steady lately, around 1 day (down from 4 a month ago) and median is unchanged around 7 days.</div>


<div><br></div><div>There was lots of discussion in our last meeting about what could be causing this[2]. However, the thing we wanted to bring to the list for the discussion is:</div><div><br></div><div>Are we tracking the right metric? Should we be looking to something else to tell us how well our pipeline is performing?<br>

</div><div><br></div><div>The meeting logs have quite a few suggestions about ways we could tweak the existing metrics, but if we're measuring the wrong thing that's not going to help.<br></div><div><br></div><div>

I think that what we are looking for is a metric that lets us know whether the majority of patches are getting feedback quickly. Maybe there's some other metric that would give us a good indication?</div><div><br></div>

<div>--------</div><div><br></div><div><br></div><div>[1] Current "Stats since the last revision without -1 or -2" :</div><div><div><br></div><div>Average wait time: 10 days, 17 hours, 6 minutes</div><div>1st quartile wait time: 1 days, 1 hours, 36 minutes</div>


<div>Median wait time: 7 days, 5 hours, 33 minutes</div><div>3rd quartile wait time: 16 days, 8 hours, 16 minutes</div></div><div><br></div><div>At last week's meeting we had: 3rd quartile wait time: 15 days, 13 hours, 47 minutes</div>


<div>A week before that: <span style="color:rgb(0,0,0);white-space:pre-wrap">3rd quartile wait time: 13 days, 9 hours, 11 minutes</span></div><div><font color="#000000"><span style="white-space:pre-wrap">The week before that was the mid-cycle, but the week before that:</span></font></div>


<div><font color="#000000"><span style="white-space:pre-wrap"><br></span></font></div><div><font color="#000000"><span style="white-space:pre-wrap"><div>19:53:38 <lifeless> Stats since the last revision without -1 or -2 :</div>


<div>19:53:38 <lifeless> Average wait time: 10 days, 17 hours, 49 minutes</div><div>19:53:38 <lifeless> 1st quartile wait time: 4 days, 7 hours, 57 minutes</div><div>19:53:38 <lifeless> Median wait time: 7 days, 10 hours, 52 minutes</div>


<div>19:53:40 <lifeless> 3rd quartile wait time: 13 days, 13 hours, 25 minutes</div><div><br></div><div>[2] <span style="color:rgb(34,34,34)">Some of the things suggested as potential causes of the long 3rd median times:</span></div>


</span></font><div><br></div><div>* We have small number of really old reviews that have only positive scores but aren't being landed</div><div>* Some reviews get a -1 but then sit for a long time waiting for the author to reply</div>


<div>* We have some really old reviews that suddenly get revived after a long period being in WIP or abandoned, which reviewstats seems to miscount</div><div>* Reviewstats counts weekends, we don't (so a change that gets pushed at 5pm US Friday and gets reviewed at 9am Aus Monday would be seen by us as having no wait time, but by reviewstats as ~36 hours)</div>


</div><div><br></div></div>