<div dir="ltr"><br><div class="gmail_extra"><br><br><div class="gmail_quote">On Mon, Mar 17, 2014 at 12:25 PM, Sean Dague <span dir="ltr"><<a href="mailto:sean@dague.net" target="_blank">sean@dague.net</a>></span> wrote:<br>

<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="">On 03/17/2014 03:22 PM, Joe Gordon wrote:<br>
><br>
><br>
><br>
> On Mon, Mar 17, 2014 at 11:55 AM, Matthew Treinish <<a href="mailto:mtreinish@kortar.org">mtreinish@kortar.org</a><br>
</div><div><div class="h5">> <mailto:<a href="mailto:mtreinish@kortar.org">mtreinish@kortar.org</a>>> wrote:<br>
><br>
>     Hi everyone,<br>
><br>
>     So a little while ago we noticed that in all the gate runs one of<br>
>     the ceilometer<br>
>     cli tests is consistently in the list of slowest tests. (and often<br>
>     the slowest)<br>
>     This was a bit surprising given the nature of the cli tests we<br>
>     expect them to<br>
>     execute very quickly.<br>
><br>
>     test_ceilometer_resource_list which just calls ceilometer<br>
>     resource_list from the<br>
>     CLI once is taking >=2 min to respond. For example:<br>
>     <a href="http://logs.openstack.org/68/80168/3/gate/gate-tempest-dsvm-postgres-full/07ab7f5/logs/tempest.txt.gz#_2014-03-17_17_08_25_003" target="_blank">http://logs.openstack.org/68/80168/3/gate/gate-tempest-dsvm-postgres-full/07ab7f5/logs/tempest.txt.gz#_2014-03-17_17_08_25_003</a><br>


>     (where it takes > 3min)<br>
><br>
>     The cli tests are supposed to be quick read-only sanity checks of<br>
>     the cli<br>
>     functionality and really shouldn't ever be on the list of slowest<br>
>     tests for a<br>
>     gate run. I think there was possibly a performance regression<br>
>     recently in<br>
>     ceilometer because from I can tell this test used to normally take<br>
>     ~60 sec.<br>
>     (which honestly is probably too slow for a cli test too) but it is<br>
>     currently<br>
>     much slower than that.<br>
><br>
><br>
> Sounds like we should add another round of sanity checking to the CLI<br>
> tests: make sure all commands return within x seconds.   As a first pass<br>
> we can say x=60 and than crank it down in the future.<br>
<br>
</div></div>So, the last thing I want to do is trigger a race here by us<br>
artificially timing out on tests. However I do think cli tests should be<br>
returning in < 2s otherwise they are not simple readonly tests.<br></blockquote><div><br></div><div>Agreed, I said 60 just as a starting point.</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">


<span class="HOEnZb"><font color="#888888"><br>
        -Sean<br>
<br>
--<br>
Sean Dague<br>
Samsung Research America<br>
<a href="mailto:sean@dague.net">sean@dague.net</a> / <a href="mailto:sean.dague@samsung.com">sean.dague@samsung.com</a><br>
<a href="http://dague.net" target="_blank">http://dague.net</a><br>
<br>
</font></span><br>_______________________________________________<br>
OpenStack-dev mailing list<br>
<a href="mailto:OpenStack-dev@lists.openstack.org">OpenStack-dev@lists.openstack.org</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
<br></blockquote></div><br></div></div>