<div dir="ltr">I'm not sure if (3) was the thing we agreed upon (and if it will help us to detect issues in Horizon) but the rest of options definitely make sense to me.<div><br></div><div>Also there is </div><div><br></div><div>5. Parallelize integration tests.</div></div><br><div class="gmail_quote"><div dir="ltr">On Wed, Jul 20, 2016 at 4:28 PM Richard Jones <<a href="mailto:r1chardj0n3s@gmail.com">r1chardj0n3s@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Hi folks,<div><br></div><div>Sorry I didn't make the meeting this morning :-(</div><div><br></div><div>We touched on testing at the mid-cycle and again it came up in the meeting this morning. We identified two issues:</div><div><br></div><div>1. Our integration test suite cannot grow to too many more tests because they take too long to run (and get auto-killed). We could increase the amount of time allowed for them, but we agreed that we shouldn't do this.</div><div>2. We don't have enough higher-level (integration leve) test coverage for our newer angular interfaces.</div><div><br></div><div>These two are obviously at odds :-)</div><div><br></div><div>What we agreed on, I think, is that we're going to:</div><div><br></div><div>1. Reduce the granularity of the integration tests - use them to broadly test whether an interface works at all when presented to a browser,</div><div>2. Replace many single interface tests with a fewer tests that poke at many interfaces (thus removing the significant per-test overhead) - even potentially having a single test that attempts to access every panel (as a guard against gross Javascript incompatibilities or configuration issues breaking panels),</div><div>3. Move the integration tests to tempest, and</div><div>4. Write some "django unit test suite" functional tests for our angular code that tests more than just the single units we currently test (ie. mock at a more remote level, checking that broader interactions work).</div><div><br></div><div>Does this sound about right?</div><div><br></div><div><br></div><div>     Richard</div><div><br></div></div>
__________________________________________________________________________<br>
OpenStack Development Mailing List (not for usage questions)<br>
Unsubscribe: <a href="http://OpenStack-dev-request@lists.openstack.org?subject:unsubscribe" rel="noreferrer" target="_blank">OpenStack-dev-request@lists.openstack.org?subject:unsubscribe</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" rel="noreferrer" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
</blockquote></div>