<div dir="ltr"><div>I am running tempest on OEL 6.3 (aka RHEL 6.3) and I had issues with python 2.6 and skipException[3], so now I'm using python 2.7 just for tempest.  I also had difficulty with yum and python module dependency and made the transition to venv.  This has reduced the yum dependency nightmare greatly.</div>

<div><div><br></div></div>now that testr is default for tempest.  testr does not appear to support --exclusion[1] or --stop[2].<div><br></div><div>I have a work around for --exclusion, by:</div><blockquote style="margin:0px 0px 0px 40px;border:none;padding:0px">

<div>testr list-tests | egrep -v regex-exclude-list > unit-tests.txt</div><div>testr --load-list unit-tests.txt</div><div><br></div></blockquote>I do not have a work around for --stop.<div><br></div><div>[1]<a href="https://bugs.launchpad.net/testrepository/+bug/1208610">https://bugs.launchpad.net/testrepository/+bug/1208610</a><br>

</div><div><div>[2]<a href="https://bugs.launchpad.net/testrepository/+bug/1211926">https://bugs.launchpad.net/testrepository/+bug/1211926</a><br></div></div><div>[3]<a href="https://bugs.launchpad.net/tempest/+bug/1202815">https://bugs.launchpad.net/tempest/+bug/1202815</a></div>

<div><br></div></div><div class="gmail_extra"><br><br><div class="gmail_quote">On Tue, Aug 13, 2013 at 7:25 PM, Matt Riedemann <span dir="ltr"><<a href="mailto:mriedem@us.ibm.com" target="_blank">mriedem@us.ibm.com</a>></span> wrote:<br>

<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><font face="sans-serif">I have the same issue.  I run a subset
of the tempest tests via nose on a RHEL 6.4 VM directly against the site-packages
(not using virtualenv).  I'm running on x86_64, ppc64 and s390x and
have different issues on all of them (a mix of DB2 on x86_64 and MySQL
on the others, and different nova/cinder drivers on each).  What I
had to do was just make a nose.cfg for each of them and throw that into
~/ for each run of the suite.</font>
<br>
<br><font face="sans-serif">The switch from nose to testr hasn't
impacted me because I'm not using a venv.  However, there was a change
this week that broke me on python 2.6 and I opened this bug:</font>
<br>
<br><a href="https://bugs.launchpad.net/tempest/+bug/1212071" target="_blank"><font size="3" color="blue"><u>https://bugs.launchpad.net/tempest/+bug/1212071</u></font></a><font size="3">
</font><font face="sans-serif"><br>
</font>
<br><font face="sans-serif"><br>
</font>
<br><font size="1" face="Arial">Thanks,</font>
<br>
<br><font size="3" color="#8f8f8f" face="Arial"><b>MATT RIEDEMANN</b></font><font size="1" face="Arial"><br>
Advisory Software Engineer<br>
Cloud Solutions and OpenStack Development</font>
<table width="680" style="border-collapse:collapse">
<tbody><tr height="8">
<td width="680" colspan="2" style="border-style:solid;border-color:#000000;border-width:0px 0px 0px 0px;padding:0px 0px">
<hr>
</td></tr><tr valign="top" height="8">
<td width="418" style="border-style:solid;border-color:#000000;border-width:0px 0px 0px 0px;padding:0px 0px"><font size="1" color="#4181c0" face="Arial"><b>Phone:</b></font><font size="1" color="#5f5f5f" face="Arial">
<a href="tel:1-507-253-7622" value="+15072537622" target="_blank">1-507-253-7622</a></font><font size="1" color="#4181c0" face="Arial"> | <b>Mobile:</b></font><font size="1" color="#5f5f5f" face="Arial">
<a href="tel:1-507-990-1889" value="+15079901889" target="_blank">1-507-990-1889</a></font><font size="1" color="#4181c0" face="Arial"><b><br>
E-mail:</b></font><font size="1" color="#5f5f5f" face="Arial"> </font><a href="mailto:mriedem@us.ibm.com" target="_blank"><font size="1" color="#5f5f5f" face="Arial"><u>mriedem@us.ibm.com</u></font></a>
</td><td width="261" style="border-style:solid;border-color:#000000;border-width:0px 0px 0px 0px;padding:0px 0px">
<div align="right"><img src="cid:_1_06F851C006F84C2C000D5DCC86257BC7" width="83" height="30" alt="IBM"><font size="1" color="#5f5f5f" face="Arial"><br>
<br>
3605 Hwy 52 N<br>
Rochester, MN 55901-1407<br>
United States</font></div></td></tr></tbody></table>
<br>
<br>
<br>
<br>
<br><font size="1" color="#5f5f5f" face="sans-serif">From:      
 </font><font size="1" face="sans-serif">Ian Wienand <<a href="mailto:iwienand@redhat.com" target="_blank">iwienand@redhat.com</a>></font>
<br><font size="1" color="#5f5f5f" face="sans-serif">To:      
 </font><font size="1" face="sans-serif"><a href="mailto:openstack-dev@lists.openstack.org" target="_blank">openstack-dev@lists.openstack.org</a>,
</font>
<br><font size="1" color="#5f5f5f" face="sans-serif">Date:      
 </font><font size="1" face="sans-serif">08/13/2013 09:13 PM</font>
<br><font size="1" color="#5f5f5f" face="sans-serif">Subject:    
   </font><font size="1" face="sans-serif">[openstack-dev]
Skipping tests in tempest via config file</font>
<br>
<hr noshade><div class="HOEnZb"><div class="h5">
<br>
<br>
<br><tt><font>Hi,<br>
<br>
I proposed a change to tempest that skips tests based on a config file<br>
directive [1].  Reviews were inconclusive and it was requested the<br>
idea be discussed more widely.<br>
<br>
Of course issues should go upstream first.  However, sometimes test<br>
failures are triaged to a local/platform problem and it is preferable<br>
to keep everything else running by skipping the problematic tests<br>
while its being worked on.<br>
<br>
My perspective is one of running tempest in a mixed CI environment<br>
with RHEL, Fedora, etc.  Python 2.6 on RHEL doesn't support testr
(it<br>
doesn't do the setUpClass calls required by temptest) and nose<br>
upstream has some quirks that make it hard to work with the tempest<br>
test layout [2].<br>
<br>
Having a common place in the temptest config to set these skips is<br>
more convienent than having to deal with the multiple testing<br>
environments.<br>
<br>
Another proposal is to have a separate JSON file of skipped tests.  I<br>
don't feel strongly but it does seem like another config file.<br>
<br>
-i<br>
<br>
[1] </font></tt><a href="https://review.openstack.org/#/c/39417/" target="_blank"><tt><font>https://review.openstack.org/#/c/39417/</font></tt></a><tt><font><br>
[2] </font></tt><a href="https://github.com/nose-devs/nose/pull/717" target="_blank"><tt><font>https://github.com/nose-devs/nose/pull/717</font></tt></a><tt><font><br>
<br>
_______________________________________________<br>
OpenStack-dev mailing list<br>
<a href="mailto:OpenStack-dev@lists.openstack.org" target="_blank">OpenStack-dev@lists.openstack.org</a><br>
</font></tt><a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" target="_blank"><tt><font>http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</font></tt></a><tt><font><br>
<br>
</font></tt>
<br></div></div><br>_______________________________________________<br>
OpenStack-dev mailing list<br>
<a href="mailto:OpenStack-dev@lists.openstack.org">OpenStack-dev@lists.openstack.org</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
<br></blockquote></div><br></div>