<div dir="ltr">Hi Sean<br><div class="gmail_extra"><br></div><div class="gmail_extra"><br><div class="gmail_quote">On Mon, Apr 6, 2015 at 7:34 PM, Sean Dague <span dir="ltr"><<a href="mailto:sean@dague.net" target="_blank">sean@dague.net</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><span class="">On 04/06/2015 12:13 PM, Andrey M. Pavlov wrote:<br>
> Hi,<br>
><br>
> We've got a couple of problems running original Tempest EC2 API test against new standalone stackforge/ec2-api project and<br>
> I wanted to ask for some advice about how to deal with it.<br>
><br>
> Tempest now is running against our ec2-api after this review was closed -<br>
> <a href="https://review.openstack.org/#/c/170258/" target="_blank">https://review.openstack.org/#/c/170258/</a><br>
><br>
> And now we face two problems (that can also be found in tempest logs of this review -<br>
> <a href="https://review.openstack.org/#/c/170668/" target="_blank">https://review.openstack.org/#/c/170668/</a>)<br>
> For now I switched tempest gating job to non-voting until these problems are resolved in the following review -<br>
> <a href="https://review.openstack.org/#/c/170646/" target="_blank">https://review.openstack.org/#/c/170646/</a><br>
><br>
> Problems are:<br>
> 1) tempest.thirdparty.boto.test_ec2_network.EC2NetworkTest.test_disassociate_not_associated_floating_ip<br>
> this test tries to allocate address and disassociate it without association.<br>
> Amazon allows to do it and does not throw error. But EC2 implementation in Nova throws error.<br>
> We have the same test in our own test suite against stackforge/ec2-api (but it's not merged yet) and I checked it against Amazon.<br>
> I suggest to remove this test from tempest as incompatible with Amazon.<br>
> Also it can be skipped but for me it has no sense.<br>
<br>
</span>This seems fine as a removal.<br>
<span class=""><br>
> 2) tempest.thirdparty.boto.test_ec2_instance_run.InstanceRunTest.test_compute_with_volumes<br>
> This test registers three images by their manifests, run instance with image/kernel/ramdisk parameters,<br>
> and ssh into this instance to check something.<br>
> This is not the only test that runs instance with such parameters but this is the only one<br>
> that ssh-s into such an instance.<br>
> This instance runs but test can't ssh into it and it fails. Because this instance doesn't have ramdisk and kernel.<br>
> It runs supplied with image property only. The VM comes up semi-functional and instance can't boot up as a result.<br>
> Problem is in the ec2-api/nova communication. Nova public API doesn't support kernel and ramdisk parameters during instance creation.<br>
><br>
> Next I'll file a bug to ec2-api with this description.<br>
<br>
</span>This seems problematic, because I think what you are saying is that the<br>
stackforge EC2 API can't start a working guest. This is the only one of<br>
the ec2 tests that actually validates the guest is running correctly IIRC.<br>
<br>
Is there an equivalent test that exists that you think would be better?<br>
I'm also not sure I understand where the breakdown is here in missing<br>
functionality.<br></blockquote><div><br></div><div>I suggest to fix the test to fit both Nova EC2 and ec2api restrictions.</div><div>Ec2api ignores ari/aki parameters for RunInstances operation, but supports registration of an ami image linked to ari and aki ones.</div><div>Nova EC2 ignores the links in image registrations, but supports ari/aki parameters for RunInstances operation.</div><div>So we could set these parameters for both operations to pass this test agains both Nova EC2 and ec2api.</div><div><br></div><div>I've propesed a change for this: <a href="https://review.openstack.org/#/c/171222/">https://review.openstack.org/#/c/171222/</a></div><div> </div><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">
<span class="im"><br>
> In the long run we should discuss adding this feature to public API but for now we'd like to put Tempest<br>
> in our project back to voting state.<br>
> We've got several options about what to do for this and we need some help to pick one (or several):<br>
> 1) skip this test in tempest and switch tempest back to voting state in our project.<br>
> The problem is that this test is still also employed against nova's EC2 so it'll get skipped there as well.<br>
> 2) Leave it as non-voting until extension is added to nova.<br>
> Great solution but it'll take way too long I understand.<br>
> 3) add special condition to skipping the test so that it's skipped only when employed against stackforge/ec2-api,<br>
> while still working against nova if it's possible at all and not too much hassle.<br>
><br>
> Kind regards,<br>
> Andrey.<br>
><br>
> __________________________________________________________________________<br>
> OpenStack Development Mailing List (not for usage questions)<br>
> Unsubscribe: <a href="http://OpenStack-dev-request@lists.openstack.org?subject:unsubscribe" target="_blank">OpenStack-dev-request@lists.openstack.org?subject:unsubscribe</a><br>
> <a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
><br>
<br>
<br>
</span><span class=""><font color="#888888">--<br>
Sean Dague<br>
<a href="http://dague.net" target="_blank">http://dague.net</a><br>
</font></span><div class=""><div class="h5"><br>
__________________________________________________________________________<br>
OpenStack Development Mailing List (not for usage questions)<br>
Unsubscribe: <a href="http://OpenStack-dev-request@lists.openstack.org?subject:unsubscribe" target="_blank">OpenStack-dev-request@lists.openstack.org?subject:unsubscribe</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
</div></div></blockquote></div><br></div></div>