
<html>

<head>

<meta http-equiv="content-type" content="text/html; charset=UTF-8">

</head>

<body><p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">Hi,</p>

<br /><p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">Dnia środa, 2 czerwca 2021 14:16:50 CEST Martin Kopec pisze:</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> Hi Slawek,</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> </p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> thanks for getting back to us and sharing new potential tests and</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> capabilities from neutron-tempest-plugin.</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> Let's first discuss tests which are in tempest directly please.</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> </p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> We have done an analysis where we have cross checked tests we have in our</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> guidelines with the ones (api and non-admin ones) present in tempest at the</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> tempest checkout we currently use and here are the results:</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> https://etherpad.opendev.org/p/refstack-test-analysis</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> There are 110 and tempest.api.network tests which we don't have in any</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> guideline yet.</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> Could you please have a look at the list of the tests? Would it make sense</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> to include them in a guideline? Would they extend any network capabilities</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> we have in OpenStack Powered Platform program or would we need to create a</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> new one(s)?</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> https://opendev.org/osf/interop/src/branch/master/next.json</p>

<br /><p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">Sure. I took a look at that list today. I think that:</p>

<br /><p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">* tests from the group tempest.api.network.test_allowed_address_pair could be added to the "<span style="font-family:Hack;">networks-l2-CRUD"</span><span style="font-family:Noto Sans;">. Allowed_address_pairs is API extension, but it is supported by ML2 plugin since very long time, and should be available in all clouds which are using ML2 plugin.</span></p>

<br /><p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;"><span style="font-family:Hack;">* tests from </span>tempest.api.network.test_dhcp_ipv6 can probably be included in "IPAM drivers" section as now I think all clouds should supports IPv6 :)</p>

<br /><p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">* tempest.api.network.test_floating_ips - those tests could be probably added to the "Core API L3 extension" section, but I'm not sure what are the guidlines for negative tests in the refstack,</p>

<br /><p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">* Tests from tempest.api.network.test_networks.BulkNetwork* - are similar to the other L2 CRUD tests but are testing basic bulk CRUD operations for Networks. So It could be IMO included in the "networks-l2-CRUD" section</p>

<br /><p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">* same for all other tests from tempest.api.network.test_networks and tempest.api.network.test_networks_negative modules</p>

<br /><p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">* Tests from tempest.api.network.test_ports can probably also be included in the "network-l2-CRUD" section as filtering is supported by core Neutron db modules,</p>

<br /><p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">* Tests from the tempest.api.network.test_routers module can probably go to the network-l3-CRUD section,</p>

<br /><p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">That are the tests which I think that may be included somehow in the refstack. But I'm not refstack expert so please forgive me if I included here too many of them or if some of them are not approriate to be there :)</p>

<br /><p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> </p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> Thank you,</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> </p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> On Mon, 24 May 2021 at 16:33, Slawek Kaplonski <skaplons@redhat.com> wrote:</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > Hi,</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > </p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > Dnia poniedziałek, 26 kwietnia 2021 17:48:08 CEST Martin Kopec pisze:</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > > Hi everyone,</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > > </p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > > </p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > > </p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > > I would like to further discuss the topics we covered with the neutron</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > </p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > team</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > </p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > > during</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > > </p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > > the PTG [1].</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > > </p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > > </p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > > </p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > > * adding address_group API capability</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > > </p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > > It's tested by tests in neutron-tempest-plugin. First question is if</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > </p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > tests</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > </p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > > which are</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > > </p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > > not directly in tempest can be a part of a non-add-on marketing program?</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > > </p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > > It's possible to move them to tempest though, by the time we do so, could</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > > </p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > > they be</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > > </p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > > marked as advisory?</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > > </p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > > </p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > > </p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > > * Shall we include QoS tempest tests since we don't know what share of</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > > </p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > > vendors</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > > </p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > > enable QoS? Could it be an add-on?</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > > </p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > > These tests are also in neutron-tempest-plugin, I assume we're talking</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > </p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > about</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > </p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > > neutron_tempest_plugin.api.test_qos tests.</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > > </p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > > If we want to include these tests, which program should they belong to?</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > </p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > Do</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > </p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > > we wanna</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > > </p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > > create a new one?</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > > </p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > > </p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > > </p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > > [1] https://etherpad.opendev.org/p/neutron-xena-ptg</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > > </p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > > </p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > > </p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > > Thanks,</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > > </p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > > --</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > > </p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > > Martin Kopec</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > > </p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > > Senior Software Quality Engineer</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > > </p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > > Red Hat EMEA</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > </p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > First of all, sorry that it took so long for me but I finally looked into</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > Neutron related tests and capabilities and I think we can possibly add few</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > things there:</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > </p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > - For "networks-security-groups-CRUD" we can add "address_groups" API. It</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > is now supported by ML2 plugin [1]. In the neutron-tempest-plugin we just</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > have some scenario test [2] but we would probably need also API tests for</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > that, correct?</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > </p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > - For networks-l3-CRUD we can optionally add port_forwarding API. This can</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > be added by service plugin [3] so it may not be enabled in all deployments.</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > But maybe there is some "optional feature" category in the RefStack, and if</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > so, this could be included there. Tests for that are in</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > neutron-tempest-plugin [4] and [5].</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > </p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > - There are also 2 other service plugins, which I think could be included</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > as "optional feature" in the RefStack, but IMO don't fit exactly in any of</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > the existing groups. Those are QoS [6] and Trunks [7]. Tests for both are</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > in the neutron-tempest-plugin as well: Qos: [8] and [9], Trunk [10], [11]</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > and [12].</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > </p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > Please let me know what do You think about it and if that would be ok and</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > if You want me to propose some patches with that or maybe You will propose</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > them.</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > </p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > [1] https://review.opendev.org/c/openstack/neutron-lib/+/741784</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > </p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > [2] https://review.opendev.org/c/openstack/neutron-tempest-plugin/+/777833</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > </p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > [3]</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > https://github.com/openstack/neutron/blob/master/neutron/services/portforwarding/pf_plugin.py</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > </p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > [4]</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > https://github.com/openstack/neutron-tempest-plugin/blob/master/neutron_tempest_plugin/api/test_port_forwardings.py</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > </p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > [5]</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > https://github.com/openstack/neutron-tempest-plugin/blob/master/neutron_tempest_plugin/api/test_port_forwarding_negative.py</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > </p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > [6]</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > https://github.com/openstack/neutron/blob/master/neutron/services/qos/qos_plugin.py</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > </p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > [7]</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > https://github.com/openstack/neutron/blob/master/neutron/services/trunk/plugin.py</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > </p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > [8]</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > https://github.com/openstack/neutron-tempest-plugin/blob/master/neutron_tempest_plugin/api/test_qos.py</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > </p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > [9]</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > https://github.com/openstack/neutron-tempest-plugin/blob/master/neutron_tempest_plugin/api/test_qos_negative.py</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > </p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > [10]</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > https://github.com/openstack/neutron-tempest-plugin/blob/master/neutron_tempest_plugin/api/test_trunk.py</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > </p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > [11]</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > https://github.com/openstack/neutron-tempest-plugin/blob/master/neutron_tempest_plugin/api/test_trunk_details.py</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > </p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > [12]</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > https://github.com/openstack/neutron-tempest-plugin/blob/master/neutron_tempest_plugin/api/test_trunk_negative.py</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > </p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > --</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > </p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > Slawek Kaplonski</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > </p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > Principal Software Engineer</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > </p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> > Red Hat</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> </p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> --</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> Martin Kopec</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> Senior Software Quality Engineer</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> Red Hat EMEA</p>

<br /><br /><p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">-- </p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">Slawek Kaplonski</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">Principal Software Engineer</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">Red Hat</p>

</body>

</html>