<div dir="ltr">Yeah, you could may be segment messages by zones/cells etc.<div><br></div><div>Or group resources by buckets, for example taking the last 2-3 bytes of each object identifier.</div><div><br></div><div>But you may need to do the math on how that's going to work, the more objects an agent needs to process, the more likely that it will receive unnecessary objects in that case.</div><div><br></div><div>The ideal, anyway is single object subscription (as long as the client and rabbit would handle such scenario well)<br></div><div><br></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Sun, Sep 24, 2017 at 11:45 PM, Matthieu Simonin <span dir="ltr"><<a href="mailto:matthieu.simonin@inria.fr" target="_blank">matthieu.simonin@inria.fr</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Thanks Miguel for your feedback.<br>
<br>
I'll definetely dig more into this.<br>
Having a lot of messages broadcasted to all the neutron agents is not<br>
something you want especially in the context of femdc[1].<br>
<br>
Best,<br>
<br>
Matt<br>
<br>
[1]: <a href="https://wiki.openstack.org/wiki/Fog_Edge_Massively_Distributed_Clouds" rel="noreferrer" target="_blank">https://wiki.openstack.org/<wbr>wiki/Fog_Edge_Massively_<wbr>Distributed_Clouds</a><br>
<br>
----- Mail original -----<br>
> De: "Miguel Angel Ajo Pelayo" <<a href="mailto:majopela@redhat.com">majopela@redhat.com</a>><br>
> À: "OpenStack Development Mailing List (not for usage questions)" <<a href="mailto:openstack-dev@lists.openstack.org">openstack-dev@lists.<wbr>openstack.org</a>><br>
> Envoyé: Mercredi 20 Septembre 2017 11:15:12<br>
> Objet: Re: [openstack-dev] [neutron][oslo.messaging][<wbr>femdc]Topic names for every resource type RPC endpoint<br>
<div class="HOEnZb"><div class="h5">><br>
> I wrote those lines.<br>
><br>
> At that time, I tried a couple a publisher and a receiver at that scale. It<br>
> was the receiver side what crashed trying to subscribe, the sender was<br>
> completely fine.<br>
><br>
> Sadly I don't keep the test examples, I should have stored them in github<br>
> or something. It shouldn't be hard to replicate though if you follow the<br>
> oslo_messaging docs.<br>
><br>
><br>
><br>
> On Wed, Sep 20, 2017 at 9:58 AM, Matthieu Simonin <<a href="mailto:matthieu.simonin@inria.fr">matthieu.simonin@inria.fr</a><br>
> > wrote:<br>
><br>
> > Hello,<br>
> ><br>
> > In the Neutron docs about RPCs and Callbacks system, it is said[1] :<br>
> ><br>
> > "With the underlying oslo_messaging support for dynamic topics on the<br>
> > receiver<br>
> > we cannot implement a per “resource type + resource id” topic, rabbitmq<br>
> > seems<br>
> > to handle 10000’s of topics without suffering, but creating 100’s of<br>
> > oslo_messaging receivers on different topics seems to crash."<br>
> ><br>
> > I wonder if this statements still holds for the new transports supported in<br>
> > oslo.messaging (e.g Kafka, AMQP1.0) or if it's more a design limitation.<br>
> > I'm interested in any relevant docs/links/reviews on the "topic" :).<br>
> ><br>
> > Moreover, I'm curious to get an idea on how many different resources a<br>
> > Neutron<br>
> > Agent would have to manage and thus how many oslo_messaging receivers<br>
> > would be<br>
> > required (e.g how many security groups a neutron agent has to manage ?) -<br>
> > at<br>
> > least the order of magnitude.<br>
> ><br>
> > Best,<br>
> ><br>
> > Matt<br>
> ><br>
> ><br>
> ><br>
> > [1]: <a href="https://docs.openstack.org/neutron/latest/contributor/" rel="noreferrer" target="_blank">https://docs.openstack.org/<wbr>neutron/latest/contributor/</a><br>
> > internals/rpc_callbacks.html#<wbr>topic-names-for-every-<br>
> > resource-type-rpc-endpoint<br>
> ><br>
> > ______________________________<wbr>______________________________<wbr>______________<br>
> > OpenStack Development Mailing List (not for usage questions)<br>
> > Unsubscribe: <a href="http://OpenStack-dev-request@lists.openstack.org?subject:unsubscribe" rel="noreferrer" target="_blank">OpenStack-dev-request@lists.<wbr>openstack.org?subject:<wbr>unsubscribe</a><br>
> > <a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" rel="noreferrer" target="_blank">http://lists.openstack.org/<wbr>cgi-bin/mailman/listinfo/<wbr>openstack-dev</a><br>
> ><br>
><br>
> ______________________________<wbr>______________________________<wbr>______________<br>
> OpenStack Development Mailing List (not for usage questions)<br>
> Unsubscribe: <a href="http://OpenStack-dev-request@lists.openstack.org?subject:unsubscribe" rel="noreferrer" target="_blank">OpenStack-dev-request@lists.<wbr>openstack.org?subject:<wbr>unsubscribe</a><br>
> <a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" rel="noreferrer" target="_blank">http://lists.openstack.org/<wbr>cgi-bin/mailman/listinfo/<wbr>openstack-dev</a><br>
><br>
<br>
______________________________<wbr>______________________________<wbr>______________<br>
OpenStack Development Mailing List (not for usage questions)<br>
Unsubscribe: <a href="http://OpenStack-dev-request@lists.openstack.org?subject:unsubscribe" rel="noreferrer" target="_blank">OpenStack-dev-request@lists.<wbr>openstack.org?subject:<wbr>unsubscribe</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" rel="noreferrer" target="_blank">http://lists.openstack.org/<wbr>cgi-bin/mailman/listinfo/<wbr>openstack-dev</a><br>
</div></div></blockquote></div><br></div>