<div dir="ltr"><div>Hi all,</div><div><br></div><div>We are now facing a nova operation issue about setting different ceph rbd pool to each corresponding nova compute node in one available zone. For instance:</div><div>(1) compute-node-1  in az1 and set images_rbd_pool=pool1</div><div>(2) compute-node-2  in az1 and set images_rbd_pool=pool2</div><div>This setting can normally work fine.</div><div><br></div><div>But problem encountered when doing resize instance. We try to resize a instance-1 originally in compute-node-1, then nova will do schedule procedure, assuming that nova-scheduler get the chosen compute node is compute-node-2. Then the nova will get the following error:</div><div><a href="http://paste.openstack.org/show/585540/">http://paste.openstack.org/show/585540/</a>. This exception is because that in compute-node-2 nova can't find pool1 vm1 disk. So is there a way nova can handle this? Similar thing in cinder, you may see a cinder volume has host attribute like:</div><div>host_name@pool_name#ceph.</div><div><br></div><div>Why we use such setting is because that while doing storage capacity expansion we want to avoid the influence of ceph rebalance.</div><div><br></div><div>One solution I found is AggregateInstanceExtraSpecsFilter, this can coordinate working with Host Aggregates metadata and flavor metadata.</div><div>We try to create Host Aggregates like:</div><div>az1-pool1 with hosts compute-node-1, and metadata {ceph_pool: pool1};</div><div>az1-pool2 with hosts compute-node-2, and metadata {ceph_pool: pool2};</div><div>and create flavors like:</div><div>flavor1-pool1 with metadata {ceph_pool: pool1};</div><div>flavor2-pool1 with metadata {ceph_pool: pool1};</div><div>flavor1-pool2 with metadata {ceph_pool: pool2};</div><div>flavor2-pool2 with metadata {ceph_pool: pool2};</div><div><br></div><div>But this may introduce a new issue about the create_instance. Which flavor should be used? The business/application layer seems need to add it's own flavor scheduler.</div><div><br></div><div>So here finally, I want to ask, if there is a best practice about using multiple ceph rbd pools in one available zone.</div><div><br></div><div>Best regards,</div><div><br></div><div>LIU Yulong</div></div>