<div dir="ltr">I entered a bug as <a href="https://bugs.launchpad.net/nova/+bug/1413049">https://bugs.launchpad.net/nova/+bug/1413049</a>. My 'patch' in there is not correct so ignore that :)<div><br></div><div>What i'm finding is, about once or twice a day, i run into a race condition where _heal_instance_info_cache() is active, and a new instance is created @ the same time. The heal ends up overwriting the info cache to [], and this is never corrected, leading to an instance that is running ok, but broken in the database.</div><div><br></div><div>if you run </div><div>mysql -e "select instances.host,instances.hostname,instances.uuid,instances.user_id from instance_info_caches,instances where network_info = '[]' and instances.deleted = 0 and instances.uuid = instance_info_caches.instance_uuid;" nova</div><div><br></div><div>it should return nothing. for me, it shows the broken instances.</div><div><br></div><div>And they are indeed broken, they often have multiple interfaces. If the user does a 'rebuild', then the libvirt xml file ends up with no source bridges.</div><div><br></div><div>I have:</div><div><div>reclaim_instance_interval = 0</div><div>heal_instance_info_cache_interval = 20</div></div><div><div>periodic_interval=10</div><div>image_cache_manager_interval=10</div><div>running_deleted_instance_poll_interval=10</div><div>instance_delete_interval=10</div><div>running_deleted_instance_action=reap</div></div><div><br></div><div><br></div><div>set.</div><div><br></div><div>Is no one else hitting this? This might be an unusual environment since we create instances quite dynamically (maybe 500-1000/day, all from heat so they start a lot all @ once).</div></div>