<div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote">On Mon, Mar 6, 2017 at 1:21 AM, Matt Riedemann <span dir="ltr"><<a href="mailto:mriedemos@gmail.com" target="_blank">mriedemos@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><br>
So I'm wondering at what point instances stored in searchlight will be removed. Maybe there is already an answer to this and the searchlight team can just inform me. Otherwise we might need to think about data retention policies and how long a deleted instances will be stored in searchlight before it's removed. Again, I'm not sure if nova would control this or if it's something searchlight supports already.<br><span class="HOEnZb"><font color="#888888"><br>
</font></span></blockquote></div><br></div><div class="gmail_extra">Hi,</div><div class="gmail_extra"><br></div><div class="gmail_extra">Currently Searchlight doesn't capture soft delete notifications and simply remove instance from ES if real delete notification comes. If these two kind of notifications can be distinguished we could fix this issue by marking the document in the ES instead of removing it. And we also need to capture some extra notifications like restore(suppose it exists) .</div><div class="gmail_extra"><br></div><div class="gmail_extra">About data retention policies, I'm not sure if something like ttl to define how long a deleted instance should be stored in searchlight is enough. I know Nova has cli to purge the database about deleted instances, if there are no notification emitted for these operations, it's impossible for searchlight to know when these delete instances are removed.</div></div>