<div dir="ltr">Hi,<div><br></div><div><p class="MsoNormal" style="margin:0cm 0cm 0.0001pt;font-size:12pt;font-family:Gulim"><span style="font-size:11pt;font-family:Calibri">Can you please give us some more details about your scenario with Prometheus? Please try
and give as many details as possible, so we can try to reproduce the bug.</span></p>

<p class="MsoNormal" style="margin:0cm 0cm 0.0001pt;font-size:12pt;font-family:Gulim"><br></p><p class="MsoNormal" style="margin:0cm 0cm 0.0001pt"><span style="font-family:Calibri;font-size:11pt">What do you mean by “if the alarm is resolved, the alarm manager makes a
silence, or removes the alarm rule from Prometheus”? these are different cases.
None of them works in your environment?</span><br></p>

<p class="MsoNormal" style="margin:0cm 0cm 0.0001pt;font-size:12pt;font-family:Gulim"><span style="font-size:11pt;font-family:Calibri">Which Prometheus and Alertmanager versions are you using?</span></p>

<p class="MsoNormal" style="margin:0cm 0cm 0.0001pt;font-size:12pt;font-family:Gulim"><span style="font-size:11pt;font-family:Calibri"> </span><span style="font-family:Calibri;font-size:11pt">Please try to change the Vitrage loglevel to DEBUG (set “debug = true” in
/etc/vitrage/vitrage.conf) and send me the Vitrage collector, graph and api
logs. </span></p><div><br></div><div>Regarding the multi nodes, I'm not sure I understand your configuration. Do you mean there is more than one OpenStack and Nova? more than one host? more than one vm? </div><div><br></div><div>Basically, vms are deleted from Vitrage in two cases:</div><div>1. After each periodic call to get_all of nova.instance datasource. By default this is done once in 10 minutes.</div><div>2. Immediately, if you have the following configuration in /etc/nova/nova.conf:</div><div><span style="font-family:"Times New Roman";font-size:12pt">notification_topics = notifications,vitrage_notifications</span><br></div><div><br></div><div>So, please check your nova.conf and also whether the vms are deleted after 10 minutes.</div><div><br></div><div>Thanks,</div><div>Ifat</div><div><br></div><br><div class="gmail_quote"><div dir="ltr">On Thu, Oct 4, 2018 at 7:12 AM Won <<a href="mailto:wjstk16@gmail.com">wjstk16@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div dir="ltr"><div>Thank you for your reply Ifat.</div><div><br></div><div>The alertmanager.yml file already contains 'send_resolved:true'. </div><div>However, the alarm does not disappear from the alarm list and the entity graph even if the alarm is resolved, the alarm manager makes a silence, or removes the alarm rule from Prometheus. </div><div>The only way to remove alarms is to manually remove them from the db. Is there any other way to remove the alarm?</div><div>Entities(vm) that run on multi nodes in the rocky version have similar symptoms. There was a symptom that the Entities created on the multi-node would not disappear from the Entity Graph even after deletion. </div><div>Is this a bug in rocky version?</div><div><br></div><div>Best Regards,</div><div>Won</div></div></div><br>
</blockquote></div></div></div>