<div dir="ltr">Hi Won,<div><br></div><div><div class="gmail_quote"><div dir="ltr">On Wed, Oct 10, 2018 at 11:58 AM Won <<a href="mailto:wjstk16@gmail.com">wjstk16@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><br></div><div>my prometheus version : 2.3.2 and alertmanager version : 0.15.2 and I attached files.(vitrage collector,graph logs and apache log and prometheus.yml alertmanager.yml alarm rule file etc..)</div><div>I think the problem that resolved alarm does not disappear is the time stamp problem of the alarm.<br></div><div><div><br></div></div><div><div>-gray alarm info</div><div>severity:PAGE</div><div>vitrage id: c6a94386-3879-499e-9da0-2a5b9d3294b8  ,  e2c5eae9-dba9-4f64-960b-b964f1c01dfe , 3d3c903e-fe09-4a6f-941f-1a2adb09feca , 8c6e7906-9e66-404f-967f-40037a6afc83 , e291662b-115d-42b5-8863-da8243dd06b4 , 8abd2a2f-c830-453c-a9d0-55db2bf72d46</div><div>----------</div><span class="m_-2876726172661411467gmail-m_6618873598713275451gmail-key m_-2876726172661411467gmail-m_6618873598713275451gmail-pull-left m_-2876726172661411467gmail-m_6618873598713275451ellipsis m_-2876726172661411467gmail-m_6618873598713275451gmail-keys-font m_-2876726172661411467gmail-m_6618873598713275451gmail-font-title m_-2876726172661411467gmail-m_6618873598713275451gmail-ng-binding" title="Vitrage id"></span><span class="m_-2876726172661411467gmail-m_6618873598713275451gmail-key m_-2876726172661411467gmail-m_6618873598713275451gmail-pull-left m_-2876726172661411467gmail-m_6618873598713275451ellipsis m_-2876726172661411467gmail-m_6618873598713275451gmail-keys-font m_-2876726172661411467gmail-m_6618873598713275451gmail-font-title m_-2876726172661411467gmail-m_6618873598713275451gmail-ng-binding" title="Vitrage id"></span><span class="m_-2876726172661411467gmail-m_6618873598713275451gmail-key m_-2876726172661411467gmail-m_6618873598713275451gmail-pull-left m_-2876726172661411467gmail-m_6618873598713275451ellipsis m_-2876726172661411467gmail-m_6618873598713275451gmail-keys-font m_-2876726172661411467gmail-m_6618873598713275451gmail-font-title m_-2876726172661411467gmail-m_6618873598713275451gmail-ng-binding" title="Vitrage id"></span><span class="m_-2876726172661411467gmail-m_6618873598713275451gmail-key m_-2876726172661411467gmail-m_6618873598713275451gmail-pull-left m_-2876726172661411467gmail-m_6618873598713275451ellipsis m_-2876726172661411467gmail-m_6618873598713275451gmail-keys-font m_-2876726172661411467gmail-m_6618873598713275451gmail-font-title m_-2876726172661411467gmail-m_6618873598713275451gmail-ng-binding" title="Vitrage id"></span></div><div><br></div><div>The alarms marked with the blue circle are already resolved. However, it does not disappear from the entity graph and alarm list.<br></div><div>There were seven more gray alarms at the top screenshot in active alarms like entity graph. It disappeared by deleting gray alarms from the vitrage-alarms table in the DB or changing the end timestamp value to an earlier time than the current time.</div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></blockquote><div><br></div><div>I checked the files that you sent, and it appears that the connection between Prometheus and Vitrage works well. I see in vitrage-graph log that Prometheus notified both on alert firing and on alert resolved statuses. </div><div>I still don't understand why the alarms were not removed from Vitrage, though. Can you please send me the output of 'vitrage topology show' CLI command? </div><div>Also, did you happen to restart vitrage-graph or vitrage-collector during your tests? </div><div> <br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div></div><div>At the log, it seems that the first problem is that the timestamp value from the vitrage comes to 2001-01-01, even though the starting value in the Prometheus alarm information has the correct value. </div><div>When the alarm is solved, the end time stamp value is not updated so alarm does not disappear from the alarm list.  </div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></blockquote><div> </div><div>Can you please show me where you saw the 2001 timestamp? I didn't find it in the log.</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div></div><div>The second problem is that even if the time stamp problem is solved, the entity graph problem will not be solved. Gray alarm information is not in the vitage-collector log but in the vitrage graph and apache log.<br></div><div>I want to know how to forcefully delete entity from a vitage graph.<br></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></blockquote><div><br></div><div>You shouldn't do it :-) there is no API for deleting entities, and messing with the database may cause unexpected results. </div><div>The only thing that you can safely do is to stop all Vitrage services, execute 'vitrage-purge-data' command, and start the services again. This will cause rebuilding of the entity graph.</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div>Regarding the multi nodes, I mean, 1 controll node(pc1) & 1 compute node(pc2). So one openstack.  <br></div><div><div><br></div></div><div>The test VM in the picture is an instance on compute node that has already been deleted. I waited for hours and checked nova.conf but it was not removed.<br></div><div>This was not the occur in the queens version; in the rocky version, multinode environment, there seems to be a bug in VM creation on multi node.<br></div><div>The same situation occurred in multi-node environments that were configured with different PCs.</div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></blockquote><div><br></div><div>Let me make sure I understand the problem. </div><div>When you create a new vm in Nova, does it immediately appear in the entity graph?</div><div>When you delete a vm, it remains? does it remain in a multi-node environment and deleted in a single node environment? </div><div> </div><div>Br,</div><div>Ifat</div><div><br></div></div></div></div>