<div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr">Hi,</div><div dir="ltr"><br></div><div dir="ltr">I attached four log files.  <br></div><div dir="ltr"><div dir="ltr">I collected the logs from about 17:14 to 17:42. I created an instance of 'deltesting3' at 17:17. 7minutes later, at 17:24, the entity graph showed the dentesting3 and vitrage colletor and graph logs are appeared.</div><div dir="ltr">When creating an instance in ubuntu server, it appears immediately in the entity graph and logs, but when creating an instance in computer1 (multi node), it appears about 5~10 minutes later.</div><div dir="ltr">I deleted an instance of 'deltesting3' around 17:26.</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div></div><div>After ~20minutes, there was only Apigateway. Does it make sense? did you delete the instances on ubuntu, in addition to deltesting?</div></blockquote><div><br></div><div>I only deleted 'deltesting'. After that, only the logs from 'apigateway' and 'kube-master' were collected. But other instances were working well. I don't know why only two instances are collected in the log.<br></div><div>NOV 19 In this log, 'agigateway' and 'kube-master' were continuously collected in a short period of time, but other instances were sometimes collected in long periods.</div><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div>In any case, I would expect to see the instances deleted from the graph at this stage, since they were not returned by get_all.</div><div>Can you please send me the log of vitrage-graph at the same time (Nov 15, 16:35-17:10)?</div></blockquote><div><br></div><div>Information  'deldtesting3' that has already been deleted continues to be collected in vitrage-graph.service.<br></div><div><br></div><div>Br,</div><div>Won</div><div> </div><div><br></div><div> </div></div></div></div></div></div></div><br><div class="gmail_quote"><div dir="ltr">2018년 11월 15일 (목) 오후 10:13, Ifat Afek <<a href="mailto:ifatafekn@gmail.com">ifatafekn@gmail.com</a>>님이 작성:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><br><div class="gmail_quote"><div dir="ltr">On Thu, Nov 15, 2018 at 10:28 AM Won <<a href="mailto:wjstk16@gmail.com" target="_blank">wjstk16@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Looking at the logs, I see two issues:<br>1. On ubuntu server, you get a notification about the vm deletion, while on compute1 you don't get it. <br>Please make sure that Nova sends notifications to 'vitrage_notifications' - it should be configured in /etc/nova/nova.conf.<br>2. Once in 10 minutes (by default) nova.instance datasource queries all instances. The deleted vm is supposed to be deleted in Vitrage at this stage, even if the notification was lost. <br>Please check in your collector log for the a message of "<span style="font-family:Calibri;font-size:11pt">novaclient.v2.client [-] RESP BODY</span>" before and after the deletion, and send me its content. </blockquote><div><br></div><div> I attached two log files. I created a VM in computer1 which is a computer node and deleted it a few minutes later. Log for 30 minutes from VM creation.</div><div>The first is the log of the vitrage-collect that grep instance name.</div><div>The second is the noovaclient.v2.clinet [-] RESP BODY log.</div><div>After I deleted the VM, no log of the instance appeared in the collector log no matter how long I waited.<br></div><div><br></div><div>I added the following to Nova.conf on the computer1 node.(attached file 'compute_node_local_conf.txt')<br></div><div><div>notification_topics = notifications,vitrage_notifications</div><div>notification_driver = messagingv2</div><div>vif_plugging_timeout = 300</div></div><div><div>notify_on_state_change = vm_and_task_state</div><div>instance_usage_audit_period = hour</div><div>instance_usage_audit = True</div></div></div></div></div></div></div></div></div></div></div></blockquote><div><br></div><div>Hi,</div><div><br></div><div>From the collector log RESP BODY messages I understand that in the beginning there were the following servers: </div><div>compute1: deltesting </div><div>ubuntu: Apigateway, KubeMaster and others</div><div><br></div><div>After ~20minutes, there was only Apigateway. Does it make sense? did you delete the instances on ubuntu, in addition to deltesting?</div><div>In any case, I would expect to see the instances deleted from the graph at this stage, since they were not returned by get_all.</div><div>Can you please send me the log of vitrage-graph at the same time (Nov 15, 16:35-17:10)?</div><div><br></div><div>There is still the question of why we don't see a notification from Nova, but let's try to solve the issues one by one.</div><div><br></div><div>Thanks,</div><div>Ifat</div><div><br></div><div><br></div></div></div>
__________________________________________________________________________<br>
OpenStack Development Mailing List (not for usage questions)<br>
Unsubscribe: <a href="http://OpenStack-dev-request@lists.openstack.org?subject:unsubscribe" rel="noreferrer" target="_blank">OpenStack-dev-request@lists.openstack.org?subject:unsubscribe</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" rel="noreferrer" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
</blockquote></div>