<p dir="ltr">Thanks Sam , Will sure review it.</p>
<br><div class="gmail_quote"><div dir="ltr">On Tue, 30 May 2017, 17:59 Sam P, <<a href="mailto:sam47priya@gmail.com">sam47priya@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi Vikash,<br>
<br>
  Greg submit the spec [1] for intrusive instance monitoring.<br>
  Your review will be highly appreciated..<br>
 [1] <a href="https://review.openstack.org/#/c/469070/" rel="noreferrer" target="_blank">https://review.openstack.org/#/c/469070/</a><br>
--- Regards,<br>
Sampath<br>
<br>
<br>
<br>
On Sat, May 20, 2017 at 4:49 PM, Vikash Kumar<br>
<<a href="mailto:Vikash.Kumar@oneconvergence.com" target="_blank">Vikash.Kumar@oneconvergence.com</a>> wrote:<br>
> Thanks Sam<br>
><br>
><br>
> On Sat, 20 May 2017, 06:51 Sam P, <<a href="mailto:sam47priya@gmail.com" target="_blank">sam47priya@gmail.com</a>> wrote:<br>
>><br>
>> Hi Vikash,<br>
>>  Great... I will add you as reviewer to this spec.<br>
>>  Thank you..<br>
>> --- Regards,<br>
>> Sampath<br>
>><br>
>><br>
>><br>
>> On Fri, May 19, 2017 at 1:06 PM, Vikash Kumar<br>
>> <<a href="mailto:vikash.kumar@oneconvergence.com" target="_blank">vikash.kumar@oneconvergence.com</a>> wrote:<br>
>> > Hi Greg,<br>
>> ><br>
>> >     Please include my email in this spec also. We are also dealing with<br>
>> > HA<br>
>> > of Virtual Instances (especially for Vendors) and will participate.<br>
>> ><br>
>> > On Thu, May 18, 2017 at 11:33 PM, Waines, Greg<br>
>> > <<a href="mailto:Greg.Waines@windriver.com" target="_blank">Greg.Waines@windriver.com</a>><br>
>> > wrote:<br>
>> >><br>
>> >> Yes I am good with writing spec for this in masakari-spec.<br>
>> >><br>
>> >><br>
>> >><br>
>> >> Do you use gerrit for this git ?<br>
>> >><br>
>> >> Do you have a template for your specs ?<br>
>> >><br>
>> >><br>
>> >><br>
>> >> Greg.<br>
>> >><br>
>> >><br>
>> >><br>
>> >><br>
>> >><br>
>> >><br>
>> >><br>
>> >> From: Sam P <<a href="mailto:sam47priya@gmail.com" target="_blank">sam47priya@gmail.com</a>><br>
>> >> Reply-To: "<a href="mailto:openstack-dev@lists.openstack.org" target="_blank">openstack-dev@lists.openstack.org</a>"<br>
>> >> <<a href="mailto:openstack-dev@lists.openstack.org" target="_blank">openstack-dev@lists.openstack.org</a>><br>
>> >> Date: Thursday, May 18, 2017 at 1:51 PM<br>
>> >> To: "<a href="mailto:openstack-dev@lists.openstack.org" target="_blank">openstack-dev@lists.openstack.org</a>"<br>
>> >> <<a href="mailto:openstack-dev@lists.openstack.org" target="_blank">openstack-dev@lists.openstack.org</a>><br>
>> >> Subject: Re: [openstack-dev] [vitrage] [nova] [HA] [masakari] VM<br>
>> >> Heartbeat<br>
>> >> / Healthcheck Monitoring<br>
>> >><br>
>> >><br>
>> >><br>
>> >> Hi Greg,<br>
>> >><br>
>> >> Thank you Adam for followup.<br>
>> >><br>
>> >> This is new feature for masakari-monitors and think  Masakari can<br>
>> >><br>
>> >> accommodate this feature in  masakari-monitors.<br>
>> >><br>
>> >> From the implementation prospective, it is not that hard to do.<br>
>> >><br>
>> >> However, as you can see in our Boston presentation, Masakari will<br>
>> >><br>
>> >> replace its monitoring parts ( which is masakari-monitors) with,<br>
>> >><br>
>> >> nova-host-alerter, **-process-alerter, and **-instance-alerter. (**<br>
>> >><br>
>> >> part is not defined yet..:p)...<br>
>> >><br>
>> >> Therefore, I would like to save this specifications, and make sure we<br>
>> >><br>
>> >> will not miss  anything in the transformation..<br>
>> >><br>
>> >> Does is make sense to write simple spec for this in masakari-spec [1]?<br>
>> >><br>
>> >> So we can discuss about the requirements how to implement it.<br>
>> >><br>
>> >><br>
>> >><br>
>> >> [1] <a href="https://github.com/openstack/masakari-specs" rel="noreferrer" target="_blank">https://github.com/openstack/masakari-specs</a><br>
>> >><br>
>> >><br>
>> >><br>
>> >> --- Regards,<br>
>> >><br>
>> >> Sampath<br>
>> >><br>
>> >><br>
>> >><br>
>> >><br>
>> >><br>
>> >><br>
>> >><br>
>> >> On Thu, May 18, 2017 at 2:29 AM, Adam Spiers <<a href="mailto:aspiers@suse.com" target="_blank">aspiers@suse.com</a>> wrote:<br>
>> >><br>
>> >> I don't see any reason why masakari couldn't handle that, but you'd<br>
>> >><br>
>> >> have to ask Sampath and the masakari team whether they would consider<br>
>> >><br>
>> >> that in scope for their roadmap.<br>
>> >><br>
>> >><br>
>> >><br>
>> >> Waines, Greg <<a href="mailto:Greg.Waines@windriver.com" target="_blank">Greg.Waines@windriver.com</a>> wrote:<br>
>> >><br>
>> >><br>
>> >><br>
>> >> Sure.  I can propose a new user story.<br>
>> >><br>
>> >><br>
>> >><br>
>> >> And then are you thinking of including this user story in the scope of<br>
>> >><br>
>> >> what masakari would be looking at ?<br>
>> >><br>
>> >><br>
>> >><br>
>> >> Greg.<br>
>> >><br>
>> >><br>
>> >><br>
>> >><br>
>> >><br>
>> >> From: Adam Spiers <<a href="mailto:aspiers@suse.com" target="_blank">aspiers@suse.com</a>><br>
>> >><br>
>> >> Reply-To: "<a href="mailto:openstack-dev@lists.openstack.org" target="_blank">openstack-dev@lists.openstack.org</a>"<br>
>> >><br>
>> >> <<a href="mailto:openstack-dev@lists.openstack.org" target="_blank">openstack-dev@lists.openstack.org</a>><br>
>> >><br>
>> >> Date: Wednesday, May 17, 2017 at 10:08 AM<br>
>> >><br>
>> >> To: "<a href="mailto:openstack-dev@lists.openstack.org" target="_blank">openstack-dev@lists.openstack.org</a>"<br>
>> >><br>
>> >> <<a href="mailto:openstack-dev@lists.openstack.org" target="_blank">openstack-dev@lists.openstack.org</a>><br>
>> >><br>
>> >> Subject: Re: [openstack-dev] [vitrage] [nova] [HA] VM Heartbeat /<br>
>> >><br>
>> >> Healthcheck Monitoring<br>
>> >><br>
>> >><br>
>> >><br>
>> >> Thanks for the clarification Greg.  This sounds like it has the<br>
>> >><br>
>> >> potential to be a very useful capability.  May I suggest that you<br>
>> >><br>
>> >> propose a new user story for it, along similar lines to this existing<br>
>> >><br>
>> >> one?<br>
>> >><br>
>> >><br>
>> >><br>
>> >><br>
>> >><br>
>> >><br>
>> >><br>
>> >> <a href="http://specs.openstack.org/openstack/openstack-user-stories/user-stories/proposed/ha_vm.html" rel="noreferrer" target="_blank">http://specs.openstack.org/openstack/openstack-user-stories/user-stories/proposed/ha_vm.html</a><br>
>> >><br>
>> >><br>
>> >><br>
>> >> Waines, Greg<br>
>> >> <<a href="mailto:Greg.Waines@windriver.com" target="_blank">Greg.Waines@windriver.com</a><mailto:<a href="mailto:Greg.Waines@windriver.com" target="_blank">Greg.Waines@windriver.com</a>>><br>
>> >><br>
>> >> wrote:<br>
>> >><br>
>> >> Yes that’s correct.<br>
>> >><br>
>> >> VM Heartbeating / Health-check Monitoring would introduce intrusive /<br>
>> >><br>
>> >> white-box type monitoring of VMs / Instances.<br>
>> >><br>
>> >><br>
>> >><br>
>> >> I realize this is somewhat in the gray-zone of what a cloud should be<br>
>> >><br>
>> >> monitoring or not,<br>
>> >><br>
>> >> but I believe it provides an alternative for Applications deployed in<br>
>> >> VMs<br>
>> >><br>
>> >> that do not have an external monitoring/management entity like a VNF<br>
>> >> Manager<br>
>> >><br>
>> >> in the MANO architecture.<br>
>> >><br>
>> >> And even for VMs with VNF Managers, it provides a highly reliable<br>
>> >><br>
>> >> alternate monitoring path that does not rely on Tenant Networking.<br>
>> >><br>
>> >><br>
>> >><br>
>> >> You’re correct, that VM HB/HC Monitoring would leverage<br>
>> >><br>
>> >> <a href="https://wiki.libvirt.org/page/Qemu_guest_agent" rel="noreferrer" target="_blank">https://wiki.libvirt.org/page/Qemu_guest_agent</a><br>
>> >><br>
>> >> that would require the agent to be installed in the images for talking<br>
>> >><br>
>> >> back to the compute host.<br>
>> >><br>
>> >> ( there are other examples of similar approaches in openstack ... the<br>
>> >><br>
>> >> murano-agent for installation, the swift-agent for object store<br>
>> >> management<br>
>> >> )<br>
>> >><br>
>> >> Although here, in the case of VM HB/HC Monitoring, via the QEMU Guest<br>
>> >><br>
>> >> Agent, the messaging path is internal thru a QEMU virtual serial<br>
>> >> device.<br>
>> >><br>
>> >> i.e. a very simple interface with very few dependencies ... it’s up and<br>
>> >><br>
>> >> available very early in VM lifecycle and virtually always up.<br>
>> >><br>
>> >><br>
>> >><br>
>> >> Wrt failure modes / use-cases<br>
>> >><br>
>> >><br>
>> >><br>
>> >> ·         a VM’s response to a Heartbeat Challenge Request can be as<br>
>> >><br>
>> >> simple as just ACK-ing,<br>
>> >><br>
>> >> this alone allows for detection of:<br>
>> >><br>
>> >><br>
>> >><br>
>> >> o    a failed or hung QEMU/KVM instance, or<br>
>> >><br>
>> >><br>
>> >><br>
>> >> o    a failed or hung VM’s OS, or<br>
>> >><br>
>> >><br>
>> >><br>
>> >> o    a failure of the VM’s OS to schedule the QEMU Guest Agent daemon,<br>
>> >> or<br>
>> >><br>
>> >><br>
>> >><br>
>> >> o    a failure of the VM to route basic IO via linux sockets.<br>
>> >><br>
>> >><br>
>> >><br>
>> >> ·         I have had feedback that this is similar to the virtual<br>
>> >> hardware<br>
>> >><br>
>> >> watchdog of QEMU/KVM (<br>
>> >><br>
>> >> <a href="https://libvirt.org/formatdomain.html#elementsWatchdog" rel="noreferrer" target="_blank">https://libvirt.org/formatdomain.html#elementsWatchdog</a> )<br>
>> >><br>
>> >><br>
>> >><br>
>> >> ·         However, the VM Heartbeat / Health-check Monitoring<br>
>> >><br>
>> >><br>
>> >><br>
>> >> o   provides a higher-level (i.e. application-level) heartbeating<br>
>> >><br>
>> >><br>
>> >><br>
>> >> §  i.e. if the Heartbeat requests are being answered by the Application<br>
>> >><br>
>> >> running within the VM<br>
>> >><br>
>> >><br>
>> >><br>
>> >> o   provides more than just heartbeating, as the Application can use it<br>
>> >> to<br>
>> >><br>
>> >> trigger a variety of audits,<br>
>> >><br>
>> >><br>
>> >><br>
>> >> o   provides a mechanism for the Application within the VM to report a<br>
>> >><br>
>> >> Health Status / Info back to the Host / Cloud,<br>
>> >><br>
>> >><br>
>> >><br>
>> >> o   provides notification of the Heartbeat / Health-check status to<br>
>> >><br>
>> >> higher-level cloud entities thru Vitrage<br>
>> >><br>
>> >><br>
>> >><br>
>> >> §  e.g.   VM-Heartbeat-Monitor - to - Vitrage - (EventAlarm) - Aodh -<br>
>> >> ...<br>
>> >><br>
>> >> - VNF-Manager<br>
>> >><br>
>> >><br>
>> >><br>
>> >> - (StateChange) - Nova - ... - VNF Manager<br>
>> >><br>
>> >><br>
>> >><br>
>> >><br>
>> >><br>
>> >> Greg.<br>
>> >><br>
>> >><br>
>> >><br>
>> >><br>
>> >><br>
>> >> From: Adam Spiers <<a href="mailto:aspiers@suse.com" target="_blank">aspiers@suse.com</a><mailto:<a href="mailto:aspiers@suse.com" target="_blank">aspiers@suse.com</a>>><br>
>> >><br>
>> >> Reply-To:<br>
>> >><br>
>> >><br>
>> >><br>
>> >> "<a href="mailto:openstack-dev@lists.openstack.org" target="_blank">openstack-dev@lists.openstack.org</a><mailto:<a href="mailto:openstack-dev@lists.openstack.org" target="_blank">openstack-dev@lists.openstack.org</a>>"<br>
>> >><br>
>> >><br>
>> >><br>
>> >> <<a href="mailto:openstack-dev@lists.openstack.org" target="_blank">openstack-dev@lists.openstack.org</a><mailto:<a href="mailto:openstack-dev@lists.openstack.org" target="_blank">openstack-dev@lists.openstack.org</a>>><br>
>> >><br>
>> >> Date: Tuesday, May 16, 2017 at 7:29 PM<br>
>> >><br>
>> >> To:<br>
>> >><br>
>> >><br>
>> >><br>
>> >> "<a href="mailto:openstack-dev@lists.openstack.org" target="_blank">openstack-dev@lists.openstack.org</a><mailto:<a href="mailto:openstack-dev@lists.openstack.org" target="_blank">openstack-dev@lists.openstack.org</a>>"<br>
>> >><br>
>> >><br>
>> >><br>
>> >> <<a href="mailto:openstack-dev@lists.openstack.org" target="_blank">openstack-dev@lists.openstack.org</a><mailto:<a href="mailto:openstack-dev@lists.openstack.org" target="_blank">openstack-dev@lists.openstack.org</a>>><br>
>> >><br>
>> >> Subject: Re: [openstack-dev] [vitrage] [nova] [HA] VM Heartbeat /<br>
>> >><br>
>> >> Healthcheck Monitoring<br>
>> >><br>
>> >><br>
>> >><br>
>> >> Waines, Greg<br>
>> >><br>
>> >><br>
>> >><br>
>> >> <<a href="mailto:Greg.Waines@windriver.com" target="_blank">Greg.Waines@windriver.com</a><mailto:<a href="mailto:Greg.Waines@windriver.com" target="_blank">Greg.Waines@windriver.com</a>><mailto:<a href="mailto:Greg.Waines@windriver.com" target="_blank">Greg.Waines@windriver.com</a>><mailto:<a href="mailto:Greg.Waines@windriver.com" target="_blank">Greg.Waines@windriver.com</a>%3e>><br>
>> >><br>
>> >> wrote:<br>
>> >><br>
>> >> thanks for the pointers Sam.<br>
>> >><br>
>> >><br>
>> >><br>
>> >> I took a quick look.<br>
>> >><br>
>> >> I agree that the VM Heartbeat / Health-check looks like a good fit into<br>
>> >><br>
>> >> Masakari.<br>
>> >><br>
>> >><br>
>> >><br>
>> >> Currently your instance monitoring looks like it is strictly black-box<br>
>> >><br>
>> >> type monitoring thru libvirt events.<br>
>> >><br>
>> >> Is that correct ?<br>
>> >><br>
>> >> i.e. you do not do any intrusive type monitoring of the instance thru<br>
>> >> the<br>
>> >><br>
>> >> QUEMU Guest Agent facility<br>
>> >><br>
>> >>        correct ?<br>
>> >><br>
>> >><br>
>> >><br>
>> >> That is correct:<br>
>> >><br>
>> >><br>
>> >><br>
>> >><br>
>> >><br>
>> >><br>
>> >><br>
>> >> <a href="https://github.com/openstack/masakari-monitors/blob/master/masakarimonitors/instancemonitor/instance.py" rel="noreferrer" target="_blank">https://github.com/openstack/masakari-monitors/blob/master/masakarimonitors/instancemonitor/instance.py</a><br>
>> >><br>
>> >><br>
>> >><br>
>> >> I think this is what VM Heartbeat / Health-check would add to Masaraki.<br>
>> >><br>
>> >> Let me know if you agree.<br>
>> >><br>
>> >><br>
>> >><br>
>> >> OK, so you are looking for something slightly different I guess, based<br>
>> >><br>
>> >> on this QEMU guest agent?<br>
>> >><br>
>> >><br>
>> >><br>
>> >>     <a href="https://wiki.libvirt.org/page/Qemu_guest_agent" rel="noreferrer" target="_blank">https://wiki.libvirt.org/page/Qemu_guest_agent</a><br>
>> >><br>
>> >><br>
>> >><br>
>> >> That would require the agent to be installed in the images, which is<br>
>> >><br>
>> >> extra work but I imagine quite easily justifiable in some scenarios.<br>
>> >><br>
>> >> What failure modes do you have in mind for covering with this<br>
>> >><br>
>> >> approach - things like the guest kernel freezing, for instance?<br>
>> >><br>
>> >><br>
>> >><br>
>> >><br>
>> >><br>
>> >><br>
>> >> __________________________________________________________________________<br>
>> >><br>
>> >> OpenStack Development Mailing List (not for usage questions)<br>
>> >><br>
>> >> Unsubscribe:<br>
>> >> <a href="http://OpenStack-dev-request@lists.openstack.org?subject:unsubscribe" rel="noreferrer" target="_blank">OpenStack-dev-request@lists.openstack.org?subject:unsubscribe</a><br>
>> >><br>
>> >> <a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" rel="noreferrer" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
>> >><br>
>> >><br>
>> >><br>
>> >><br>
>> >> __________________________________________________________________________<br>
>> >><br>
>> >> OpenStack Development Mailing List (not for usage questions)<br>
>> >><br>
>> >> Unsubscribe:<br>
>> >> <a href="http://OpenStack-dev-request@lists.openstack.org?subject:unsubscribe" rel="noreferrer" target="_blank">OpenStack-dev-request@lists.openstack.org?subject:unsubscribe</a><br>
>> >><br>
>> >> <a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" rel="noreferrer" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
>> >><br>
>> >><br>
>> >><br>
>> >><br>
>> >><br>
>> >> __________________________________________________________________________<br>
>> >> OpenStack Development Mailing List (not for usage questions)<br>
>> >> Unsubscribe:<br>
>> >> <a href="http://OpenStack-dev-request@lists.openstack.org?subject:unsubscribe" rel="noreferrer" target="_blank">OpenStack-dev-request@lists.openstack.org?subject:unsubscribe</a><br>
>> >> <a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" rel="noreferrer" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
>> >><br>
>> ><br>
>> ><br>
>> ><br>
>> > --<br>
>> > Regards,<br>
>> > Vikash<br>
>> ><br>
>> ><br>
>> > __________________________________________________________________________<br>
>> > OpenStack Development Mailing List (not for usage questions)<br>
>> > Unsubscribe:<br>
>> > <a href="http://OpenStack-dev-request@lists.openstack.org?subject:unsubscribe" rel="noreferrer" target="_blank">OpenStack-dev-request@lists.openstack.org?subject:unsubscribe</a><br>
>> > <a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" rel="noreferrer" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
>> ><br>
>><br>
>> __________________________________________________________________________<br>
>> OpenStack Development Mailing List (not for usage questions)<br>
>> Unsubscribe: <a href="http://OpenStack-dev-request@lists.openstack.org?subject:unsubscribe" rel="noreferrer" target="_blank">OpenStack-dev-request@lists.openstack.org?subject:unsubscribe</a><br>
>> <a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" rel="noreferrer" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
><br>
><br>
> __________________________________________________________________________<br>
> OpenStack Development Mailing List (not for usage questions)<br>
> Unsubscribe: <a href="http://OpenStack-dev-request@lists.openstack.org?subject:unsubscribe" rel="noreferrer" target="_blank">OpenStack-dev-request@lists.openstack.org?subject:unsubscribe</a><br>
> <a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" rel="noreferrer" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
><br>
<br>
__________________________________________________________________________<br>
OpenStack Development Mailing List (not for usage questions)<br>
Unsubscribe: <a href="http://OpenStack-dev-request@lists.openstack.org?subject:unsubscribe" rel="noreferrer" target="_blank">OpenStack-dev-request@lists.openstack.org?subject:unsubscribe</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" rel="noreferrer" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
</blockquote></div>