<div dir="ltr"><div class="gmail_default" style="font-family:verdana,sans-serif">Hi Greg,<br><br></div><div class="gmail_default" style="font-family:verdana,sans-serif">    Please include my email in this spec also. We are also dealing with HA of Virtual Instances (especially for Vendors) and will participate.<br></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Thu, May 18, 2017 at 11:33 PM, Waines, Greg <span dir="ltr"><<a href="mailto:Greg.Waines@windriver.com" target="_blank">Greg.Waines@windriver.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">







<div bgcolor="white" link="blue" vlink="purple" lang="EN-US">
<div class="m_-5909633631913673130WordSection1">
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:Calibri">Yes I am good with writing spec for this in masakari-spec.<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:Calibri"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:Calibri">Do you use gerrit for this git ?<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:Calibri">Do you have a template for your specs ?<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:Calibri"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:Calibri">Greg.<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:Calibri"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:Calibri"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:Calibri"><u></u> <u></u></span></p>
<div style="border:none;border-top:solid #b5c4df 1.0pt;padding:3.0pt 0cm 0cm 0cm">
<p class="MsoNormal"><b><span style="font-family:Calibri;color:black">From: </span>
</b><span style="font-family:Calibri;color:black">Sam P <<a href="mailto:sam47priya@gmail.com" target="_blank">sam47priya@gmail.com</a>><br>
<b>Reply-To: </b>"<a href="mailto:openstack-dev@lists.openstack.org" target="_blank">openstack-dev@lists.<wbr>openstack.org</a>" <<a href="mailto:openstack-dev@lists.openstack.org" target="_blank">openstack-dev@lists.<wbr>openstack.org</a>><br>
<b>Date: </b>Thursday, May 18, 2017 at 1:51 PM<br>
<b>To: </b>"<a href="mailto:openstack-dev@lists.openstack.org" target="_blank">openstack-dev@lists.<wbr>openstack.org</a>" <<a href="mailto:openstack-dev@lists.openstack.org" target="_blank">openstack-dev@lists.<wbr>openstack.org</a>><br>
<b>Subject: </b>Re: [openstack-dev] [vitrage] [nova] [HA] [masakari] VM Heartbeat / Healthcheck Monitoring<u></u><u></u></span></p>
</div><div><div class="h5">
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">Hi Greg,<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">Thank you Adam for followup.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">This is new feature for masakari-monitors and think  Masakari can<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">accommodate this feature in  masakari-monitors.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">From the implementation prospective, it is not that hard to do.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">However, as you can see in our Boston presentation, Masakari will<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">replace its monitoring parts ( which is masakari-monitors) with,<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">nova-host-alerter, **-process-alerter, and **-instance-alerter. (**<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">part is not defined yet..:p)...<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">Therefore, I would like to save this specifications, and make sure we<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">will not miss  anything in the transformation..<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">Does is make sense to write simple spec for this in masakari-spec [1]?<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">So we can discuss about the requirements how to implement it.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">[1] <a href="https://github.com/openstack/masakari-specs" target="_blank">https://github.com/openstack/<wbr>masakari-specs</a><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">--- Regards,<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">Sampath<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">On Thu, May 18, 2017 at 2:29 AM, Adam Spiers <<a href="mailto:aspiers@suse.com" target="_blank">aspiers@suse.com</a>> wrote:<u></u><u></u></p>
</div>
<blockquote style="border:none;border-left:solid #b5c4df 4.5pt;padding:0cm 0cm 0cm 4.0pt;margin-left:3.75pt;margin-right:0cm" id="m_-5909633631913673130MAC_OUTLOOK_ATTRIBUTION_BLOCKQUOTE">
<div>
<p class="MsoNormal">I don't see any reason why masakari couldn't handle that, but you'd<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">have to ask Sampath and the masakari team whether they would consider<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">that in scope for their roadmap.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">Waines, Greg <<a href="mailto:Greg.Waines@windriver.com" target="_blank">Greg.Waines@windriver.com</a>> wrote:<u></u><u></u></p>
</div>
<blockquote style="border:none;border-left:solid #b5c4df 4.5pt;padding:0cm 0cm 0cm 4.0pt;margin-left:3.75pt;margin-right:0cm" id="m_-5909633631913673130MAC_OUTLOOK_ATTRIBUTION_BLOCKQUOTE">
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">Sure.  I can propose a new user story.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">And then are you thinking of including this user story in the scope of<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">what masakari would be looking at ?<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">Greg.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">From: Adam Spiers <<a href="mailto:aspiers@suse.com" target="_blank">aspiers@suse.com</a>><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">Reply-To: "<a href="mailto:openstack-dev@lists.openstack.org" target="_blank">openstack-dev@lists.<wbr>openstack.org</a>"<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><<a href="mailto:openstack-dev@lists.openstack.org" target="_blank">openstack-dev@lists.<wbr>openstack.org</a>><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">Date: Wednesday, May 17, 2017 at 10:08 AM<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">To: "<a href="mailto:openstack-dev@lists.openstack.org" target="_blank">openstack-dev@lists.<wbr>openstack.org</a>"<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><<a href="mailto:openstack-dev@lists.openstack.org" target="_blank">openstack-dev@lists.<wbr>openstack.org</a>><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">Subject: Re: [openstack-dev] [vitrage] [nova] [HA] VM Heartbeat /<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">Healthcheck Monitoring<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">Thanks for the clarification Greg.  This sounds like it has the<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">potential to be a very useful capability.  May I suggest that you<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">propose a new user story for it, along similar lines to this existing<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">one?<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal"><a href="http://specs.openstack.org/openstack/openstack-user-stories/user-stories/proposed/ha_vm.html" target="_blank">http://specs.openstack.org/<wbr>openstack/openstack-user-<wbr>stories/user-stories/proposed/<wbr>ha_vm.html</a><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">Waines, Greg <<a href="mailto:Greg.Waines@windriver.com" target="_blank">Greg.Waines@windriver.com</a><<a href="mailto:Greg.Waines@windriver.com%3e" target="_blank">mai<wbr>lto:Greg.Waines@windriver.com></a><wbr>><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">wrote:<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">Yes that’s correct.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">VM Heartbeating / Health-check Monitoring would introduce intrusive /<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">white-box type monitoring of VMs / Instances.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">I realize this is somewhat in the gray-zone of what a cloud should be<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">monitoring or not,<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">but I believe it provides an alternative for Applications deployed in VMs<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">that do not have an external monitoring/management entity like a VNF Manager<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">in the MANO architecture.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">And even for VMs with VNF Managers, it provides a highly reliable<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">alternate monitoring path that does not rely on Tenant Networking.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">You’re correct, that VM HB/HC Monitoring would leverage<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><a href="https://wiki.libvirt.org/page/Qemu_guest_agent" target="_blank">https://wiki.libvirt.org/page/<wbr>Qemu_guest_agent</a><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">that would require the agent to be installed in the images for talking<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">back to the compute host.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">( there are other examples of similar approaches in openstack ... the<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">murano-agent for installation, the swift-agent for object store management )<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">Although here, in the case of VM HB/HC Monitoring, via the QEMU Guest<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">Agent, the messaging path is internal thru a QEMU virtual serial device.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">i.e. a very simple interface with very few dependencies ... it’s up and<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">available very early in VM lifecycle and virtually always up.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">Wrt failure modes / use-cases<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">·         a VM’s response to a Heartbeat Challenge Request can be as<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">simple as just ACK-ing,<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">this alone allows for detection of:<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">o    a failed or hung QEMU/KVM instance, or<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">o    a failed or hung VM’s OS, or<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">o    a failure of the VM’s OS to schedule the QEMU Guest Agent daemon, or<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">o    a failure of the VM to route basic IO via linux sockets.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">·         I have had feedback that this is similar to the virtual hardware<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">watchdog of QEMU/KVM (<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><a href="https://libvirt.org/formatdomain.html#elementsWatchdog" target="_blank">https://libvirt.org/<wbr>formatdomain.html#<wbr>elementsWatchdog</a> )<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">·         However, the VM Heartbeat / Health-check Monitoring<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">o   provides a higher-level (i.e. application-level) heartbeating<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">§  i.e. if the Heartbeat requests are being answered by the Application<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">running within the VM<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">o   provides more than just heartbeating, as the Application can use it to<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">trigger a variety of audits,<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">o   provides a mechanism for the Application within the VM to report a<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">Health Status / Info back to the Host / Cloud,<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">o   provides notification of the Heartbeat / Health-check status to<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">higher-level cloud entities thru Vitrage<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">§  e.g.   VM-Heartbeat-Monitor - to - Vitrage - (EventAlarm) - Aodh - ...<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">- VNF-Manager<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">- (StateChange) - Nova - ... - VNF Manager<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">Greg.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">From: Adam Spiers <<a href="mailto:aspiers@suse.com" target="_blank">aspiers@suse.com</a><<a href="mailto:aspiers@suse.com%3e" target="_blank">mailto:<wbr>aspiers@suse.com></a>><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">Reply-To:<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">"<a href="mailto:openstack-dev@lists.openstack.org" target="_blank">openstack-dev@lists.<wbr>openstack.org</a><<a href="mailto:openstack-dev@lists.openstack.org%3e" target="_blank">mailto:<wbr>openstack-dev@lists.openstack.<wbr>org></a>"<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><<a href="mailto:openstack-dev@lists.openstack.org" target="_blank">openstack-dev@lists.<wbr>openstack.org</a><<a href="mailto:openstack-dev@lists.openstack.org%3e" target="_blank">mailto:<wbr>openstack-dev@lists.openstack.<wbr>org></a>><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">Date: Tuesday, May 16, 2017 at 7:29 PM<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">To:<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">"<a href="mailto:openstack-dev@lists.openstack.org" target="_blank">openstack-dev@lists.<wbr>openstack.org</a><<a href="mailto:openstack-dev@lists.openstack.org%3e" target="_blank">mailto:<wbr>openstack-dev@lists.openstack.<wbr>org></a>"<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><<a href="mailto:openstack-dev@lists.openstack.org" target="_blank">openstack-dev@lists.<wbr>openstack.org</a><<a href="mailto:openstack-dev@lists.openstack.org%3e" target="_blank">mailto:<wbr>openstack-dev@lists.openstack.<wbr>org></a>><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">Subject: Re: [openstack-dev] [vitrage] [nova] [HA] VM Heartbeat /<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">Healthcheck Monitoring<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">Waines, Greg<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><<a href="mailto:Greg.Waines@windriver.com" target="_blank">Greg.Waines@windriver.com</a><<a href="mailto:Greg.Waines@windriver.com%3e%3cmailto:Greg.Waines@windriver.com%3e%3cmailto:Greg.Waines@windriver.com%3e%3e" target="_blank">mai<wbr>lto:Greg.Waines@windriver.com><wbr><mailto:Greg.Waines@windriver.<wbr>com><mailto:Greg.Waines@<wbr>windriver.com%3e></a>><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">wrote:<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">thanks for the pointers Sam.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">I took a quick look.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">I agree that the VM Heartbeat / Health-check looks like a good fit into<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">Masakari.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">Currently your instance monitoring looks like it is strictly black-box<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">type monitoring thru libvirt events.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">Is that correct ?<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">i.e. you do not do any intrusive type monitoring of the instance thru the<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">QUEMU Guest Agent facility<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">       correct ?<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">That is correct:<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal"><a href="https://github.com/openstack/masakari-monitors/blob/master/masakarimonitors/instancemonitor/instance.py" target="_blank">https://github.com/openstack/<wbr>masakari-monitors/blob/master/<wbr>masakarimonitors/<wbr>instancemonitor/instance.py</a><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">I think this is what VM Heartbeat / Health-check would add to Masaraki.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">Let me know if you agree.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">OK, so you are looking for something slightly different I guess, based<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">on this QEMU guest agent?<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">    <a href="https://wiki.libvirt.org/page/Qemu_guest_agent" target="_blank">https://wiki.libvirt.org/<wbr>page/Qemu_guest_agent</a><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">That would require the agent to be installed in the images, which is<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">extra work but I imagine quite easily justifiable in some scenarios.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">What failure modes do you have in mind for covering with this<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">approach - things like the guest kernel freezing, for instance?<u></u><u></u></p>
</div>
</blockquote>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">______________________________<wbr>______________________________<wbr>______________<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">OpenStack Development Mailing List (not for usage questions)<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">Unsubscribe: <a href="mailto:OpenStack-dev-request@lists.openstack.org" target="_blank">
OpenStack-dev-request@lists.<wbr>openstack.org</a>?subject:<wbr>unsubscribe<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" target="_blank">http://lists.openstack.org/<wbr>cgi-bin/mailman/listinfo/<wbr>openstack-dev</a><u></u><u></u></p>
</div>
</blockquote>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">______________________________<wbr>______________________________<wbr>______________<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">OpenStack Development Mailing List (not for usage questions)<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">Unsubscribe: <a href="mailto:OpenStack-dev-request@lists.openstack.org" target="_blank">
OpenStack-dev-request@lists.<wbr>openstack.org</a>?subject:<wbr>unsubscribe<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" target="_blank">http://lists.openstack.org/<wbr>cgi-bin/mailman/listinfo/<wbr>openstack-dev</a><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
</div></div></div>
</div>

<br>______________________________<wbr>______________________________<wbr>______________<br>
OpenStack Development Mailing List (not for usage questions)<br>
Unsubscribe: <a href="http://OpenStack-dev-request@lists.openstack.org?subject:unsubscribe" rel="noreferrer" target="_blank">OpenStack-dev-request@lists.<wbr>openstack.org?subject:<wbr>unsubscribe</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" rel="noreferrer" target="_blank">http://lists.openstack.org/<wbr>cgi-bin/mailman/listinfo/<wbr>openstack-dev</a><br>
<br></blockquote></div><br><br clear="all"><br>-- <br><div class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><span style="font-family:trebuchet ms,sans-serif">Regards,<br></span></div><span style="font-family:trebuchet ms,sans-serif">Vikash</span><br></div></div>
</div>