<div dir="ltr">Thanks Adrian, I think that we are on same page for this: Using nova ironic drive to provision hyper machines as bay. ;-)  In my previous email, I also mentioned two integration proposals with assumption of using ironic driver provision those hyper machines.<br><br>1) Once Hyper and k8s integration finished, we can deploy k8s in 
two mode: docker and hyper mode, the end user can select which mode they
 want to use. For such case, we do not need to create a new bay but may 
need some enhancement for current k8s bay<br><br>2) After mesos 
and hyper integration,  we can treat mesos and hyper as a new bay to 
magnum. Just like what we are doing now for mesos+marathon. <br></div><div class="gmail_extra"><br><div class="gmail_quote">2015-07-16 23:02 GMT+08:00 Adrian Otto <span dir="ltr"><<a href="mailto:adrian.otto@rackspace.com" target="_blank">adrian.otto@rackspace.com</a>></span>:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">



<div style="word-wrap:break-word">
Jay,
<div><br>
</div>
<div>Hyper is a substitute for a Docker host, so I expect it could work equally well for all of the current bay types. Hyper’s idea of a “pod” and a Kubernetes “pod” are similar, but different. I’m not yet convinced that integrating Hyper host creation
 direct with Magnum (and completely bypassing nova) is a good idea. It probably makes more sense to implement use nova with the ironic dirt driver to provision Hyper hosts so we can use those as substitutes for Bay nodes in our various Bay types. This would
 fit in the place were we use Fedora Atomic today. We could still rely on nova to do all of the machine instance management and accounting like we do today, but produce bays that use Hyper instead of a Docker host. Everywhere we currently offer CoreOS as an
 option we could also offer Hyper as an alternative, with some caveats. </div>
<div><br>
</div>
<div>There may be some caveats/drawbacks to consider before committing to a Hyper integration. I’ll be asking those of Peng also on this thread, so keep an eye out.</div>
<div><br>
</div>
<div>Thanks,</div>
<div><br>
</div>
<div>Adrian</div>
<div><br>
<div>
<blockquote type="cite"><div><div class="h5">
<div>On Jul 16, 2015, at 3:23 AM, Jay Lau <<a href="mailto:jay.lau.513@gmail.com" target="_blank">jay.lau.513@gmail.com</a>> wrote:</div>
<br>
</div></div><div><div><div class="h5">
<div dir="ltr">
<div>
<div>
<div>Thanks Peng, then I can see two integration points for Magnum and Hyper:<br>
<br>
</div>
1) Once Hyper and k8s integration finished, we can deploy k8s in two mode: docker and hyper mode, the end user can select which mode they want to use. For such case, we do not need to create a new bay but may need some enhancement for current k8s bay<br>
<br>
</div>
2) After mesos and hyper integration,  we can treat mesos and hyper as a new bay to magnum. Just like what we are doing now for mesos+marathon.<br>
<br>
</div>
Thanks!<br>
</div>
</div></div><div class="gmail_extra"><br>
<div class="gmail_quote"><div><div class="h5">2015-07-16 17:38 GMT+08:00 Peng Zhao <span dir="ltr">
<<a href="mailto:peng@hyper.sh" target="_blank">peng@hyper.sh</a>></span>:<br>
</div></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<u></u>
<div style="word-wrap:normal;word-break:break-word">
<table valign="top" style="width:100%;margin-top:6px" border="0" cellpadding="0" cellspacing="0" lang="container">
<tbody>
<tr>
<td style="line-height:1.31;color:#222;font-family:arial,sans-serif" valign="top"><div><div class="h5">
<div style="max-width:590px">Hi Jay,</div>
<div style="max-width:590px"><br>
</div>
<div style="max-width:590px">Yes, we are working with the community to integrate Hyper with Mesos and K8S. Since Hyper uses Pod as the default job unit, it is quite easy to integrate with K8S. Mesos takes a bit more efforts, but still straightforward.</div>
<div style="max-width:590px"><br>
</div>
<div style="max-width:590px">We expect to finish both integration in v0.4 early August.</div>
<div style="max-width:590px"><br>
</div>
<div style="max-width:590px">Best,</div>
<span>
<div style="max-width:590px">Peng</div>
<div style="max-width:590px"><br>
</div>
<div style="max-width:590px">
<div style="font-size:13px;line-height:1.25;max-width:590px">
<div style="font-size:14px;max-width:590px">-----------------------------------------------------</div>
<div style="font-size:14px;max-width:590px">Hyper - Make VM run like Container</div>
<div style="font-size:14px;max-width:590px"><br>
</div>
</div>
</div>
<br>
</span>
</div></div><div class="gmail_extra"><br>
<div class="gmail_quote"><div><div class="h5">
<div>
<div>On Thu, Jul 16, 2015 at 3:47 PM, Jay Lau <span dir="ltr">
<<a href="mailto:jay.lau.513@gmail.com" target="_blank">jay.lau.513@gmail.com</a>></span> wrote:<br>
</div>
</div>
</div></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div><div class="h5">
<div>
<div>
<div dir="ltr">
<div>Hi Peng,<br>
<br>
<br>
</div>
<div>Just want to get more for Hyper. If we create a hyper bay, then can I set up multiple hosts in a hyper bay? If so, who will do the scheduling, does mesos or some others integrate with hyper?
<br>
<br>
</div>
<div>I did not find much info for hyper cluster management.<br>
</div>
<div><br>
</div>
<div>Thanks.<br>
</div>
</div>
</div>
</div>
</div></div><div class="gmail_extra">
<div>
<div><br>
<div class="gmail_quote"><div><div class="h5">
<div>
<div>2015-07-16 9:54 GMT+08:00 Peng Zhao <span dir="ltr"><<a href="mailto:peng@hyper.sh" target="_blank">peng@hyper.sh</a>></span>:<br>
</div>
</div>
</div></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div><div class="h5">
<div>
<div>
<div>
<div>
<div><br>
</div>
<div><u></u>
<div> </div>
<div></div>
<div>
<div dir="ltr">
<div class="gmail_quote">
<div style="word-wrap:normal;word-break:break-word">
<table valign="top" style="width:100%;margin-top:6px" border="0" cellpadding="0" cellspacing="0" lang="container">
<tbody>
<tr>
<td style="line-height:1.31;color:#222;font-family:arial,sans-serif" valign="top">
<div class="gmail_extra" style="max-width:590px">
<div class="gmail_quote" style="max-width:590px"><br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div><br>
</div>
<div><u></u>
<div> <br>
</div>
<div> <br>
</div>
<div>
<div style="FONT-SIZE:12px;FONT-FAMILY:Arial Narrow;padding:2px 0 2px 0">
------------------ Original ------------------</div>
<div style="FONT-SIZE:12px;background:#efefef;padding:8px">
<div><b>From: </b> “Adrian Otto”<<a href="mailto:adrian.otto@rackspace.com" target="_blank">adrian.otto@rackspace.com</a>>;</div>
<div><b>Date: </b> Wed, Jul 15, 2015 02:31 AM</div>
<div><b>To: </b> “OpenStack Development Mailing List (not for usage questions)“<<a href="mailto:openstack-dev@lists.openstack.org" target="_blank">openstack-dev@lists.openstack.org</a>>;
</div>
<div><br>
</div>
<div><b>Subject: </b> Re: [openstack-dev] [magnum][bp] Power Magnum to run onmetal withHyper</div>
</div>
<div> <br>
</div>
Peng,
<div><br>
<div>
<blockquote type="cite">
<div>On Jul 13, 2015, at 8:37 PM, Peng Zhao <<a href="mailto:peng@hyper.sh" target="_blank">peng@hyper.sh</a>> wrote:</div>
<br>
<div>
<div>Thanks Adrian!</div>
<div><br>
</div>
<div>Hi, all,</div>
<div><br>
</div>
<div>Let me recap what is hyper and the idea of hyperstack. </div>
<div><br>
</div>
<div><span style="line-height:1.5">Hyper is a single-host runtime engine.</span><span style="line-height:1.5"> </span>Technically,
</div>
<div>Docker = LXC + AUFS</div>
<div>Hyper = Hypervisor + AUFS</div>
<div><span style="line-height:1.5">where AUFS is the Docker image.</span></div>
</div>
</blockquote>
<div><br>
</div>
I do not understand the last line above. My understanding is that AUFS == UnionFS, which is used to implement a storage driver for Docker. Others exist for btrfs, and devicemapper. You select which one you want by setting an option like this:</div>
<div><br>
</div>
<div>DOCKEROPTS=<span><span>”</span>-s devicemapper<span>”</span></span></div>
<div><br>
</div>
<div style="max-width:590px">Are you trying to say that with Hyper, AUFS is used to provide layered Docker image capability that are shared by multiple hypervisor guests?</div>
</div>
<div style="max-width:590px"><br>
</div>
</div>
</div>
</blockquote>
<font>
<div class="gmail_quote" style="max-width:590px"><font>Peng >>> Yes, AUFS implies the Docker images here.</font></div>
<br>
</font>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div>
<div>
<div>
<div>My guess is that you are trying to articulate that a host running Hyper is a 1:1 substitute for a host running Docker, and will respond using the Docker remote API. This would result in containers running on the same host that have a superior
 security isolation than they would if LXC was used as the backend to Docker. Is this correct?</div>
</div>
<div><br>
</div>
</div>
</div>
</blockquote>
<font>Peng>>> Exactly</font>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div>
<div>
<div>
<div style="max-width:590px"><br>
<blockquote type="cite">
<div>
<div><span style="line-height:1.5">Due to the shared-kernel nature of LXC, Docker lacks of the necessary isolation in a multi-tenant CaaS platform, and this is what Hyper/hypervisor is good at.</span></div>
<div><br>
</div>
<div>And because of this, most CaaS today run on top of IaaS: <a href="https://trello-attachments.s3.amazonaws.com/55545e127c7cbe0ec5b82f2b/388x275/e286dea1266b46c1999d566b0f9e326b/iaas.png" target="_blank">
https://trello-attachments.s3.amazonaws.com/55545e127c7cbe0ec5b82f2b/388x275/e286dea1266b46c1999d566b0f9e326b/iaas.png</a></div>
<div>Hyper enables the native, secure, bare-metal CaaS  <a href="https://trello-attachments.s3.amazonaws.com/55545e127c7cbe0ec5b82f2b/395x244/828ad577dafb3f357e95899e962651b2/caas.png" target="_blank">https://trello-attachments.s3.amazonaws.com/55545e127c7cbe0ec5b82f2b/395x244/828ad577dafb3f357e95899e962651b2/caas.png</a></div>
<div><br>
</div>
<div>From the tech stack perspective, Hyperstack turns Magnum o run in parallel with Nova, not running on atop.</div>
</div>
</blockquote>
<div><br>
</div>
For this to work, we’d expect to get a compute host from Heat, so if the bay type were set to “hyper”, we’d need to use a template that can produce a compute host running Hyper. How would that host be produced, if we do not get it from nova? Might it make more
 sense to make a dirt driver for nova that could produce a Hyper guest on a host already running the nova-compute agent? That way Magnum would not need to re-create any of Nova’s functionality in order to produce nova instances of type “hyper”.</div>
</div>
</div>
</div>
</blockquote>
<font>
<div class="gmail_quote" style="max-width:590px"><font><br>
</font></div>
<div class="gmail_quote" style="max-width:590px"><font>Peng >>> We don’t have to get the physical host from nova. Let’s say</font></div>
<div class="gmail_quote" style="max-width:590px"><font>   OpenStack = Nova+Cinder+Neutron+Bare-metal+KVM, so “AWS-like IaaS for everyone else”<br>
</font></div>
<div class="gmail_quote" style="max-width:590px"><font>   HyperStack= Magnum+Cinder+Neutron+Bare-metal+Hyper, then “Google-like CaaS for everyone else”</font></div>
<div class="gmail_quote" style="max-width:590px"><font><br>
</font></div>
<div class="gmail_quote" style="max-width:590px">Ideally, customers should deploy a single OpenStack cluster, with both nova/kvm and magnum/hyper. I’m looking for a solution to make nova/magnum co-exist.</div>
<br>
</font>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div>
<div>
<div>
<div>Is Hyper compatible with libvirt?</div>
</div>
</div>
</div>
</blockquote>
<font>
<div class="gmail_quote" style="max-width:590px"><font><br>
</font></div>
<div class="gmail_quote" style="max-width:590px"><font>Peng>>> We are working on the libvirt integration, expect in v0.5</font></div>
<br>
</font>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div>
<div>
<div>
<div><br>
</div>
<div>Can Hyper support nested Docker containers within the Hyper guest?</div>
</div>
</div>
</div>
</blockquote>
<font>
<div class="gmail_quote" style="max-width:590px"><font><br>
</font></div>
Peng>>> Docker in Docker? In a HyperVM instance, there is no docker daemon, cgroup and namespace (except MNT for pod). VM serves the purpose of isolation. We plan to support cgroup and namespace, so you can control whether multiple containers in a pod share
 the same namespace, or completely isolated. But in either case, no docker daemon is present.</font></div>
<div class="gmail_quote" style="max-width:590px"><font><br>
</font>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div>
<div>
<div>
<div><br>
</div>
<div>Thanks,</div>
<div><br>
</div>
<div>Adrian Otto</div>
<div><br>
</div>
<div>
<blockquote type="cite">
<div>
<div><br>
</div>
<div>
<div>Best,</div>
<div>Peng</div>
<div> <br>
</div>
<div>
<div style="FONT-SIZE:12px;FONT-FAMILY:Arial Narrow;padding:2px 0 2px 0">
------------------ Original ------------------</div>
<div style="FONT-SIZE:12px;background:#efefef;padding:8px">
<div><b>From: </b> “Adrian Otto”<<a href="mailto:adrian.otto@rackspace.com" target="_blank">adrian.otto@rackspace.com</a>>;</div>
<div><b>Date: </b> Tue, Jul 14, 2015 07:18 AM</div>
<div><b>To: </b> “OpenStack Development Mailing List (not for usage questions)“<<a href="mailto:openstack-dev@lists.openstack.org" target="_blank">openstack-dev@lists.openstack.org</a>>;
</div>
<div><br>
</div>
<div><b>Subject: </b> Re: [openstack-dev] [magnum][bp] Power Magnum to run on metal withHyper</div>
</div>
<div> <br>
</div>
Team,
<div><br>
</div>
<div>I woud like to ask for your input about adding support for Hyper in Magnum:</div>
<div><br>
</div>
<div><a href="https://blueprints.launchpad.net/magnum/+spec/hyperstack" target="_blank">https://blueprints.launchpad.net/magnum/+spec/hyperstack</a></div>
<div><br>
</div>
<div>We touched on this in our last team meeting, and it was apparent that achieving a higher level of understanding of the technology before weighing in about the directional approval of this blueprint. Peng Zhao and Xu Wang have graciously agreed
 to respond to this thread to address questions about how the technology works, and how it could be integrated with Magnum.</div>
<div><br>
</div>
<div>Please take a moment to review the blueprint, and ask your questions here on this thread.</div>
<div><br>
</div>
<div>Thanks,</div>
<div><br>
</div>
<div>Adrian Otto</div>
<div><br>
</div>
<div>
<blockquote type="cite">
<div>On Jul 2, 2015, at 8:48 PM, Peng Zhao <<a href="mailto:peng@hyper.sh" target="_blank">peng@hyper.sh</a>> wrote:</div>
<br>
<div>
<table valign="top" style="font-family:Helvetica;font-size:12px;font-style:normal;font-variant:normal;font-weight:normal;letter-spacing:normal;line-height:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;width:743px;margin-top:6px" border="0" cellpadding="0" cellspacing="0" lang="container">
<tbody>
<tr>
<td style="padding-top:6px;line-height:1.31;color:rgb(34,34,34);font-family:arial,sans-serif" valign="top">
<div>Here is the bp of Magnum+Hyper+Metal integration: <a href="https://blueprints.launchpad.net/magnum/+spec/hyperstack" style="word-wrap:normal;word-break:break-word" target="_blank">
https://blueprints.launchpad.net/magnum/+spec/hyperstack</a></div>
<div><br>
</div>
<div>Wanted to hear more thoughts and kickstart some brainstorming.</div>
<div><br>
</div>
<div>Thanks,</div>
<div>Peng</div>
<div><br>
</div>
<div>-----------------------------------------------------</div>
<div>Hyper - Make VM run like Container</div>
<div><br>
</div>
<img style="border:0px;width:0px;min-height:0px" height="0" width="0"></td>
</tr>
</tbody>
</table>
<span style="font-family:Helvetica;font-size:12px;font-style:normal;font-variant:normal;font-weight:normal;letter-spacing:normal;line-height:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;float:none;display:inline!important">__________________________________________________________________________</span><br style="font-family:Helvetica;font-size:12px;font-style:normal;font-variant:normal;font-weight:normal;letter-spacing:normal;line-height:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px">
<span style="font-family:Helvetica;font-size:12px;font-style:normal;font-variant:normal;font-weight:normal;letter-spacing:normal;line-height:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;float:none;display:inline!important">OpenStack
 Development Mailing List (not for usage questions)</span><br style="font-family:Helvetica;font-size:12px;font-style:normal;font-variant:normal;font-weight:normal;letter-spacing:normal;line-height:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px">
<span style="font-family:Helvetica;font-size:12px;font-style:normal;font-variant:normal;font-weight:normal;letter-spacing:normal;line-height:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;float:none;display:inline!important">Unsubscribe:<span> </span></span><a href="mailto:OpenStack-dev-request@lists.openstack.org" style="word-wrap:normal;word-break:break-word;font-family:Helvetica;font-size:12px;font-style:normal;font-variant:normal;font-weight:normal;letter-spacing:normal;line-height:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px" target="_blank">OpenStack-dev-request@lists.openstack.org</a><span style="font-family:Helvetica;font-size:12px;font-style:normal;font-variant:normal;font-weight:normal;letter-spacing:normal;line-height:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;float:none;display:inline!important">?subject:unsubscribe</span><br style="font-family:Helvetica;font-size:12px;font-style:normal;font-variant:normal;font-weight:normal;letter-spacing:normal;line-height:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px">
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" style="word-wrap:normal;word-break:break-word;font-family:Helvetica;font-size:12px;font-style:normal;font-variant:normal;font-weight:normal;letter-spacing:normal;line-height:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a></div>
</blockquote>
</div>
<br>
</div>
</div>
__________________________________________________________________________<br>
OpenStack Development Mailing List (not for usage questions)<br>
Unsubscribe: <a href="mailto:OpenStack-dev-request@lists.openstack.org" target="_blank">
OpenStack-dev-request@lists.openstack.org</a>?subject:unsubscribe<br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
</div>
</blockquote>
</div>
<br>
</div>
</div>
<u></u></div>
</blockquote>
</div>
<br>
</div>
</td>
</tr>
</tbody>
</table>
</div>
</div>
<br>
</div>
</div>
<u></u></div>
</div>
</div>
<br>
</div>
</div>
</div></div><span><div><div class="h5">__________________________________________________________________________<br>
OpenStack Development Mailing List (not for usage questions)<br></div></div>
Unsubscribe: <a href="http://OpenStack-dev-request@lists.openstack.org/?subject:unsubscribe" rel="noreferrer" target="_blank">
OpenStack-dev-request@lists.openstack.org?subject:unsubscribe</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" rel="noreferrer" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
<br>
</span></blockquote>
</div>
<br>
<br>
</div>
</div><span class="">
<span><span><font color="#888888">-- <br>
<div>
<div dir="ltr">
<div>
<div dir="ltr">
<div>Thanks,<br>
<br>
</div>
Jay Lau (Guangya Liu)<br>
</div>
</div>
</div>
</div>
</font></span></span></span></div>
<span><span class=""><br>
__________________________________________________________________________<br>
OpenStack Development Mailing List (not for usage questions)<br></span>
Unsubscribe: <a href="http://OpenStack-dev-request@lists.openstack.org/?subject:unsubscribe" rel="noreferrer" target="_blank">
OpenStack-dev-request@lists.openstack.org?subject:unsubscribe</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" rel="noreferrer" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
<br>
</span></blockquote>
</div>
<br>
</div>
<img style="border:0;width:0px;min-height:0px" src="https://app.mixmax.com/api/track/v2/DrWziYtTJofqeDgT1/ig2cuIXZwlHaAdmblBnI/IyZy9mLrNWY0NnblB3buMHdzlGbAZXZk1yajFGdz5WZw9mI/iQ3cpxEIn5WaslWYNBCduVWbw9GblZXZEByajFGdT5WZw9kI?sc=false" alt="" height="0" width="0">
</td>
</tr>
</tbody>
</table>
</div><span class="">
<br>
__________________________________________________________________________<br>
OpenStack Development Mailing List (not for usage questions)<br></span>
Unsubscribe: <a href="http://OpenStack-dev-request@lists.openstack.org/?subject:unsubscribe" rel="noreferrer" target="_blank">
OpenStack-dev-request@lists.openstack.org?subject:unsubscribe</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" rel="noreferrer" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
<br>
</blockquote>
</div><span class="">
<br>
<br clear="all">
<br>
-- <br>
<div>
<div dir="ltr">
<div>
<div dir="ltr">
<div>Thanks,<br>
<br>
</div>
Jay Lau (Guangya Liu)<br>
</div>
</div>
</div>
</div>
</span></div><span class="">
__________________________________________________________________________<br>
OpenStack Development Mailing List (not for usage questions)<br></span>
Unsubscribe: <a href="mailto:OpenStack-dev-request@lists.openstack.org" target="_blank">
OpenStack-dev-request@lists.openstack.org</a>?subject:unsubscribe<br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
</div>
</blockquote>
</div>
<br>
</div>
</div>

<br>__________________________________________________________________________<br>
OpenStack Development Mailing List (not for usage questions)<br>
Unsubscribe: <a href="http://OpenStack-dev-request@lists.openstack.org?subject:unsubscribe" rel="noreferrer" target="_blank">OpenStack-dev-request@lists.openstack.org?subject:unsubscribe</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" rel="noreferrer" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
<br></blockquote></div><br><br clear="all"><br>-- <br><div class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div>Thanks,<br><br></div>Jay Lau (Guangya Liu)<br></div></div></div></div>
</div>