<div dir="ltr">Hi Kazu,<div><br></div><div>thanks for this update. Sorry I am a bit late in replying to this thread, but one of my students just ran into an issue running pacemaker-based evacuation of hosts. It seems that pacemaker 1.1.10 is not supposed to work with remote, and the 14.04 distro comes with that version. </div><div><br></div><div>Did you get remote to work, if so how? The pull request [1] indicates that remote support was added, but its unclear how the above version difference was handled. Did you people resort to compiling the latest pcm from source or something else?</div><div><br></div><div><br></div><div>Affan</div><div><br></div><div><br></div><div><br></div><div>[1] <a href="https://github.com/ntt-sic/masakari/pull/11">https://github.com/ntt-sic/masakari/pull/11</a><br><br><div class="gmail_quote"><div dir="ltr">On Fri, 19 Feb 2016 at 09:19 Toshikazu Ichikawa <<a href="mailto:ichikawa.toshikazu@lab.ntt.co.jp">ichikawa.toshikazu@lab.ntt.co.jp</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div lang="JA" link="blue" vlink="purple"><div><p class="MsoNormal"><span lang="EN-US" style="font-size:10.0pt;font-family:"Arial",sans-serif;color:#1f497d">Hi Affan,<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US" style="font-size:10.0pt;font-family:"Arial",sans-serif;color:#1f497d"><u></u> <u></u></span></p><p class="MsoNormal"><span lang="EN-US" style="font-size:10.0pt;font-family:"Arial",sans-serif;color:#1f497d">Pacemaker works fine on either a canonical distribution or RDO.<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US" style="font-size:10.0pt;font-family:"Arial",sans-serif;color:#1f497d">I use our tool [1] using Pacemaker on Ubuntu without any specific issue.<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US" style="font-size:10.0pt;font-family:"Arial",sans-serif;color:#1f497d"><u></u> <u></u></span></p><p class="MsoNormal"><span lang="EN-US" style="font-size:10.0pt;font-family:"Arial",sans-serif;color:#1f497d">[1] <a href="https://github.com/ntt-sic/masakari" target="_blank">https://github.com/ntt-sic/masakari</a><u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US" style="font-size:10.0pt;font-family:"Arial",sans-serif;color:#1f497d"><u></u> <u></u></span></p><p class="MsoNormal"><span lang="EN-US" style="font-size:10.0pt;font-family:"Arial",sans-serif;color:#1f497d">Thanks,<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US" style="font-size:10.0pt;font-family:"Arial",sans-serif;color:#1f497d">Kazu<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US" style="font-size:10.0pt;font-family:"Arial",sans-serif;color:#1f497d"><u></u> <u></u></span></p><p class="MsoNormal"><b><span lang="EN-US" style="font-size:11.0pt;font-family:"Calibri",sans-serif">From:</span></b><span lang="EN-US" style="font-size:11.0pt;font-family:"Calibri",sans-serif"> Affan Syed [mailto:<a href="mailto:affan.syed.usc@gmail.com" target="_blank">affan.syed.usc@gmail.com</a>] <br><b>Sent:</b> Tuesday, February 16, 2016 2:02 PM<br><b>To:</b> Matt Fischer <<a href="mailto:matt@mattfischer.com" target="_blank">matt@mattfischer.com</a>>; Toshikazu Ichikawa <<a href="mailto:ichikawa.toshikazu@lab.ntt.co.jp" target="_blank">ichikawa.toshikazu@lab.ntt.co.jp</a>><br><b>Cc:</b> <a href="mailto:openstack-operators@lists.openstack.org" target="_blank">openstack-operators@lists.openstack.org</a><br><b>Subject:</b> Re: [Openstack-operators] [nova] VM HA support in trunk<u></u><u></u></span></p></div></div><div lang="JA" link="blue" vlink="purple"><div><p class="MsoNormal"><span lang="EN-US"><u></u> <u></u></span></p><div><p class="MsoNormal"><span lang="EN-US">Hi Kazu and Matt,<u></u><u></u></span></p><div><p class="MsoNormal"><span lang="EN-US">Thanks for the pointers. I think the discussion around pacemaker and pacemaker remote seems most promising, esp with Russel's blog post I found after I emailed earlier [1].<u></u><u></u></span></p></div><div><p class="MsoNormal"><span lang="EN-US"><u></u> <u></u></span></p></div><div><p class="MsoNormal"><span lang="EN-US">Not sure how tooling would be different, but pacemaker, given its use in the controller cluster anyways, seems a more logical choice. Any issues you people think with a canonical distribution instead of RDO?<u></u><u></u></span></p></div><div><p class="MsoNormal"><span lang="EN-US"><u></u> <u></u></span></p></div><div><p class="MsoNormal"><span lang="EN-US">Affan<u></u><u></u></span></p></div><div><p class="MsoNormal"><span lang="EN-US"><u></u> <u></u></span></p></div><div><p class="MsoNormal"><span lang="EN-US"><u></u> <u></u></span></p></div><div><p class="MsoNormal"><span lang="EN-US">[1] <a href="http://blog.russellbryant.net/2015/03/10/the-different-facets-of-openstack-ha/" target="_blank">http://blog.russellbryant.net/2015/03/10/the-different-facets-of-openstack-ha/</a><u></u><u></u></span></p></div><div><p class="MsoNormal"><span lang="EN-US">  <u></u><u></u></span></p></div><div><div><div><p class="MsoNormal"><span lang="EN-US">On Mon, 15 Feb 2016 at 20:59 Matt Fischer <<a href="mailto:matt@mattfischer.com" target="_blank">matt@mattfischer.com</a>> wrote:<u></u><u></u></span></p></div><blockquote style="border:none;border-left:solid #cccccc 1.0pt;padding:0mm 0mm 0mm 6.0pt;margin-left:4.8pt;margin-right:0mm"><div><div><p class="MsoNormal"><span lang="EN-US">I believe that either have your customers design their apps to handle failures or have tools that are reactive to failures.<u></u><u></u></span></p></div><div><p class="MsoNormal"><span lang="EN-US"><u></u> <u></u></span></p></div><div><p class="MsoNormal"><span lang="EN-US">Unfortunately like many other private cloud operators we deal a lot with legacy applications that aren't scaled horizontally or fault tolerant and so we've built tooling to handle customer notifications (reactive). When we lose a compute host we generate a notice to customers and then work on evacuating their instances. For the evac portion nova host-evacuate or host-evacuate-live work fairly well, although we rarely get a functioning floating-IP after host-evacuate without other work.<u></u><u></u></span></p></div><div><p class="MsoNormal"><span lang="EN-US"><u></u> <u></u></span></p></div><div><p class="MsoNormal"><span lang="EN-US">Getting adoption of heat or other automation tooling to educate customers is a long process, especially when they're used to VMware where I think they get the VM HA stuff for "free".<u></u><u></u></span></p></div><div><p class="MsoNormal"><span lang="EN-US"><u></u> <u></u></span></p></div></div><div><p class="MsoNormal"><span lang="EN-US"><u></u> <u></u></span></p></div><div><div><p class="MsoNormal"><span lang="EN-US">On Mon, Feb 15, 2016 at 8:25 AM, Toshikazu Ichikawa <<a href="mailto:ichikawa.toshikazu@lab.ntt.co.jp" target="_blank">ichikawa.toshikazu@lab.ntt.co.jp</a>> wrote:<u></u><u></u></span></p></div></div><div><div><blockquote style="border:none;border-left:solid #cccccc 1.0pt;padding:0mm 0mm 0mm 6.0pt;margin-left:4.8pt;margin-right:0mm"><div><div><p class="MsoNormal"><span lang="EN-US" style="font-size:10.0pt;font-family:"Arial",sans-serif;color:#1f497d">Hi Affan,</span><span lang="EN-US"><u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US" style="font-size:10.0pt;font-family:"Arial",sans-serif;color:#1f497d"> </span><span lang="EN-US"><u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US" style="font-size:10.0pt;font-family:"Arial",sans-serif;color:#1f497d"> </span><span lang="EN-US"><u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US" style="font-size:10.0pt;font-family:"Arial",sans-serif;color:#1f497d">I don’t think any components in Liberty provide HA VM support directly.</span><span lang="EN-US"><u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US" style="font-size:10.0pt;font-family:"Arial",sans-serif;color:#1f497d"> </span><span lang="EN-US"><u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US" style="font-size:10.0pt;font-family:"Arial",sans-serif;color:#1f497d">However, many works are published and open-sourced, here.</span><span lang="EN-US"><u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US" style="font-size:10.0pt;font-family:"Arial",sans-serif;color:#1f497d"><a href="https://etherpad.openstack.org/p/automatic-evacuation" target="_blank">https://etherpad.openstack.org/p/automatic-evacuation</a></span><span lang="EN-US"><u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US" style="font-size:10.0pt;font-family:"Arial",sans-serif;color:#1f497d">You may find ideas and solutions.</span><span lang="EN-US"><u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US" style="font-size:10.0pt;font-family:"Arial",sans-serif;color:#1f497d"> </span><span lang="EN-US"><u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US" style="font-size:10.0pt;font-family:"Arial",sans-serif;color:#1f497d">And, the discussion on this topic is on-going at HA meeting.</span><span lang="EN-US"><u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US"><a href="https://wiki.openstack.org/wiki/Meetings/HATeamMeeting" target="_blank">https://wiki.openstack.org/wiki/Meetings/HATeamMeeting</a><u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US" style="font-size:10.0pt;font-family:"Arial",sans-serif;color:#1f497d"> </span><span lang="EN-US"><u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US" style="font-size:10.0pt;font-family:"Arial",sans-serif;color:#1f497d">thanks,</span><span lang="EN-US"><u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US" style="font-size:10.0pt;font-family:"Arial",sans-serif;color:#1f497d">Kazu</span><span lang="EN-US"><u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US" style="font-size:10.0pt;font-family:"Arial",sans-serif;color:#1f497d"> </span><span lang="EN-US"><u></u><u></u></span></p><p class="MsoNormal"><b><span lang="EN-US" style="font-size:11.0pt;font-family:"Calibri",sans-serif">From:</span></b><span lang="EN-US" style="font-size:11.0pt;font-family:"Calibri",sans-serif"> Affan Syed [mailto:<a href="mailto:affan.syed.usc@gmail.com" target="_blank">affan.syed.usc@gmail.com</a>] <br><b>Sent:</b> Monday, February 15, 2016 12:51 PM<br><b>To:</b> <a href="mailto:openstack-operators@lists.openstack.org" target="_blank">openstack-operators@lists.openstack.org</a><br><b>Subject:</b> [Openstack-operators] [nova] VM HA support in trunk</span><span lang="EN-US"><u></u><u></u></span></p><div><div><p class="MsoNormal"><span lang="EN-US"> <u></u><u></u></span></p><div><p class="MsoNormal" style="margin-bottom:12.0pt"><span lang="EN-US">reposting with the correct tag, hopefully. Would really appreciate some pointers. <u></u><u></u></span></p><div><div><p class="MsoNormal"><span lang="EN-US">---------- Forwarded message ---------<br>From: Affan Syed <<a href="mailto:affan.syed.usc@gmail.com" target="_blank">affan.syed.usc@gmail.com</a>><br>Date: Sat, 13 Feb 2016 at 15:13<br>Subject: [nova] VM HA support in trunk<br>To: <<a href="mailto:openstack-operators@lists.openstack.org" target="_blank">openstack-operators@lists.openstack.org</a>><u></u><u></u></span></p></div><p class="MsoNormal" style="margin-bottom:12.0pt"><span lang="EN-US"> <u></u><u></u></span></p><div><p class="MsoNormal"><span lang="EN-US">Hi all,<u></u><u></u></span></p><div><p class="MsoNormal"><span lang="EN-US">I have been trying to understand if we currently have some VM HA support as part of Liberty?<u></u><u></u></span></p></div><div><p class="MsoNormal"><span lang="EN-US"> <u></u><u></u></span></p></div><div><p class="MsoNormal"><span lang="EN-US">To be precise, how are host being down due to power failure handled, specifically in terms of migrating the VMs but possibly even their networking configs (tunnels etc). <u></u><u></u></span></p></div><div><p class="MsoNormal"><span lang="EN-US"> <u></u><u></u></span></p></div><div><p class="MsoNormal"><span lang="EN-US">The VM migration like XEN-HA or KVM cluster seem to require 1+1 HA, I have read a few places about celiometer+heat templates to launch VMs for an N+1 backup scenario, but these all seem like one-off setups. <u></u><u></u></span></p></div><div><p class="MsoNormal"><span lang="EN-US"> <u></u><u></u></span></p></div><div><p class="MsoNormal"><span lang="EN-US"> <u></u><u></u></span></p></div><div><p class="MsoNormal"><span lang="EN-US">This issue seems to be very much important for legacy enterprises to move their "pets" --- not sure if we can simply wish away that mindset!<u></u><u></u></span></p></div></div><div><div><p class="MsoNormal"><span lang="EN-US"> <u></u><u></u></span></p></div><div><p class="MsoNormal"><span lang="EN-US">Affan<u></u><u></u></span></p></div><div><p class="MsoNormal"><span lang="EN-US"> <u></u><u></u></span></p></div><div><p class="MsoNormal"><span lang="EN-US"> <u></u><u></u></span></p></div></div></div></div></div></div></div></div><p class="MsoNormal"><span lang="EN-US"><u></u> <u></u></span></p></blockquote></div></div><div><div><blockquote style="border:none;border-left:solid #cccccc 1.0pt;padding:0mm 0mm 0mm 6.0pt;margin-left:4.8pt;margin-right:0mm"><p class="MsoNormal" style="margin-bottom:12.0pt"><span lang="EN-US">_______________________________________________<br>OpenStack-operators mailing list<br><a href="mailto:OpenStack-operators@lists.openstack.org" target="_blank">OpenStack-operators@lists.openstack.org</a><br><a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-operators" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-operators</a><u></u><u></u></span></p></blockquote></div></div></blockquote></div></div></div></div></div></blockquote></div></div></div>