<div dir="ltr">Yeah, it is kind of a pain. Are you running nova-network on each host? This is a longer series of steps than we normally need to perform. (our bridges don't have IP addresses on them)<div> -nld</div></div>
<div class="gmail_extra"><br><br><div class="gmail_quote">On Sun, Jul 7, 2013 at 10:25 PM, Samuel Winchenbach <span dir="ltr"><<a href="mailto:swinchen@gmail.com" target="_blank">swinchen@gmail.com</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_default" style="font-family:'courier new',monospace">Holy smokes that is a pain in the butt!</div>
<div class="gmail_default" style="font-family:'courier new',monospace"><br>
</div><div class="gmail_default" style="font-family:'courier new',monospace">I got it, but I had to:</div><div class="gmail_default" style="font-family:'courier new',monospace">1) create the bridge for each tenant</div>

<div class="gmail_default" style="font-family:'courier new',monospace">2) create the tagged interface for each tenant</div><div class="gmail_default" style="font-family:'courier new',monospace">3) add the appropriate vlan to each bridge</div>

<div class="gmail_default" style="font-family:'courier new',monospace">4) "guess" at the ip that should be assigned to each bridge and assign it.</div><div class="gmail_default" style="font-family:'courier new',monospace">

5) reboot each VM.</div><div class="gmail_default" style="font-family:'courier new',monospace"><br></div><div class="gmail_default" style="font-family:'courier new',monospace">This has to have been a bug in essex.  I see no reason compute shouldn't recreate all the networking after a hard reboot.</div>

<div class="gmail_default" style="font-family:'courier new',monospace"><br></div><div class="gmail_default" style="font-family:'courier new',monospace">Thank you both for the help.... if it wasn't bed time I would go grab a beer or a bottle of wild turkey :P</div>

<div class="gmail_default" style="font-family:'courier new',monospace"><br></div><div class="gmail_default" style="font-family:'courier new',monospace">- Sam</div></div><div class="HOEnZb"><div class="h5">
<div class="gmail_extra"><br><br><div class="gmail_quote">
On Sun, Jul 7, 2013 at 11:12 PM, Narayan Desai <span dir="ltr"><<a href="mailto:narayan.desai@gmail.com" target="_blank">narayan.desai@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">

<div dir="ltr">You'll also need to setup the tagged interface (eth2@14) and add it to the br14 bridge.<div> -nld</div></div><div><div><div class="gmail_extra"><br><br><div class="gmail_quote">
On Sun, Jul 7, 2013 at 9:32 PM, Samuel Winchenbach <span dir="ltr"><<a href="mailto:swinchen@gmail.com" target="_blank">swinchen@gmail.com</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_default" style="font-family:'courier new',monospace">Lorin,</div><div class="gmail_default" style="font-family:'courier new',monospace">


<br></div><div class="gmail_default" style="font-family:'courier new',monospace">
I am running in vlan mode (not multihost mode).   Restarting nova-compute does not seem to create the bridge "br14".   I tried creating manually with "brctl addbr br14".  Doing this allowed me to start the VM but I can not ping or ssh to the VM on either the internal or external network.  I probably need to create the vlan14@eth0 interface as well and add it to the bridge?   </div>



<div class="gmail_default" style="font-family:'courier new',monospace"><br></div><div class="gmail_default" style="font-family:'courier new',monospace">Why might nova-compute not recreate the bridges and interfaces?  I don't see any warnings or errors in the log files (on either node) when starting nova-compute on failed compute node.   </div>



<div class="gmail_default" style="font-family:'courier new',monospace"><br></div><div class="gmail_default" style="font-family:'courier new',monospace">************ FROM THE CONTROLLER NODE ************<br>



</div><div class="gmail_default"><div class="gmail_default"><font face="courier new, monospace">root@cloudy:~# nova-manage service list</font></div><div class="gmail_default"><font face="courier new, monospace">2013-07-07 22:25:40 DEBUG nova.utils [req-f4a55a39-03d8-4bc7-b5c8-f53b1825f934 None None] backend <module 'nova.db.sqlalchemy.api' from '/usr/lib/python2.7/dist-packages/nova/db/sqlalchemy/api.pyc'> from (pid=29059) __get_backend /usr/lib/python2.7/dist-packages/nova/utils.py:658</font></div>



<div class="gmail_default"><font face="courier new, monospace">Binary           Host                                 Zone             Status     State Updated_At</font></div><div class="gmail_default"><font face="courier new, monospace">nova-scheduler   cloudy                               nova             enabled    :-)   2013-07-08 02:25:40</font></div>



<div class="gmail_default"><font face="courier new, monospace">nova-compute     cloudy                               nova             enabled    :-)   2013-07-08 02:25:25</font></div><div class="gmail_default"><font face="courier new, monospace">nova-network     cloudy                               nova             enabled    :-)   2013-07-08 02:25:40</font></div>



<div class="gmail_default"><font face="courier new, monospace">nova-compute     compute-01                           nova             enabled    :-)   2013-07-08 02:25:40</font></div><div class="gmail_default"><font face="courier new, monospace">nova-compute     compute-02                           nova             enabled    XXX   2013-05-21 17:47:13  <--- this is ok, I have it turned off.</font></div>



<div class="gmail_default"><font face="courier new, monospace"><br></font></div><div class="gmail_default"><font face="courier new, monospace"><br></font></div></div><div class="gmail_default" style="font-family:'courier new',monospace">



************ FROM THE FAILED NODE ************ </div><div class="gmail_default"><div class="gmail_default"><font face="courier new, monospace">root@compute-01:~# service nova-compute restart</font></div><div class="gmail_default">



<font face="courier new, monospace">nova-compute stop/waiting</font></div><div class="gmail_default"><font face="courier new, monospace">nova-compute start/running, process 13057</font></div><div class="gmail_default"><font face="courier new, monospace">root@compute-01:~# sleep 10</font></div>



</div><div class="gmail_default"><div class="gmail_default"><font face="courier new, monospace">root@compute-01:~# ip a</font></div><div class="gmail_default"><font face="courier new, monospace">1: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue state UNKNOWN </font></div>



<div class="gmail_default"><font face="courier new, monospace">    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00</font></div><div class="gmail_default"><font face="courier new, monospace">    inet <a href="http://127.0.0.1/8" target="_blank">127.0.0.1/8</a> scope host lo</font></div>



<div class="gmail_default"><font face="courier new, monospace">    inet6 ::1/128 scope host </font></div><div class="gmail_default"><font face="courier new, monospace">       valid_lft forever preferred_lft forever</font></div>



<div class="gmail_default"><font face="courier new, monospace">2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP qlen 1000</font></div><div class="gmail_default"><font face="courier new, monospace">    link/ether 00:25:90:56:d9:d2 brd ff:ff:ff:ff:ff:ff</font></div>



<div class="gmail_default"><font face="courier new, monospace">    inet <a href="http://10.54.50.30/16" target="_blank">10.54.50.30/16</a> brd 10.54.255.255 scope global eth0 </font><span style="font-family:'courier new',monospace"><------------------- Address obtained via DHCP for external route</span></div>



<div class="gmail_default"><font face="courier new, monospace">    inet <a href="http://10.20.0.2/16" target="_blank">10.20.0.2/16</a> scope global eth0 <--------------------------------------- OpenStack Management/Internal Network</font></div>



<div class="gmail_default"><font face="courier new, monospace">    inet6 fe80::225:90ff:fe56:d9d2/64 scope link </font></div><div class="gmail_default"><font face="courier new, monospace">       valid_lft forever preferred_lft forever</font></div>



<div class="gmail_default"><font face="courier new, monospace">3: eth1: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN qlen 1000</font></div><div class="gmail_default"><font face="courier new, monospace">    link/ether 00:25:90:56:d9:d3 brd ff:ff:ff:ff:ff:ff</font></div>



<div class="gmail_default"><font face="courier new, monospace">4: eth2: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP qlen 1000</font></div><div class="gmail_default"><font face="courier new, monospace">    link/ether 00:02:c9:34:e9:90 brd ff:ff:ff:ff:ff:ff</font></div>



<div class="gmail_default"><font face="courier new, monospace">    inet <a href="http://10.57.60.2/16" target="_blank">10.57.60.2/16</a> brd 10.57.255.255 scope global eth2 </font><span style="font-family:'courier new',monospace"><-------------------- On the NFS network (for live migration)</span></div>



<div class="gmail_default"><font face="courier new, monospace">    inet6 fe80::202:c9ff:fe34:e990/64 scope link </font></div><div class="gmail_default"><font face="courier new, monospace">       valid_lft forever preferred_lft forever</font></div>



<div class="gmail_default"><font face="courier new, monospace">5: eth3: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN qlen 1000</font></div><div class="gmail_default"><font face="courier new, monospace">    link/ether 00:02:c9:34:e9:91 brd ff:ff:ff:ff:ff:ff</font></div>



<div class="gmail_default"><font face="courier new, monospace">6: virbr0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc noqueue state DOWN </font></div><div class="gmail_default"><font face="courier new, monospace">    link/ether 56:ed:f9:dd:bc:58 brd ff:ff:ff:ff:ff:ff</font></div>



<div class="gmail_default"><font face="courier new, monospace">    inet <a href="http://192.168.122.1/24" target="_blank">192.168.122.1/24</a> brd 192.168.122.255 scope global virbr0</font></div></div></div><div>
<div><div class="gmail_extra"><br><br>
<div class="gmail_quote">On Sun, Jul 7, 2013 at 10:03 PM, Lorin Hochstein <span dir="ltr"><<a href="mailto:lorin@nimbisservices.com" target="_blank">lorin@nimbisservices.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">



<div dir="ltr">Hi Samuel:<div><br></div><div>It sounds like your VMs are configured to plug into a Linux bridge that doesn't exist on compute-01 anymore. You could create it manually, although I would expect that it would have been created automatically by the relevant nova service when they came back up.</div>




<div><br></div><div>You can check if the bridge is there by doing "ip a" and looking for the "br14" network device.</div><div><br></div><div>Are you running networking in multihost mode? If so, I think restarting the nova-network service on compute-01 should do it. If you aren't running in multihost mode, then it should come back by restarting the nova-compute service on compute-01.</div>




<div><br></div><div>Otherwise, you'll need to create the bridge manually, and how you do that will depend on whether you're running flat or vlan. If it was called br14, I'm assuming you're running in vlan mode with vlan tag 14 associated with this project?</div>




<div><br></div><div>Lorin</div></div><div class="gmail_extra"><br><br><div class="gmail_quote"><div><div>On Sun, Jul 7, 2013 at 9:21 PM, Samuel Winchenbach <span dir="ltr"><<a href="mailto:swinchen@gmail.com" target="_blank">swinchen@gmail.com</a>></span> wrote:<br>




</div></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div><div><div dir="ltr"><div class="gmail_default" style="font-family:'courier new',monospace">
Hi All,</div><div class="gmail_default" style="font-family:'courier new',monospace">
<br></div><div class="gmail_default" style="font-family:'courier new',monospace">
I have an old Essex cluster that we are getting ready to phase out for grizzly.  Unfortunately over the weekend one of the compute nodes powered off (power supply failure it looks like).  When I tried a "nova reboot <UUID>"</div>





<div class="gmail_default" style="font-family:'courier new',monospace"><br></div><div class="gmail_default" style="font-family:'courier new',monospace">I got:</div><div class="gmail_default" style="font-family:'courier new',monospace">





<br></div><div class="gmail_default"><div class="gmail_default"><font face="courier new, monospace">2013-07-07 21:17:34 ERROR nova.rpc.amqp [req-d2ea5f46-9dc2-4788-9951-07d985a1f8dc 6986639ba3c84ab5b05fdd2e122101f0 3806a811d2d34542bdfc5d7f31ce7b89] Exception during message handling</font></div>





<div class="gmail_default"><font face="courier new, monospace">2013-07-07 21:17:34 TRACE nova.rpc.amqp Traceback (most recent call last):</font></div><div class="gmail_default"><font face="courier new, monospace">2013-07-07 21:17:34 TRACE nova.rpc.amqp   File "/usr/lib/python2.7/dist-packages/nova/rpc/amqp.py", line 253, in _process_data</font></div>





<div class="gmail_default"><font face="courier new, monospace">2013-07-07 21:17:34 TRACE nova.rpc.amqp     rval = node_func(context=ctxt, **node_args)</font></div><div class="gmail_default"><font face="courier new, monospace">2013-07-07 21:17:34 TRACE nova.rpc.amqp   File "/usr/lib/python2.7/dist-packages/nova/exception.py", line 114, in wrapped</font></div>





<div class="gmail_default"><font face="courier new, monospace">2013-07-07 21:17:34 TRACE nova.rpc.amqp     return f(*args, **kw)</font></div><div class="gmail_default"><font face="courier new, monospace">2013-07-07 21:17:34 TRACE nova.rpc.amqp   File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 159, in decorated_function</font></div>





<div class="gmail_default"><font face="courier new, monospace">2013-07-07 21:17:34 TRACE nova.rpc.amqp     function(self, context, instance_uuid, *args, **kwargs)</font></div><div class="gmail_default"><font face="courier new, monospace">2013-07-07 21:17:34 TRACE nova.rpc.amqp   File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 183, in decorated_function</font></div>





<div class="gmail_default"><font face="courier new, monospace">2013-07-07 21:17:34 TRACE nova.rpc.amqp     sys.exc_info())</font></div><div class="gmail_default"><font face="courier new, monospace">2013-07-07 21:17:34 TRACE nova.rpc.amqp   File "/usr/lib/python2.7/contextlib.py", line 24, in __exit__</font></div>





<div class="gmail_default"><font face="courier new, monospace">2013-07-07 21:17:34 TRACE nova.rpc.amqp     self.gen.next()</font></div><div class="gmail_default"><font face="courier new, monospace">2013-07-07 21:17:34 TRACE nova.rpc.amqp   File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 177, in decorated_function</font></div>





<div class="gmail_default"><font face="courier new, monospace">2013-07-07 21:17:34 TRACE nova.rpc.amqp     return function(self, context, instance_uuid, *args, **kwargs)</font></div><div class="gmail_default"><font face="courier new, monospace">2013-07-07 21:17:34 TRACE nova.rpc.amqp   File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 904, in reboot_instance</font></div>





<div class="gmail_default"><font face="courier new, monospace">2013-07-07 21:17:34 TRACE nova.rpc.amqp     reboot_type)</font></div><div class="gmail_default"><font face="courier new, monospace">2013-07-07 21:17:34 TRACE nova.rpc.amqp   File "/usr/lib/python2.7/dist-packages/nova/exception.py", line 114, in wrapped</font></div>





<div class="gmail_default"><font face="courier new, monospace">2013-07-07 21:17:34 TRACE nova.rpc.amqp     return f(*args, **kw)</font></div><div class="gmail_default"><font face="courier new, monospace">2013-07-07 21:17:34 TRACE nova.rpc.amqp   File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/connection.py", line 721, in reboot</font></div>





<div class="gmail_default"><font face="courier new, monospace">2013-07-07 21:17:34 TRACE nova.rpc.amqp     if self._soft_reboot(instance):</font></div><div class="gmail_default"><font face="courier new, monospace">2013-07-07 21:17:34 TRACE nova.rpc.amqp   File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/connection.py", line 757, in _soft_reboot</font></div>





<div class="gmail_default"><font face="courier new, monospace">2013-07-07 21:17:34 TRACE nova.rpc.amqp     dom.create()</font></div><div class="gmail_default"><font face="courier new, monospace">2013-07-07 21:17:34 TRACE nova.rpc.amqp   File "/usr/lib/python2.7/dist-packages/libvirt.py", line 551, in create</font></div>





<div class="gmail_default"><font face="courier new, monospace">2013-07-07 21:17:34 TRACE nova.rpc.amqp     if ret == -1: raise libvirtError ('virDomainCreate() failed', dom=self)</font></div><div class="gmail_default">





<font face="courier new, monospace">2013-07-07 21:17:34 TRACE nova.rpc.amqp libvirtError: Cannot get interface MTU on 'br14': No such device</font></div><div class="gmail_default"><font face="courier new, monospace">2013-07-07 21:17:34 TRACE nova.rpc.amqp</font></div>





<div class="gmail_default"><font face="courier new, monospace"><br></font></div><div class="gmail_default"><font face="courier new, monospace"><br></font></div><div class="gmail_default"><font face="courier new, monospace">So I tried starting it manually:</font></div>





<div class="gmail_default"><font face="courier new, monospace"><br></font></div><div class="gmail_default"><font face="courier new, monospace"><div class="gmail_default">root@compute-01:/etc/libvirt/qemu# virsh create instance-00000035.xml </div>





<div class="gmail_default">error: Failed to create domain from instance-00000035.xml</div><div class="gmail_default">error: Cannot get interface MTU on 'br14': No such device</div><div class="gmail_default"><br></div>





<div class="gmail_default"><br></div><div class="gmail_default">Any idea what I might be doing wrong?  All the services show :-) with nova-manage</div><div class="gmail_default"><br></div><div class="gmail_default">
<br></div><div class="gmail_default">Thanks for your help...</div><div class="gmail_default"><br></div><div class="gmail_default">Sam</div></font></div></div></div>
<br></div></div>_______________________________________________<br>
OpenStack-operators mailing list<br>
<a href="mailto:OpenStack-operators@lists.openstack.org" target="_blank">OpenStack-operators@lists.openstack.org</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-operators" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-operators</a><br>
<br></blockquote></div><span><font color="#888888"><br><br clear="all"><div><br></div>-- <br><div dir="ltr">Lorin Hochstein<br><div>Lead Architect - Cloud Services</div><div>Nimbis Services, Inc.</div><div>
<a href="http://www.nimbisservices.com" target="_blank">www.nimbisservices.com</a></div>
</div>
</font></span></div>
</blockquote></div><br></div>
</div></div><br>_______________________________________________<br>
OpenStack-operators mailing list<br>
<a href="mailto:OpenStack-operators@lists.openstack.org" target="_blank">OpenStack-operators@lists.openstack.org</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-operators" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-operators</a><br>
<br></blockquote></div><br></div>
</div></div></blockquote></div><br></div>
</div></div></blockquote></div><br></div>