<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=us-ascii">
<meta name="Generator" content="Microsoft Word 12 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
{font-family:Calibri;
panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
{font-family:Consolas;
panose-1:2 11 6 9 2 2 4 3 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
{margin:0in;
margin-bottom:.0001pt;
font-size:11.0pt;
font-family:"Calibri","sans-serif";}
a:link, span.MsoHyperlink
{mso-style-priority:99;
color:blue;
text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
{mso-style-priority:99;
color:purple;
text-decoration:underline;}
span.EmailStyle17
{mso-style-type:personal-compose;
font-family:"Calibri","sans-serif";
color:windowtext;}
.MsoChpDefault
{mso-style-type:export-only;}
@page WordSection1
{size:8.5in 11.0in;
margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
{page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]-->
</head>
<body lang="EN-US" link="blue" vlink="purple">
<div class="WordSection1">
<p class="MsoNormal">Hi All, <o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">I am having an issue with a new cluster. (First of its config type, not first OS cluster.) The cluster is made up of the following:<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">12 Physical nodes (192 CPU Cores, 288 GB of ram, 96 TB of storage)<o:p></o:p></p>
<p class="MsoNormal">2 nic’s per node (1 nic cabled due to current switch space, not being changed for a while due to budget).<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">I am using .1 as the cloud controller and also a compute node, .2-.12 will be compute nodes only. All nodes are running CentOS 6.2 with EPEL installed openstack packages.<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">The following is my network config in /etc/nova/nova.conf.<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"># NETWORK Config<o:p></o:p></p>
<p class="MsoNormal">network_manager=nova.network.manager.FlatDHCPManager<o:p></o:p></p>
<p class="MsoNormal">public_interface=eth0<o:p></o:p></p>
<p class="MsoNormal">flat_network_bridge=br16<o:p></o:p></p>
<p class="MsoNormal">fixed_range=192.168.16.0/24<o:p></o:p></p>
<p class="MsoNormal">network_size=256<o:p></o:p></p>
<p class="MsoNormal">force_dhcp_release=True<o:p></o:p></p>
<p class="MsoNormal">root_helper=sudo nova-rootwrap<o:p></o:p></p>
<p class="MsoNormal">flat_injected=False<o:p></o:p></p>
<p class="MsoNormal">dhcpbridge_flagfile=/etc/nova/nova.conf<o:p></o:p></p>
<p class="MsoNormal">dhcpbridge=/usr/bin/nova-dhcpbridge<o:p></o:p></p>
<p class="MsoNormal">multi_host=True<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">This is the line I am using to create the private network.<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">nova-manage network create private 192.168.16.0/24 1 256<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">I have not added a public network yet, but it will be on the 10.173.16.0/24 network block where each of these nodes exist taking up the first 12 addresses in the block.<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">I can currently start up instances without issue. The problem comes after startup when the instances don’t appear to get network information. I am running ubuntu cloud images currently and cloud-init goes into a blocking 120 sec loop stating
“cloud-init-nonet waiting 120 seconds for a network device.”.<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">The compute and network logs do not show any issues or errors.<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">ip a:<o:p></o:p></p>
<p class="MsoNormal">1: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue state UNKNOWN
<o:p></o:p></p>
<p class="MsoNormal"> link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00<o:p></o:p></p>
<p class="MsoNormal"> inet 127.0.0.1/8 scope host lo<o:p></o:p></p>
<p class="MsoNormal"> inet 169.254.169.254/32 scope link lo<o:p></o:p></p>
<p class="MsoNormal"> inet6 ::1/128 scope host <o:p></o:p></p>
<p class="MsoNormal"> valid_lft forever preferred_lft forever<o:p></o:p></p>
<p class="MsoNormal">2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000<o:p></o:p></p>
<p class="MsoNormal"> link/ether 00:25:90:48:f3:7a brd ff:ff:ff:ff:ff:ff<o:p></o:p></p>
<p class="MsoNormal"> inet 10.173.16.1/24 brd 10.173.16.255 scope global eth0<o:p></o:p></p>
<p class="MsoNormal"> inet6 fe80::225:90ff:fe48:f37a/64 scope link <o:p></o:p></p>
<p class="MsoNormal"> valid_lft forever preferred_lft forever<o:p></o:p></p>
<p class="MsoNormal">3: eth1: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN qlen 1000<o:p></o:p></p>
<p class="MsoNormal"> link/ether 00:25:90:48:f3:7b brd ff:ff:ff:ff:ff:ff<o:p></o:p></p>
<p class="MsoNormal">4: virbr0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UNKNOWN
<o:p></o:p></p>
<p class="MsoNormal"> link/ether 52:54:00:3a:15:e7 brd ff:ff:ff:ff:ff:ff<o:p></o:p></p>
<p class="MsoNormal"> inet 192.168.122.1/24 brd 192.168.122.255 scope global virbr0<o:p></o:p></p>
<p class="MsoNormal">5: virbr0-nic: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN qlen 500<o:p></o:p></p>
<p class="MsoNormal"> link/ether 52:54:00:3a:15:e7 brd ff:ff:ff:ff:ff:ff<o:p></o:p></p>
<p class="MsoNormal">7: br16: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UNKNOWN
<o:p></o:p></p>
<p class="MsoNormal"> link/ether 00:00:00:00:00:00 brd ff:ff:ff:ff:ff:ff<o:p></o:p></p>
<p class="MsoNormal"> inet 192.168.16.3/24 brd 192.168.16.255 scope global br16<o:p></o:p></p>
<p class="MsoNormal"> inet6 fe80::94e9:76ff:fe91:70d8/64 scope link <o:p></o:p></p>
<p class="MsoNormal"> valid_lft forever preferred_lft forever<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">ip r:<o:p></o:p></p>
<p class="MsoNormal">10.173.16.0/24 dev eth0 proto kernel scope link src 10.173.16.1
<o:p></o:p></p>
<p class="MsoNormal">192.168.16.0/24 dev br16 proto kernel scope link src 192.168.16.3
<o:p></o:p></p>
<p class="MsoNormal">192.168.122.0/24 dev virbr0 proto kernel scope link src 192.168.122.1
<o:p></o:p></p>
<p class="MsoNormal">169.254.0.0/16 dev eth0 scope link metric 1002 <o:p></o:p></p>
<p class="MsoNormal">default via 10.173.16.254 dev eth0<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">brctl show:<o:p></o:p></p>
<p class="MsoNormal">[root@cloud016001 osscripts]# brctl show<o:p></o:p></p>
<p class="MsoNormal">bridge name bridge id STP enabled interfaces<o:p></o:p></p>
<p class="MsoNormal">br16 8000.fe163e1111d6 no vnet0<o:p></o:p></p>
<p class="MsoNormal">virbr0 8000.5254003a15e7 yes virbr0-nic<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:Consolas">Thank You,<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:Consolas">Philip Schwartz<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:Consolas">Senior Software Engineer<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:Consolas">LexisNexis RS<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:Consolas">O - 561 999 4472<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:Consolas">C - 954 290 4024<o:p></o:p></span></p>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
</body>
</html>