<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40"><head><meta http-equiv=Content-Type content="text/html; charset=us-ascii"><meta name=Generator content="Microsoft Word 15 (filtered medium)"><!--[if !mso]><style>v\:* {behavior:url(#default#VML);}
o\:* {behavior:url(#default#VML);}
w\:* {behavior:url(#default#VML);}
.shape {behavior:url(#default#VML);}
</style><![endif]--><style><!--
/* Font Definitions */
@font-face
        {font-family:"MS Mincho";
        panose-1:2 2 6 9 4 2 5 8 3 4;}
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
        {font-family:"MS Mincho";
        panose-1:2 2 6 9 4 2 5 8 3 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0in;
        margin-bottom:.0001pt;
        font-size:11.0pt;
        font-family:"Calibri",sans-serif;}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:#0563C1;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:#954F72;
        text-decoration:underline;}
span.EmailStyle17
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
span.EmailStyle18
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:#1F497D;}
span.EmailStyle19
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:#1F497D;}
span.EmailStyle20
        {mso-style-type:personal-reply;
        font-family:"Calibri",sans-serif;
        color:#1F497D;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-size:10.0pt;}
@page WordSection1
        {size:8.5in 11.0in;
        margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
        {page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]--></head><body lang=EN-US link="#0563C1" vlink="#954F72"><div class=WordSection1><p class=MsoNormal><i><span style='color:#1F497D'>Switch connection timeout</span></i><span style='color:#1F497D'> points to this bug: <a href="https://bugs.launchpad.net/neutron/+bug/1611237">https://bugs.launchpad.net/neutron/+bug/1611237</a>. It was solved a year ago in Neutron (Nov 23, 2016), and it seems to appear when the Openvswitch agent is started, so I am not sure if you are seeing the same thing.<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>In any case, I think it’s worthwhile investigating where this timeout may come from.<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>Bernd.<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'><o:p> </o:p></span></p><div><div style='border:none;border-top:solid #E1E1E1 1.0pt;padding:3.0pt 0in 0in 0in'><p class=MsoNormal><b>From:</b> Ramu, MohanX [mailto:mohanx.ramu@intel.com] <br><b>Sent:</b> Friday, December 15, 2017 8:28 PM<br><b>To:</b> Bernd Bausch <berndbausch@gmail.com>; openstack@lists.openstack.org<br><b>Cc:</b> 'Jay Pipes' <jaypipes@gmail.com>; Sivapuram, Naga SeshendraX <naga.seshendrax.sivapuram@intel.com><br><b>Subject:</b> RE: Devstack - : Failed to allocate the network(s), not rescheduling<o:p></o:p></p></div></div><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal><span style='color:#1F497D'>Hi Bernd,<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>PFA the local.conf files.<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>Below are the details used for our devstack environment.<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><b><span style='color:#1F497D'>OpenStack version :</span></b><span style='color:#1F497D'> 15.0.9<o:p></o:p></span></p><p class=MsoNormal><b><span style='color:#1F497D'>Network Used</span></b><span style='color:#1F497D'> : public<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>We are not able to launch instances every time. Sometimes instances are launching without any issue. Below are the screenshots for launching multiple instances same time. <o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'> <o:p></o:p></span></p><p class=MsoNormal><b><span style='color:#1F497D'>Launched 5 instances same time, only 2 instances are created</span></b><span style='color:#1F497D'>.<o:p></o:p></span></p><p class=MsoNormal><b><span style='color:#1F497D'><o:p> </o:p></span></b></p><p class=MsoNormal><span style='color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><span style='color:#1F497D'><img border=0 width=1288 height=244 id="Picture_x0020_1" src="cid:image001.jpg@01D375E8.A106B470"><o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><b><span style='color:#1F497D'>Tried 10 instances same time 5 instances are created.<o:p></o:p></span></b></p><p class=MsoNormal><span style='color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><span style='color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><span style='color:#1F497D'><img border=0 width=1291 height=532 id="Picture_x0020_2" src="cid:image002.jpg@01D375E8.A106B470"><o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><span style='color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>Please find logs both in controller and compute side. <o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><span style='color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><b><span style='color:#1F497D'>q-agt.log (Controller Side) :-<o:p></o:p></span></b></p><p class=MsoNormal><span style='color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>2017-12-14 22:39:32.880 DEBUG neutron.agent.ovsdb.native.vlog [-] [POLLIN] on fd 3 from (pid=6178) __log_wakeup /usr/local/lib/python2.7/dist-packages/ovs/poller.py:202<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>2017-12-14 22:39:37.884 DEBUG neutron.agent.ovsdb.native.vlog [-] [POLLIN] on fd 3 from (pid=6178) __log_wakeup /usr/local/lib/python2.7/dist-packages/ovs/poller.py:202<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>2017-12-14 22:39:37.963 DEBUG neutron.agent.ovsdb.native.vlog [-] [POLLIN] on fd 3 from (pid=6178) __log_wakeup /usr/local/lib/python2.7/dist-packages/ovs/poller.py:202<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>2017-12-14 22:39:42.861 DEBUG neutron.agent.ovsdb.native.vlog [-] [POLLIN] on fd 3 from (pid=6178) __log_wakeup /usr/local/lib/python2.7/dist-packages/ovs/poller.py:202<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>2017-12-14 22:39:47.865 DEBUG neutron.agent.ovsdb.native.vlog [-] [POLLIN] on fd 3 from (pid=6178) __log_wakeup /usr/local/lib/python2.7/dist-packages/ovs/poller.py:202<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>2017-12-14 22:39:47.965 DEBUG neutron.agent.ovsdb.native.vlog [-] [POLLIN] on fd 3 from (pid=6178) __log_wakeup /usr/local/lib/python2.7/dist-packages/ovs/poller.py:202<o:p></o:p></span></p><p class=MsoNormal><b><span style='color:#1F497D'>2017-12-14 22:39:48.074 ERROR neutron.plugins.ml2.drivers.openvswitch.agent.openflow.native.ofswitch [-] Switch connection timeout<o:p></o:p></span></b></p><p class=MsoNormal><span style='color:#1F497D'>2017-12-14 22:39:48.075 DEBUG neutron.agent.ovsdb.native.vlog [-] [POLLIN] on fd 4 from (pid=6178) __log_wakeup /usr/local/lib/python2.7/dist-packages/ovs/poller.py:202<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>2017-12-14 22:39:48.076 DEBUG neutron.agent.ovsdb.impl_idl [-] Running txn command(idx=0): DbGetCommand(column=datapath_id, table=Bridge, record=br-int) from (pid=6178) do_commit /opt/stack/neutron/neutron/agent/ovsdb/impl_idl.py:100<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>2017-12-14 22:39:48.077 DEBUG neutron.agent.ovsdb.impl_idl [-] Transaction caused no change from (pid=6178) do_commit /opt/stack/neutron/neutron/agent/ovsdb/impl_idl.py:124<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>2017-12-14 22:39:48.078 INFO neutron.plugins.ml2.drive<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><b><span style='color:#1F497D'>q-agt.log (Compute Side) :-<o:p></o:p></span></b></p><p class=MsoNormal><b><span style='color:#1F497D'><o:p> </o:p></span></b></p><p class=MsoNormal><span style='color:#1F497D'>2017-12-14 21:29:38.212 DEBUG neutron.plugins.ml2.drivers.openvswitch.agent.openflow.native.ofswitch [req-dadb9cbf-741e-4378-bfc3-9dabf5e78a7d None None] ofctl request version=0x4,msg_type=0x12,msg_len=0x38,xid=0x86ee6f60,OFPFlowStatsRequest(cookie=0,cookie_mask=0,flags=0,match=OFPMatch(oxm_fields={}),out_group=4294967295,out_port=4294967295,table_id=23,type=1) result [OFPFlowStatsReply(body=[OFPFlowStats(byte_count=0,cookie=9413309945793027316L,duration_nsec=913000000,duration_sec=162395,flags=0,hard_timeout=0,idle_timeout=0,instructions=[],length=56,match=OFPMatch(oxm_fields={}),packet_count=0,priority=0,table_id=23)],flags=0,type=1)] from (pid=517) _send_msg /opt/stack/neutron/neutron/plugins/ml2/drivers/openvswitch/agent/openflow/native/o2017-12-14 21:29:31.874 DEBUG neutron.agent.ovsdb.native.vlog [-] [POLLIN] on fd 3 from (pid=7063) __log_wakeup /usr/local/lib/python2.7/dist-packages/ovs/poller.py:202<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>2017-12-14 21:29:36.090 DEBUG neutron.agent.ovsdb.native.vlog [-] [POLLIN] on fd 3 from (pid=7063) __log_wakeup /usr/local/lib/python2.7/dist-packages/ovs/poller.py:202<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>2017-12-14 21:29:36.875 DEBUG neutron.agent.ovsdb.native.vlog [-] [POLLIN] on fd 3 from (pid=7063) __log_wakeup /usr/local/lib/python2.7/dist-packages/ovs/poller.py:202<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>2017-12-14 21:29:31.874 DEBUG neutron.agent.ovsdb.native.vlog [-] [POLLIN] on fd 3 from (pid=3621) __log_wakeup /usr/local/lib/python2.7/dist-packages/ovs/poller.py:202<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>2017-12-14 21:29:36.090 DEBUG neutron.agent.ovsdb.native.vlog [-] [POLLIN] on fd 3 from (pid=3621) __log_wakeup /usr/local/lib/python2.7/dist-packages/ovs/poller.py:202<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D;background:yellow;mso-highlight:yellow'>2017-12-14 21:29:36.326 ERROR neutron.plugins.ml2.drivers.openvswitch.agent.openflow.native.ofswitch [-] Switch connection timeout</span><span style='color:#1F497D'><o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>2017-12-14 21:29:36.326 DEBUG neutron.agent.ovsdb.native.vlog [-] [POLLIN] on fd 4 from (pid=3621) __log_wakeup /usr/local/lib/python2.7/dist-packages/ovs/poller.py:202<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>2017-12-14 21:29:36.327 DEBUG neutron.agent.ovsdb.impl_idl [-] Running txn command(idx=0): DbGetCommand(column=datapath_id, table=Bridge, record=br-int) from (pid=3621) do_commit /opt/stack/neutron/neutron/agent/ovsdb/impl_idl.py:100<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>2017-12-14 21:29:36.327 DEBUG neutron.agent.ovsdb.impl_idl [-] Transaction caused no change from (pid=3621) do_commit /opt/stack/neutron/neutron/agent/ovsdb/impl_idl.py:127<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>2017-12-14 21:29:36.327 INFO neutron.plugins.ml2.drivers.openvswitch.agent.openflow.native.ovs_bridge [-] Bridge br-int changed its datapath-ID from de78d015444e to 0000de78d015444e<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>2017-12-14 21:29:36.875 DEBUG neutron.agent.ovsdb.native.vlog [-] [POLLIN] on fd 3 from (pid=3621) __log_wakeup /usr/local/lib/python2.7/dist-packages/ovs/poller.py:202<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>2017-12-14 21:29:31.873 DEBUG neutron.agent.ovsdb.native.vlog [-] [POLLIN] on fd 3 from (pid=815) __log_wakeup /usr/local/lib/python2.7/dist-packages/ovs/poller.py:202<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>2017-12-14 21:29:31.875 DEBUG neutron.agent.ovsdb.native.vlog [-] [POLLIN] on fd 3 from (pid=815) __log_wakeup /usr/local/lib/python2.7/dist-packages/ovs/poller.py:202<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>2017-12-14 21:29:34.346 ERROR neutron.plugins.ml2.drivers.openvswitch.agent.openflow.native.ofswitch [-] Switch connection timeout<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>2017-12-14 21:29:34.346 DEBUG neutron.agent.ovsdb.native.vlog [-] [POLLIN] on fd 4 from (pid=815) __log_wakeup /usr/local/lib/python2.7/dist-packages/ovs/poller.py:202<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>2017-12-14 21:29:34.346 DEBUG neutron.agent.ovsdb.impl_idl [-] Running txn command(idx=0): DbGetCommand(column=datapath_id, table=Bridge, record=br-int) from (pid=815) do_commit /opt/stack/neutron/neutron/agent/ovsdb/impl_idl.py:100<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>2017-12-14 21:29:34.346 DEBUG neutron.agent.ovsdb.impl_idl [-] Transaction caused no change from (pid=815) do_commit /opt/stack/neutron/neutron/agent/ovsdb/impl_idl.py:127<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>2017-12-14 21:29:34.347 INFO neutron.plugins.ml2.drivers.openvswitch.agent.openflow.native.ovs_bridge [-] Bridge br-int changed its datapath-ID from de78d015444e to 0000de78d015444e<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>2017-12-14 21:29:36.875 DEBUG neutron.agent.ovsdb.native.vlog [-] [POLLIN] on fd 3 from (pid=815) __log_wakeup /usr/local/lib/python2.7/dist-packages/ovs/poller.py:202<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><b><span style='color:#1F497D'>n-cpu.log (Compute Side) :-<o:p></o:p></span></b></p><p class=MsoNormal><b><span style='color:#1F497D'><o:p> </o:p></span></b></p><p class=MsoNormal><span style='color:#1F497D'>2017-12-14 21:24:03.442 DEBUG keystoneauth1.identity.base [^[[01;36mreq-2e8bd076-f1a4-45ff-a7e7-f54b8bee9c96 ^[[00;36madmin admin] ^[[01;35mself.auth_ref ---><keystoneauth1.access.access.AccessInfoV3 object at 0x7ff9d42a2ed0>^[[00m ^[[00;33mfrom (pid=7061) get_access /usr/local/lib/python2.7/dist-packages/keystoneauth1/identity/base.py:138^[[00m^M<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>2017-12-14 21:24:03.442 WARNING keystoneauth1.session [^[[01;36mreq-2e8bd076-f1a4-45ff-a7e7-f54b8bee9c96 ^[[00;36madmin admin] ^[[01;35mquery_params  --> {}^[[00m^M<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>2017-12-14 21:24:03.443 WARNING keystoneauth1.session [^[[01;36mreq-2e8bd076-f1a4-45ff-a7e7-f54b8bee9c96 ^[[00;36madmin admin] ^[[01;35murl -----::-> <a href="http://10.105.166.213/placement/resource_providers/dcf28911-6125-4bc4-87b6-bc71b913d8b2/inventories%5e%5b%5b00m%5eM">http://10.105.166.213/placement/resource_providers/dcf28911-6125-4bc4-87b6-bc71b913d8b2/inventories^[[00m^M</a><o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>2017-12-14 21:24:03.443 WARNING keystoneauth1.session [^[[01;36mreq-2e8bd076-f1a4-45ff-a7e7-f54b8bee9c96 ^[[00;36madmin admin] ^[[01;35mBefore connection_params^[[00m^M<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>2017-12-14 21:24:03.443 WARNING keystoneauth1.session [^[[01;36mreq-2e8bd076-f1a4-45ff-a7e7-f54b8bee9c96 ^[[00;36madmin admin] ^[[01;35mAfter connection_params --> {}^[[00m^M<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>2017-12-14 21:24:03.443 WARNING keystoneauth1.session [^[[01;36mreq-2e8bd076-f1a4-45ff-a7e7-f54b8bee9c96 ^[[00;36madmin admin] ^[[01;35mBefore send(**kwargs) ^[[00m^M<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>2017-12-14 21:24:03.443 WARNING keystoneauth1.session [^[[01;36mreq-2e8bd076-f1a4-45ff-a7e7-f54b8bee9c96 ^[[00;36madmin admin] ^[[01;35m_send_request call^[[00m^M<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>2017-12-14 21:24:03.520 WARNING keystoneauth1.session [^[[01;36mreq-2e8bd076-f1a4-45ff-a7e7-f54b8bee9c96 ^[[00;36madmin admin] ^[[01;35m_send_request ---> <Response [200]>^[[00m^M<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>2017-12-14 21:24:03.520 WARNING keystoneauth1.session [^[[01;36mreq-2e8bd076-f1a4-45ff-a7e7-f54b8bee9c96 ^[[00;36madmin admin] ^[[01;35mresp.status_code:::  --> (u'http://10.105.166.213/placement/resource_providers/dcf28911-6125-4bc4-87b6-bc71b913d8b2/inventories', 200)^[[00m^M<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>2017-12-14 21:24:03.520 WARNING keystoneauth1.session [^[[01;36mreq-2e8bd076-f1a4-45ff-a7e7-f54b8bee9c96 ^[[00;36madmin admin] ^[[01;35mENd of method^[[00m^M<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>2017-12-14 21:24:03.521 WARNING keystoneauth1.session [^[[01;36mreq-2e8bd076-f1a4-45ff-a7e7-f54b8bee9c96 ^[[00;36madmin admin] ^[[01;35mresp   ---> <Response [200]>^[[00m^M<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>2017-12-14 21:24:03.521 WARNING keystoneauth1.session [^[[01;36mreq-2e8bd076-f1a4-45ff-a7e7-f54b8bee9c96 ^[[00;36madmin admin] ^[[01;35mresp.status_code  -->(200, u'http://10.105.166.213/placement/resource_providers/dcf28911-6125-4bc4-87b6-bc71b913d8b2/inventories') ^[[00m^M<o:p></o:p></span></p><p class=MsoNormal><b><span style='color:#1F497D;background:yellow;mso-highlight:yellow'>2017-12-14 21:24:03.521 DEBUG nova.scheduler.client.report [^[[01;36mreq-2e8bd076-f1a4-45ff-a7e7-f54b8bee9c96 ^[[00;36madmin admin] ^[[01;35mUpdating our resource provider generation from 31 to 32^[[00m ^[[00;33mfrom (pid=7061) _get_inventory_and_update_provider_generation /opt/stack/nova/nova/scheduler/client/report.py:449^[[00m^M<o:p></o:p></span></b></p><p class=MsoNormal><b><span style='color:#1F497D;background:yellow;mso-highlight:yellow'>2017-12-14 21:24:03.521 DEBUG oslo_concurrency.lockutils [^[[01;36mreq-2e8bd076-f1a4-45ff-a7e7-f54b8bee9c96 ^[[00;36madmin admin] ^[[01;35mLock "compute_resources" released by "nova.compute.resource_tracker.abort_instance_claim" :: held 0.567s^[[00m ^[[00;33mfrom (pid=7061) inner /usr/local/lib/python2.7/dist-packages/oslo_concurrency/lockutils.py:282^[[00m^M</span><span style='color:#1F497D'><o:p></o:p></span></b></p><p class=MsoNormal><b><span style='color:#1F497D;background:yellow;mso-highlight:yellow'>2017-12-14 21:24:03.521 ERROR nova.compute.manager [^[[01;36mreq-2e8bd076-f1a4-45ff-a7e7-f54b8bee9c96 ^[[00;36madmin admin] ^[[01;35m[instance: 2398fce6-6f98-406d-9b1a-8cf9a1fbfccd] Failed to allocate network(s)^[[00m^M</span><span style='color:#1F497D'><o:p></o:p></span></b></p><p class=MsoNormal><b><span style='color:#1F497D;background:yellow;mso-highlight:yellow'>2017-12-14 21:24:03.521 TRACE nova.compute.manager ^[[01;35m[instance: 2398fce6-6f98-406d-9b1a-8cf9a1fbfccd] ^[[00mTraceback (most recent call last):^M<o:p></o:p></span></b></p><p class=MsoNormal><b><span style='color:#1F497D;background:yellow;mso-highlight:yellow'>2017-12-14 21:24:03.521 TRACE nova.compute.manager ^[[01;35m[instance: 2398fce6-6f98-406d-9b1a-8cf9a1fbfccd] ^[[00m  File "/opt/stack/nova/nova/compute/manager.py", line 1938, in _build_and_run_instance^M<o:p></o:p></span></b></p><p class=MsoNormal><b><span style='color:#1F497D;background:yellow;mso-highlight:yellow'>2017-12-14 21:24:03.521 TRACE nova.compute.manager ^[[01;35m[instance: 2398fce6-6f98-406d-9b1a-8cf9a1fbfccd] ^[[00m    with self._build_resources(context, instance,^M<o:p></o:p></span></b></p><p class=MsoNormal><b><span style='color:#1F497D;background:yellow;mso-highlight:yellow'>2017-12-14 21:24:03.521 TRACE nova.compute.manager ^[[01;35m[instance: 2398fce6-6f98-406d-9b1a-8cf9a1fbfccd] ^[[00m  File "/opt/stack/nova/nova/virt/libvirt/driver.py", line 2756, in spawn^M<o:p></o:p></span></b></p><p class=MsoNormal><b><span style='color:#1F497D;background:yellow;mso-highlight:yellow'>2017-12-14 21:24:03.521 TRACE nova.compute.manager ^[[01;35m[instance: 2398fce6-6f98-406d-9b1a-8cf9a1fbfccd] ^[[00m    post_xml_callback=gen_confdrive,^M<o:p></o:p></span></b></p><p class=MsoNormal><b><span style='color:#1F497D;background:yellow;mso-highlight:yellow'>2017-12-14 21:24:03.521 TRACE nova.compute.manager ^[[01;35m[instance: 2398fce6-6f98-406d-9b1a-8cf9a1fbfccd] ^[[00m  File "/opt/stack/nova/nova/virt/libvirt/driver.py", line 5195, in _create_domain_and_network^M<o:p></o:p></span></b></p><p class=MsoNormal><b><span style='color:#1F497D;background:yellow;mso-highlight:yellow'>2017-12-14 21:24:03.521 TRACE nova.compute.manager ^[[01;35m[instance: 2398fce6-6f98-406d-9b1a-8cf9a1fbfccd] ^[[00m    instance=instance)^M<o:p></o:p></span></b></p><p class=MsoNormal><b><span style='color:#1F497D;background:yellow;mso-highlight:yellow'>2017-12-14 21:24:03.521 TRACE nova.compute.manager ^[[01;35m[instance: 2398fce6-6f98-406d-9b1a-8cf9a1fbfccd] ^[[00mVirtualInterfaceCreateException: Virtual Interface creation failed^M<o:p></o:p></span></b></p><p class=MsoNormal><b><span style='color:#1F497D;background:yellow;mso-highlight:yellow'>2017-12-14 21:24:03.521 TRACE nova.compute.manager ^[[01;35m[instance: 2398fce6-6f98-406d-9b1a-8cf9a1fbfccd] ^[[00m^M<o:p></o:p></span></b></p><p class=MsoNormal><b><span style='color:#1F497D;background:yellow;mso-highlight:yellow'>2017-12-14 21:24:03.522 DEBUG nova.compute.utils [^[[01;36mreq-2e8bd076-f1a4-45ff-a7e7-f54b8bee9c96 ^[[00;36madmin admin] ^[[01;35m[instance: 2398fce6-6f98-406d-9b1a-8cf9a1fbfccd] Virtual Interface creation failed^[[00m ^[[00;33mfrom (pid=7061) notify_about_instance_usage /opt/stack/nova/nova/compute/utils.py:317^[[00m^M<o:p></o:p></span></b></p><p class=MsoNormal><b><span style='color:#1F497D;background:yellow;mso-highlight:yellow'>2017-12-14 21:24:03.522 DEBUG oslo_messaging._drivers.amqpdriver [^[[01;36mreq-2e8bd076-f1a4-45ff-a7e7-f54b8bee9c96 ^[[00;36madmin admin] ^[[01;35mCAST unique_id: 9887810c2974467badeac9be672b15d2 NOTIFY exchange 'nova' topic 'notifications.error'^[[00m ^[[00;33mfrom (pid=7061) _send /usr/local/lib/python2.7/dist-packages/oslo_messaging/_drivers/amqpdriver.py:546^[[00m^M<o:p></o:p></span></b></p><p class=MsoNormal><b><span style='color:#1F497D;background:yellow;mso-highlight:yellow'>2017-12-14 21:24:03.525 DEBUG oslo_messaging._drivers.amqpdriver [^[[01;36mreq-2e8bd076-f1a4-45ff-a7e7-f54b8bee9c96 ^[[00;36madmin admin] ^[[01;35mCAST unique_id: a59e16bd5ee3492c9db22dd99bd067a3 NOTIFY exchange 'nova' topic 'versioned_notifications.error'^[[00m ^[[00;33mfrom (pid=7061) _send /usr/local/lib/python2.7/dist-packages/oslo_messaging/_drivers/amqpdriver.py:546^[[00m^M<o:p></o:p></span></b></p><p class=MsoNormal><b><span style='color:#1F497D;background:yellow;mso-highlight:yellow'>2017-12-14 21:24:03.526 ERROR nova.compute.manager [^[[01;36mreq-2e8bd076-f1a4-45ff-a7e7-f54b8bee9c96 ^[[00;36madmin admin] ^[[01;35m[instance: 2398fce6-6f98-406d-9b1a-8cf9a1fbfccd] Build of instance 2398fce6-6f98-406d-9b1a-8cf9a1fbfccd aborted: Failed to allocate the network(s), not rescheduling.^[[00m^M<o:p></o:p></span></b></p><p class=MsoNormal><b><span style='color:#1F497D;background:yellow;mso-highlight:yellow'>2017-12-14 21:24:03.526 TRACE nova.compute.manager ^[[01;35m[instance: 2398fce6-6f98-406d-9b1a-8cf9a1fbfccd] ^[[00mTraceback (most recent call last):^M<o:p></o:p></span></b></p><p class=MsoNormal><b><span style='color:#1F497D;background:yellow;mso-highlight:yellow'>2017-12-14 21:24:03.526 TRACE nova.compute.manager ^[[01;35m[instance: 2398fce6-6f98-406d-9b1a-8cf9a1fbfccd] ^[[00m  File "/opt/stack/nova/nova/compute/manager.py", line 1788, in _do_build_and_run_instance^M<o:p></o:p></span></b></p><p class=MsoNormal><b><span style='color:#1F497D;background:yellow;mso-highlight:yellow'>2017-12-14 21:24:03.526 TRACE nova.compute.manager ^[[01;35m[instance: 2398fce6-6f98-406d-9b1a-8cf9a1fbfccd] ^[[00m    return build_results.FAILED^M<o:p></o:p></span></b></p><p class=MsoNormal><b><span style='color:#1F497D;background:yellow;mso-highlight:yellow'>2017-12-14 21:24:03.526 TRACE nova.compute.manager ^[[01;35m[instance: 2398fce6-6f98-406d-9b1a-8cf9a1fbfccd] ^[[00m  File "/opt/stack/nova/nova/compute/manager.py", line 1998, in _build_and_run_instance^M<o:p></o:p></span></b></p><p class=MsoNormal><b><span style='color:#1F497D;background:yellow;mso-highlight:yellow'>2017-12-14 21:24:03.526 TRACE nova.compute.manager ^[[01;35m[instance: 2398fce6-6f98-406d-9b1a-8cf9a1fbfccd] ^[[00m    msg = _('Failed to allocate the network(s) with error %s, '^M<o:p></o:p></span></b></p><p class=MsoNormal><b><span style='color:#1F497D;background:yellow;mso-highlight:yellow'>2017-12-14 21:24:03.526 TRACE nova.compute.manager ^[[01;35m[instance: 2398fce6-6f98-406d-9b1a-8cf9a1fbfccd] ^[[00mBuildAbortException: Build of instance 2398fce6-6f98-406d-9b1a-8cf9a1fbfccd aborted: Failed to allocate the network(s), not rescheduling.^M<o:p></o:p></span></b></p><p class=MsoNormal><b><span style='color:#1F497D;background:yellow;mso-highlight:yellow'>2017-12-14 21:24:03.526 TRACE nova.compute.manager ^[[01;35m[instance: 2398fce6-6f98-406d-9b1a-8cf9a1fbfccd] ^[[00m^M<o:p></o:p></span></b></p><p class=MsoNormal><b><span style='color:#1F497D;background:yellow;mso-highlight:yellow'>2017-12-14 21:24:03.527 DEBUG nova.compute.manager [^[[01;36mreq-2e8bd076-f1a4-45ff-a7e7-f54b8bee9c96 ^[[00;36madmin admin] ^[[01;35m[instance: 2398fce6-6f98-406d-9b1a-8cf9a1fbfccd] Deallocating network for instance^[[00m ^[[00;33mfrom (pid=7061) _deallocate_network /opt/stack/nova/nova/compute/manager.py:1669^[[00m^M<o:p></o:p></span></b></p><p class=MsoNormal><b><span style='color:#1F497D;background:yellow;mso-highlight:yellow'>2017-12-14 21:24:03.527 DEBUG nova.network.neutronv2.api [^[[01;36mreq-2e8bd076-f1a4-45ff-a7e7-f54b8bee9c96 ^[[00;36madmin admin] ^[[01;35m[instance: 2398fce6-6f98-406d-9b1a-8cf9a1fbfccd] deallocate_for_instance()^[[00m ^[[00;33mfrom (pid=7061) deallocate_for_instance /opt/stack/nova/nova/network/neutronv2/api.py:1173^[[00m^M<o:p></o:p></span></b></p><p class=MsoNormal><b><span style='color:#1F497D;background:yellow;mso-highlight:yellow'>2017-12-14 21:24:03.527 DEBUG keystoneauth1.session [^[[01;36mreq-2e8bd076-f1a4-45ff-a7e7-f54b8bee9c96 ^[[00;36madmin admin] ^[[01;35mauth_headers ----> {'X-Auth-Token': u'gAAAAABaM1TN1hhnQrnfQVASXfFXzyOOq1D8zHS9e1v54TjmkZQiXOSKBcS6kYWTVpDeRKlMHh2GZgOFQ9wJ_gSqvOQ371bTfCk61XV7PR5YeOF9pUP6VQI6x0EojazONSNJJxydImbv1Qf6FISU4HP527itUt_3cpnRnn8-1XE9M6rq_47tIN7fTwwWtkEj6C2x6Djki3Ng'}^[[00m ^[[00;33mfrom (pid=7061) request /usr/local/lib/python2.7/dist-packages/keystoneauth1/session.py:492^[[00m^M<o:p></o:p></span></b></p><p class=MsoNormal><b><span style='color:#1F497D;background:yellow;mso-highlight:yellow'>2017-12-14 21:24:03.528 WARNING keystoneauth1.session [^[[01;36mreq-2e8bd076-f1a4-45ff-a7e7-f54b8bee9c96 ^[[00;36madmin admin] ^[[01;35mquery_params  --> {}^[[00m^M<o:p></o:p></span></b></p><p class=MsoNormal><b><span style='color:#1F497D;background:yellow;mso-highlight:yellow'>2017-12-14 21:24:03.528 WARNING keystoneauth1.session [^[[01;36mreq-2e8bd076-f1a4-45ff-a7e7-f54b8bee9c96 ^[[00;36madmin admin] ^[[01;35murl -----::-> <a href="http://10.105.166.213:9696/v2.0/ports.json?device_id=2398fce6-6f98-406d-9b1a-8cf9a1fbfccd%5e%5b%5b00m%5eM">http://10.105.166.213:9696/v2.0/ports.json?device_id=2398fce6-6f98-406d-9b1a-8cf9a1fbfccd^[[00m^M</a></span><span style='color:#1F497D'><o:p></o:p></span></b></p><p class=MsoNormal><span style='color:#1F497D'>2017-12-14 21:24:03.528 WARNING keystoneauth1.session [^[[01;36mreq-2e8bd076-f1a4-45ff-a7e7-f54b8bee9c96 ^[[00;36madmin admin] ^[[01;35mBefore connection_params^[[00m^M<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>2017-12-14 21:24:03.528 WARNING keystoneauth1.session [^[[01;36mreq-2e8bd076-f1a4-45ff-a7e7-f54b8bee9c96 ^[[00;36madmin admin] ^[[01;35mAfter connection_params --> {}^[[00m^M<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>2017-12-14 21:24:03.528 WARNING keystoneauth1.session [^[[01;36mreq-2e8bd076-f1a4-45ff-a7e7-f54b8bee9c96 ^[[00;36madmin admin] ^[[01;35mBefore send(**kwargs) ^[[00m^M<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><a name="_MailEndCompose"></a><span style='color:#1F497D'><o:p> </o:p></span></p><div><div style='border:none;border-top:solid #E1E1E1 1.0pt;padding:3.0pt 0in 0in 0in'><p class=MsoNormal><a name="_____replyseparator"></a><b>From:</b> Bernd Bausch [<a href="mailto:berndbausch@gmail.com">mailto:berndbausch@gmail.com</a>] <br><b>Sent:</b> Friday, December 15, 2017 6:21 AM<br><b>To:</b> Ramu, MohanX <<a href="mailto:mohanx.ramu@intel.com">mohanx.ramu@intel.com</a>>; <a href="mailto:openstack@lists.openstack.org">openstack@lists.openstack.org</a><br><b>Cc:</b> 'Jay Pipes' <<a href="mailto:jaypipes@gmail.com">jaypipes@gmail.com</a>><br><b>Subject:</b> RE: Devstack - : Failed to allocate the network(s), not rescheduling<o:p></o:p></p></div></div><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal><span style='color:#1F497D'>This just says that Nova was unable to set up the network plumbing on the compute node. <o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>Depending on the OpenStack version you deployed, you should have other messages in the same log file, for example if you are using Pike, “No more network or fixed IP to be allocated” or “Failed to allocate network(s)” (without the article). It would be helpful to know if there are such messages. <o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>Most probably, there is more information in the Neutron logs. Since you use DevStack, you probably have an all-in-one deployment, but in case you have separate compute nodes, also check the Neutron agent log there.<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>You may also want to provide more information such as: What OpenStack version you have, which log are you sharing, when does this happen, does it always happen or only under certain circumstances, have you ever been able to launch an instance, what networks do you have, what network do you connect the instance to, what’s your local.conf etc.<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'><o:p> </o:p></span></p><div><div style='border:none;border-top:solid #E1E1E1 1.0pt;padding:3.0pt 0in 0in 0in'><p class=MsoNormal><b>From:</b> Ramu, MohanX [<a href="mailto:mohanx.ramu@intel.com">mailto:mohanx.ramu@intel.com</a>] <br><b>Sent:</b> Thursday, December 14, 2017 10:54 PM<br><b>To:</b> 'openstack@lists.openstack.org' <<a href="mailto:openstack@lists.openstack.org">openstack@lists.openstack.org</a>><br><b>Cc:</b> 'Bernd Bausch' <<a href="mailto:berndbausch@gmail.com">berndbausch@gmail.com</a>>; Jay Pipes <<a href="mailto:jaypipes@gmail.com">jaypipes@gmail.com</a>><br><b>Subject:</b> Devstack - : Failed to allocate the network(s), not rescheduling<o:p></o:p></p></div></div><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>Hi All,<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>2017-12-14 02:56:06.230 DEBUG oslo_messaging._drivers.amqpdriver [^[[01;36mreq-0949894a-1c03-4956-8582-49637a29e3b0 ^[[00;36madmin admin] ^[[01;35mCAST unique_id: fa9e604328a445f39702e0089de0248a NOTIFY exchange 'nova' topic 'notifications.error'^[[00m ^[[00;33mfrom (pid=7061) _send /usr/local/lib/python2.7/dist-packages/oslo_messaging/_drivers/amqpdriver.py:546^[[00m^M<o:p></o:p></p><p class=MsoNormal>2017-12-14 02:56:06.236 DEBUG oslo_messaging._drivers.amqpdriver [^[[01;36mreq-0949894a-1c03-4956-8582-49637a29e3b0 ^[[00;36madmin admin] ^[[01;35mCAST unique_id: 999c7e8ac35f4b9db809312ddccc8b7f NOTIFY exchange 'nova' topic 'versioned_notifications.error'^[[00m ^[[00;33mfrom (pid=7061) _send /usr/local/lib/python2.7/dist-packages/oslo_messaging/_drivers/amqpdriver.py:546^[[00m^M<o:p></o:p></p><p class=MsoNormal>2017-12-14 02:56:06.238 ERROR nova.compute.manager [^[[01;36mreq-0949894a-1c03-4956-8582-49637a29e3b0 ^[[00;36madmin admin] ^[[01;35m[instance: 8ed6476c-8c0c-4baf-b24f-8530feb836e7] Build of instance 8ed6476c-8c0c-4baf-b24f-8530feb836e7 aborted: <span style='background:yellow;mso-highlight:yellow'>Failed to allocate the network(s), not rescheduling.^[[00m^M</span><o:p></o:p></p><p class=MsoNormal>2017-12-14 02:56:06.238 TRACE nova.compute.manager ^[[01;35m[instance: 8ed6476c-8c0c-4baf-b24f-8530feb836e7] ^[[00mTraceback (most recent call last):^M<o:p></o:p></p><p class=MsoNormal>2017-12-14 02:56:06.238 TRACE nova.compute.manager ^[[01;35m[instance: 8ed6476c-8c0c-4baf-b24f-8530feb836e7] ^[[00m  File "/opt/stack/nova/nova/compute/manager.py", line 1788, in _do_build_and_run_instance^M<o:p></o:p></p><p class=MsoNormal>2017-12-14 02:56:06.238 TRACE nova.compute.manager ^[[01;35m[instance: 8ed6476c-8c0c-4baf-b24f-8530feb836e7] ^[[00m    return build_results.FAILED^M<o:p></o:p></p><p class=MsoNormal>2017-12-14 02:56:06.238 TRACE nova.compute.manager ^[[01;35m[instance: 8ed6476c-8c0c-4baf-b24f-8530feb836e7] ^[[00m  File "/opt/stack/nova/nova/compute/manager.py", line 1998, in _build_and_run_instance^M<o:p></o:p></p><p class=MsoNormal>2017-12-14 02:56:06.238 TRACE nova.compute.manager ^[[01;35m[instance: 8ed6476c-8c0c-4baf-b24f-8530feb836e7] ^[[00m    msg = _('Failed to allocate the network(s) with error %s, '^M<o:p></o:p></p><p class=MsoNormal>2017-12-14 02:56:06.238 TRACE nova.compute.manager ^[[01;35m[instance: 8ed6476c-8c0c-4baf-b24f-8530feb836e7] ^[[00mBuildAbortException: Build of instance 8ed6476c-8c0c-4baf-b24f-8530feb836e7 aborted: Failed to allocate the network(s), not rescheduling.^M<o:p></o:p></p><p class=MsoNormal>2017-12-14 02:56:06.238 TRACE nova.compute.manager ^[[01;35m[instance: 8ed6476c-8c0c-4baf-b24f-8530feb836e7] ^[[00m^M<o:p></o:p></p><p class=MsoNormal>2017-12-14 02:56:06.239 DEBUG nova.compute.manager [^[[01;36mreq-0949894a-1c03-4956-8582-49637a29e3b0 ^[[00;36madmin admin] ^[[01;35m[instance: 8ed6476c-8c0c-4baf-b24f-8530feb836e7] Deallocating network for instance^[[00m ^[[00;33mfrom (pid=7061) _deallocate_network /opt/stack/nova/nova/compute/manager.py:1669^[[00m^M<o:p></o:p></p><p class=MsoNormal>2017-12-14 02:56:06.239 DEBUG nova.network.neutronv2.api [^[[01;36mreq-0949894a-1c03-4956-8582-49637a29e3b0 ^[[00;36madmin admin] ^[[01;35m[instance: 8ed6476c-8c0c-4baf-b24f-8530feb836e7] deallocate_for_instance()^[[00m ^[[00;33mfrom (pid=7061) deallocate_for_instance /opt/stack/nova/nova/network/neutronv2/api.py:1173^[[00m^M<o:p></o:p></p><p class=MsoNormal>2017-12-14 02:56:06.240 DEBUG keystoneauth1.session [^[[01;36mreq-0949894a-1c03-4956-8582-49637a29e3b0 ^[[00;36madmin admin] ^[[01;35mauth_headers ----> {'X-Auth-Token': u'gAAAAABaMlbpaJ9OocE4phmMPWC6eSmajqtx1id547QxiGEhxMlSddZRexD8TPPH4Il0n3mAemxAWZVXXJeMDAb47ZIlf4YNogzUitsDgkR3-VRSNbB0MdpBFv3aO_aUv5ZBOe1__Ya_bJtW33-QglQbeBqkUoUaQli8aMldZ_BhLBOsqFCYSIWXnd15z73p1j9hmcbxU3Mb'}^[[00m ^[[00;33mfrom (pid=7061) request /usr/local/lib/python2.7/dist-packages/keystoneauth1/session.py:492^[[00m^M<o:p></o:p></p><p class=MsoNormal>2017-12-14 02:56:06.240 WARNING keystoneauth1.session [^[[01;36mreq-0949894a-1c03-4956-8582-49637a29e3b0 ^[[00;36madmin admin] ^[[01;35mquery_params  --> {}^[[00m^M<o:p></o:p></p><p class=MsoNormal>2017-12-14 02:56:06.240 WARNING keystoneauth1.session [^[[01;36mreq-0949894a-1c03-4956-8582-49637a29e3b0 ^[[00;36madmin admin] ^[[01;35murl -----::-> <a href="http://10.105.166.213:9696/v2.0/ports.json?device_id=8ed6476c-8c0c-4baf-b24f-8530feb836e7%5e%5b%5b00m%5eM">http://10.105.166.213:9696/v2.0/ports.json?device_id=8ed6476c-8c0c-4baf-b24f-8530feb836e7^[[00m^M</a><o:p></o:p></p><p class=MsoNormal>2017-12-14 02:56:06.241 WARNING keystoneauth1.session [^[[01;36mreq-0949894a-1c03-4956-8582-49637a29e3b0 ^[[00;36madmin admin] ^[[01;35mBefore connection_params^[[00m^M<o:p></o:p></p><p class=MsoNormal>2017-12-14 02:56:06.241 WARNING keystoneauth1.session [^[[01;36mreq-0949894a-1c03-4956-8582-49637a29e3b0 ^[[00;36madmin admin] ^[[01;35mAfter connection_params --> {}^[[00m^M<o:p></o:p></p><p class=MsoNormal>                                                <o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p></div></body></html>