<html><body><div style="color:#000; background-color:#fff; font-family:HelveticaNeue, Helvetica Neue, Helvetica, Arial, Lucida Grande, sans-serif;font-size:16px"><div class="" style=""><span class="" style="">Some more trouble shooting on this (and still no progress) I see this when I reboot (or use targetcli which is below this log):</span></div><div style="color: rgb(0, 0, 0); font-size: 16px; font-family: HelveticaNeue, 'Helvetica Neue', Helvetica, Arial, 'Lucida Grande', sans-serif; font-style: normal; background-color: transparent;" class=""><span class="" style=""><br class="" style=""></span></div><div style="color: rgb(0, 0, 0); font-size: 16px; font-family: HelveticaNeue, 'Helvetica Neue', Helvetica, Arial, 'Lucida Grande', sans-serif; font-style: normal; background-color: transparent;" class=""><br class="" style=""></div><div style="background-color: transparent;" class="">[root@block1 Python-2014-09-30-15:11:51-7481]# more backtrace</div><div
 style="background-color: transparent;" class="">node.py:60:_create_in_cfs_ine:RTSLibError: Could not create NetworkPortal in configFS.</div><div style="background-color: transparent;" class=""><br class="" style=""></div><div style="background-color: transparent;" class="">Traceback (most recent call last):</div><div style="background-color: transparent;" class="">  File "/bin/cinder-rtstool", line 238, in <module></div><div style="background-color: transparent;" class="">    sys.exit(main())</div><div style="background-color: transparent;" class="">  File "/bin/cinder-rtstool", line 203, in main</div><div style="background-color: transparent;" class="">    create(backing_device, name, userid, password, initiator_iqns)</div><div style="background-color: transparent;" class="">  File "/bin/cinder-rtstool", line 95, in create</div><div style="background-color: transparent;" class="">   
 rtslib.NetworkPortal(tpg_new, '0.0.0.0', 3260, mode='any')</div><div style="background-color: transparent;" class="">  File "/usr/lib/python2.7/site-packages/rtslib/target.py", line 694, in __init__</div><div style="background-color: transparent;" class="">    self._create_in_cfs_ine(mode)</div><div style="background-color: transparent;" class="">  File "/usr/lib/python2.7/site-packages/rtslib/node.py", line 60, in _create_in_cfs_ine</div><div style="background-color: transparent;" class="">    % self.__class__.__name__)</div><div style="background-color: transparent;" class="">RTSLibError: Could not create NetworkPortal in configFS.</div><div style="background-color: transparent;" class=""><br class="" style=""></div><div style="background-color: transparent;" class="">Local variables in innermost frame:</div><div style="background-color: transparent;" class="">self: <NetworkPortal 0.0.0.0 port 3260></div><div
 style="background-color: transparent;" class=""><span class="" style=""></span></div><div style="background-color: transparent;" class="">mode: 'any'</div><div class="" style=""><br class="" style=""></div><div class="" style=""><br class="" style=""></div><div class="" style="">FROM targetcli:</div><div class="" style=""><br class="" style=""></div><div class="" style=""><div class="" style="">/iscsi/iqn.20.../tpg1/portals> ls</div><div class="" style="">o- portals ............................................................................................................ [Portals: 0]</div><div class="" style="">/iscsi/iqn.20.../tpg1/portals> create ip_address=10.7.5.41</div><div class="" style="">Using default IP port 3260</div><div class="" style="">Could not create NetworkPortal in configFS.</div><div class="" style=""><br class="" style=""></div></div> <div class="qtdSeparateBR"><br><br></div><div class="yahoo_quoted" style="display: block;">
 <div style="font-family: HelveticaNeue, Helvetica Neue, Helvetica, Arial, Lucida Grande, sans-serif; font-size: 16px;" class=""> <div style="font-family: HelveticaNeue, Helvetica Neue, Helvetica, Arial, Lucida Grande, sans-serif; font-size: 16px;" class=""> <div dir="ltr" class="" style=""> <font size="2" face="Arial" class="" style=""> On Tuesday, October 7, 2014 11:07 AM, Amit Anand <mr_amitanand@yahoo.com> wrote:<br class="" style=""> </font> </div>  <br class="" style=""><br class="" style=""> <div class="" style=""><div id="yiv9490251367" class="" style=""><div class="" style=""><div style="color:#000;background-color:#fff;font-family:HelveticaNeue, Helvetica Neue, Helvetica, Arial, Lucida Grande, sans-serif;font-size:16px;" class=""><div dir="ltr" id="yiv9490251367yui_3_16_0_1_1412620603089_445403" class="" style="">Hi all,</div><div dir="ltr" id="yiv9490251367yui_3_16_0_1_1412620603089_445402" class="" style=""><br class=""
 style=""></div><div dir="ltr" id="yiv9490251367yui_3_16_0_1_1412620603089_445401" class="" style="">Been troubleshooting this for a while now and cant seem to figure out what wrong, reaching out here hoping that maybe someone would have some input/advice on how to fix. I am trying to add a volume to an instance and it keeps failing with the following errors below. Would appreciate any insight as I am wits end and I apologize in advance if this is not a place to ask questions such as these - Ive tried the AskOpenstack and have gotten nothing. Thanks!!</div><div dir="ltr" id="yiv9490251367yui_3_16_0_1_1412620603089_445400" class="" style=""><br class="" style=""></div><div dir="ltr" class="" style="" id="yiv9490251367yui_3_16_0_1_1412620603089_445404">[root@block1 tgt]# cinder list</div><div dir="ltr" class="" style=""
 id="yiv9490251367yui_3_16_0_1_1412620603089_445399">+--------------------------------------+-----------+--------------+------+-------------+----------+-------------+</div><div dir="ltr" class="" style="" id="yiv9490251367yui_3_16_0_1_1412620603089_445405">|                  ID                  |   Status  | Display Name | Size | Volume Type | Bootable | Attached to |</div><div dir="ltr" class="" style="" id="yiv9490251367yui_3_16_0_1_1412620603089_445398">+--------------------------------------+-----------+--------------+------+-------------+----------+-------------+</div><div dir="ltr" id="yiv9490251367yui_3_16_0_1_1412620603089_445386" class="" style="">| 4c6e1b15-2c7e-4bca-aae4-925cc054db8d | available |   myVolume   |  1   |     None    |  false   |             |</div><div
 dir="ltr" class="" style="" id="yiv9490251367yui_3_16_0_1_1412620603089_445397">| b8df2a1a-48df-443c-a078-bec907d8462d | available |   amitvol    |  20  |     None    |  false   |             |</div><div dir="ltr" class="" style="" id="yiv9490251367yui_3_16_0_1_1412620603089_445406">+--------------------------------------+-----------+--------------+------+-------------+----------+-------------+</div><div class="" style="" id="yiv9490251367yui_3_16_0_1_1412620603089_445396"><br class="" style=""></div><div class="" style="" id="yiv9490251367yui_3_16_0_1_1412620603089_445396"><br class="" style=""></div><div class="" style="" id="yiv9490251367yui_3_16_0_1_1412620603089_445396"><br class="" style=""></div><div class="" style="" id="yiv9490251367yui_3_16_0_1_1412620603089_445396" dir="ltr">Block node error log:</div><div class="" style=""
 id="yiv9490251367yui_3_16_0_1_1412620603089_445396" dir="ltr"><br class="" style=""></div><div class="" style="" id="yiv9490251367yui_3_16_0_1_1412620603089_445396" dir="ltr"><div class="" id="yiv9490251367yui_3_16_0_1_1412620603089_445396" dir="ltr" style="">2014-10-07 10:58:46.720 31375 ERROR cinder.brick.iscsi.iscsi [req-d5e26671-6ca3-45d8-a9ca-730913c87010 8748be7fb9d544c088a7192137422231    bb7ce560d1e9482b862679cefaf5ae69 - - -] Failed to create iscsi target for volume id:volume-b8df2a1a-48df-443c-a078-bec907d8462d.</div><div class="" id="yiv9490251367yui_3_16_0_1_1412620603089_445396" dir="ltr" style=""><br class="" style=""></div><div class="" id="yiv9490251367yui_3_16_0_1_1412620603089_445396" dir="ltr" style="">2014-10-07 10:58:46.721 31375 ERROR cinder.brick.iscsi.iscsi [req-d5e26671-6ca3-45d8-a9ca-730913c87010 8748be7fb9d544c088a7192137422231    bb7ce560d1e9482b862679cefaf5ae69 - - -] Unexpected error while running
 command.</div><div class="" id="yiv9490251367yui_3_16_0_1_1412620603089_445396" dir="ltr" style="">Command: sudo cinder-rootwrap /etc/cinder/rootwrap.conf cinder-rtstool create /dev/cinder-volumes/volume-b8df2a1a-48df-443c-a078-bec907   d8462d iqn.2010-10.org.openstack:volume-b8df2a1a-48df-443c-a078-bec907d8462d 8HayuR8mAq7QpK9y7soB iZypk62NhziXmfvdZMDf</div><div class="" id="yiv9490251367yui_3_16_0_1_1412620603089_445396" dir="ltr" style="">Exit code: 1</div><div class="" id="yiv9490251367yui_3_16_0_1_1412620603089_445396" dir="ltr" style="">Stdout: 'Error creating NetworkPortal: ensure port 3260 is not in use by another service.\n'</div><div class="" id="yiv9490251367yui_3_16_0_1_1412620603089_445396" dir="ltr" style="">Stderr: 'Traceback (most recent call last):\n  File "/bin/cinder-rtstool", line 238, in <module>\n    sys.exit(main())\n  File "/bin/ci   nder-rtstool", line 203, in main\n  
  create(backing_device, name, userid, password, initiator_iqns)\n  File "/bin/cinder-rtstool", lin   e 95, in create\n    rtslib.NetworkPortal(tpg_new, \'0.0.0.0\', 3260, mode=\'any\')\n  File "/usr/lib/python2.7/site-packages/rtslib/ta   rget.py", line 694, in __init__\n    self._create_in_cfs_ine(mode)\n  File "/usr/lib/python2.7/site-packages/rtslib/node.py", line 60,    in _create_in_cfs_ine\n    % self.__class__.__name__)\nrtslib.utils.RTSLibError: Could not create NetworkPortal in configFS.\n'</div><div class="" id="yiv9490251367yui_3_16_0_1_1412620603089_445396" dir="ltr" style=""><br class="" style=""></div><div class="" id="yiv9490251367yui_3_16_0_1_1412620603089_445396" dir="ltr" style="">2014-10-07 10:58:46.721 31375 ERROR oslo.messaging.rpc.dispatcher [req-d5e26671-6ca3-45d8-a9ca-730913c87010 8748be7fb9d544c088a71921374   22231 bb7ce560d1e9482b862679cefaf5ae69 - - -]
 Exception during message handling: Failed to create iscsi target for volume volume-b8df2a   1a-48df-443c-a078-bec907d8462d.</div><div class="" style="" id="yiv9490251367yui_3_16_0_1_1412620603089_445475"><br class="" style=""></div><div class="" style="" id="yiv9490251367yui_3_16_0_1_1412620603089_445475"><div class="" id="yiv9490251367yui_3_16_0_1_1412620603089_445475" style="">2014-10-07 10:58:46.721 31375 TRACE oslo.messaging.rpc.dispatcher   File "/usr/lib/python2.7/site-packages/cinder/brick/iscsi/iscsi.py"   , line 540, in create_iscsi_target</div><div class="" id="yiv9490251367yui_3_16_0_1_1412620603089_445475" style=""><br class="" style=""></div><div class="" id="yiv9490251367yui_3_16_0_1_1412620603089_445475" style="">2014-10-07 10:58:46.721 31375 TRACE oslo.messaging.rpc.dispatcher     raise exception.ISCSITargetCreateFailed(volume_id=vol_id)</div><div class="" id="yiv9490251367yui_3_16_0_1_1412620603089_445475"
 style=""><br class="" style=""></div><div class="" id="yiv9490251367yui_3_16_0_1_1412620603089_445475" style="">2014-10-07 10:58:46.721 31375 TRACE oslo.messaging.rpc.dispatcher ISCSITargetCreateFailed: Failed to create iscsi target for volume vol   ume-b8df2a1a-48df-443c-a078-bec907d8462d.</div><div class="" id="yiv9490251367yui_3_16_0_1_1412620603089_445475" style=""><br class="" style=""></div><div class="" id="yiv9490251367yui_3_16_0_1_1412620603089_445475" style="">2014-10-07 10:58:46.721 31375 TRACE oslo.messaging.rpc.dispatcher</div><div class="" id="yiv9490251367yui_3_16_0_1_1412620603089_445475" style=""><br class="" style=""></div><div class="" id="yiv9490251367yui_3_16_0_1_1412620603089_445475" style="">2014-10-07 10:58:46.724 31375 ERROR oslo.messaging._drivers.common [req-d5e26671-6ca3-45d8-a9ca-730913c87010 8748be7fb9d544c088a7192137   422231 bb7ce560d1e9482b862679cefaf5ae69 - - -] Returning exception Failed to create iscsi
 target for volume volume-b8df2a1a-48df-443c-a   078-bec907d8462d. to caller</div><div class="" id="yiv9490251367yui_3_16_0_1_1412620603089_445475" style=""><br class="" style=""></div><div class="" id="yiv9490251367yui_3_16_0_1_1412620603089_445475" style="">2014-10-07 10:58:46.724 31375 ERROR oslo.messaging._drivers.common [req-d5e26671-6ca3-45d8-a9ca-730913c87010 8748be7fb9d544c088a7192137   422231 bb7ce560d1e9482b862679cefaf5ae69 - - -] ['Traceback (most recent call last):\n', '  File "/usr/lib/python2.7/site-packages/oslo/   messaging/rpc/dispatcher.py", line 133, in _dispatch_and_reply\n    incoming.message))\n', '  File "/usr/lib/python2.7/site-packages/os   lo/messaging/rpc/dispatcher.py", line 176, in _dispatch\n    return self._do_dispatch(endpoint, method, ctxt, args)\n', '  File "/usr/l   ib/python2.7/site-packages/oslo/messaging/rpc/dispatcher.py", line 122, in _do_dispatch\n  
  result = getattr(endpoint, method)(ctxt, *   *new_args)\n', '  File "/usr/lib/python2.7/site-packages/cinder/volume/manager.py", line 783, in initialize_connection\n    volume)\n',    '  File "/usr/lib/python2.7/site-packages/cinder/volume/drivers/lvm.py", line 524, in create_export\n    return self._create_export(co   ntext, volume)\n', '  File "/usr/lib/python2.7/site-packages/cinder/volume/drivers/lvm.py", line 533, in _create_export\n    data = sel   f.target_helper.create_export(context, volume, volume_path)\n', '  File "/usr/lib/python2.7/site-packages/cinder/volume/iscsi.py", line    53, in create_export\n    chap_auth)\n', '  File "/usr/lib/python2.7/site-packages/cinder/brick/iscsi/iscsi.py", line 540, in create_i   scsi_target\n    raise exception.ISCSITargetCreateFailed(volume_id=vol_id)\n', 'ISCSITargetCreateFailed: Failed
 to create iscsi target    for volume volume-b8df2a1a-48df-443c-a078-bec907d8462d.\n']</div><div class="" style="" id="yiv9490251367yui_3_16_0_1_1412620603089_445503"><br class="" style=""></div></div><div class="" style="" id="yiv9490251367yui_3_16_0_1_1412620603089_445475"><br class="" style=""></div><div class="" style="" id="yiv9490251367yui_3_16_0_1_1412620603089_445475" dir="ltr">Controller node error log:</div><div class="" style="" id="yiv9490251367yui_3_16_0_1_1412620603089_445475" dir="ltr"><br class="" style=""></div><div class="" style="" id="yiv9490251367yui_3_16_0_1_1412620603089_445475" dir="ltr"><div class="" id="yiv9490251367yui_3_16_0_1_1412620603089_445475" dir="ltr" style="">2014-10-07 10:58:46.745 12232 ERROR cinder.api.middleware.fault [req-d5e26671-6ca3-45d8-a9ca-730913c87010 8748be7fb9d544c088a7192137422231 bb7ce560d1e9482b862679cefaf5ae69 - - -] Caught error: Remote error: ISCSITargetCreateFailed Failed to create iscsi
 target for volume volume-b8df2a1a-48df-443c-a078-bec907d8462d.</div><div class="" id="yiv9490251367yui_3_16_0_1_1412620603089_445475" dir="ltr" style="">[u'Traceback (most recent call last):\n', u'  File "/usr/lib/python2.7/site-packages/oslo/messaging/rpc/dispatcher.py", line 133, in _dispatch_and_reply\n    incoming.message))\n', u'  File "/usr/lib/python2.7/site-packages/oslo/messaging/rpc/dispatcher.py", line 176, in _dispatch\n    return self._do_dispatch(endpoint, method, ctxt, args)\n', u'  File "/usr/lib/python2.7/site-packages/oslo/messaging/rpc/dispatcher.py", line 122, in _do_dispatch\n    result = getattr(endpoint, method)(ctxt, **new_args)\n', u'  File "/usr/lib/python2.7/site-packages/cinder/volume/manager.py", line 783, in initialize_connection\n    volume)\n', u'  File "/usr/lib/python2.7/site-packages/cinder/volume/drivers/lvm.py", line 524, in create_export\n  
  return self._create_export(context, volume)\n', u'  File "/usr/lib/python2.7/site-packages/cinder/volume/drivers/lvm.py", line 533, in _create_export\n    data = self.target_helper.create_export(context, volume, volume_path)\n', u'  File "/usr/lib/python2.7/site-packages/cinder/volume/iscsi.py", line 53, in create_export\n    chap_auth)\n', u'  File "/usr/lib/python2.7/site-packages/cinder/brick/iscsi/iscsi.py", line 540, in create_iscsi_target\n    raise exception.ISCSITargetCreateFailed(volume_id=vol_id)\n', u'ISCSITargetCreateFailed: Failed to create iscsi target for volume volume-b8df2a1a-48df-443c-a078-bec907d8462d.\n'].</div><div class="" style="" id="yiv9490251367yui_3_16_0_1_1412620603089_445662"><br class="" style=""></div><div class="" style="" id="yiv9490251367yui_3_16_0_1_1412620603089_445638"><br class="" style=""></div><div class="" style=""
 id="yiv9490251367yui_3_16_0_1_1412620603089_445620"><div class="" id="yiv9490251367yui_3_16_0_1_1412620603089_445620" style="">2014-10-07 10:58:46.745 12232 TRACE cinder.api.middleware.fault RemoteError: Remote error: ISCSITargetCreateFailed Failed to create iscsi target for volume volume-b8df2a1a-48df-443c-a078-bec907d8462d.</div><div class="" id="yiv9490251367yui_3_16_0_1_1412620603089_445620" style=""><br class="" style=""></div><div class="" id="yiv9490251367yui_3_16_0_1_1412620603089_445620" style="">2014-10-07 10:58:46.745 12232 TRACE cinder.api.middleware.fault [u'Traceback (most recent call last):\n', u'  File "/usr/lib/python2.7/site-packages/oslo/messaging/rpc/dispatcher.py", line 133, in _dispatch_and_reply\n    incoming.message))\n', u'  File "/usr/lib/python2.7/site-packages/oslo/messaging/rpc/dispatcher.py", line 176, in _dispatch\n    return self._do_dispatch(endpoint, method, ctxt, args)\n', u'  File
 "/usr/lib/python2.7/site-packages/oslo/messaging/rpc/dispatcher.py", line 122, in _do_dispatch\n    result = getattr(endpoint, method)(ctxt, **new_args)\n', u'  File "/usr/lib/python2.7/site-packages/cinder/volume/manager.py", line 783, in initialize_connection\n    volume)\n', u'  File "/usr/lib/python2.7/site-packages/cinder/volume/drivers/lvm.py", line 524, in create_export\n    return self._create_export(context, volume)\n', u'  File "/usr/lib/python2.7/site-packages/cinder/volume/drivers/lvm.py", line 533, in _create_export\n    data = self.target_helper.create_export(context, volume, volume_path)\n', u'  File "/usr/lib/python2.7/site-packages/cinder/volume/iscsi.py", line 53, in create_export\n    chap_auth)\n', u'  File "/usr/lib/python2.7/site-packages/cinder/brick/iscsi/iscsi.py", line 540, in create_iscsi_target\n    raise
 exception.ISCSITargetCreateFailed(volume_id=vol_id)\n', u'ISCSITargetCreateFailed: Failed to create iscsi target for volume volume-b8df2a1a-48df-443c-a078-bec907d8462d.\n'].</div><div class="" id="yiv9490251367yui_3_16_0_1_1412620603089_445620" style="">2014-10-07 10:58:46.745 12232 TRACE cinder.api.middleware.fault</div><div class="" style="" id="yiv9490251367yui_3_16_0_1_1412620603089_445661"><br class="" style=""></div></div><div class="" style="" id="yiv9490251367yui_3_16_0_1_1412620603089_445620"><br class="" style=""></div></div><div class="" style="" id="yiv9490251367yui_3_16_0_1_1412620603089_445475" dir="ltr"><br class="" style=""></div></div><div class="" style="" id="yiv9490251367yui_3_16_0_1_1412620603089_445396" dir="ltr"><br class="" style=""></div><div class="" style="" id="yiv9490251367yui_3_16_0_1_1412620603089_445396" dir="ltr"><div class="" style="" id="yiv9490251367yui_3_16_0_1_1412620603089_445445"><br class=""
 style=""></div></div><div class="" style="" id="yiv9490251367yui_3_16_0_1_1412620603089_445396" dir="ltr"><br class="" style=""></div><div class="" style=""></div></div></div></div><br class="" style=""><br class="" style=""></div>  </div> </div>  </div> </div></body></html>