<div dir="ltr"><div>Hello, I have a problem about cinder volume,</div><div>After cinder create command, new volume status is stuck in creating status..... is not changed to available or error.. </div><div>What part of service should I focous on ???......   lvm? rabbit? cinder-api? cinder-volume? cinder-scheduler? etc....... </div><div>I'm writing to ask for help and any advice....   solution or approach... everything is fine.. help me... </div><div>thanks in advance..</div><div> </div><div>Here are cinder logs and configuration-information and status.</div><div> </div><div>●  [Configuration] : 3-node configuration (Controller-node, Network-node, Compute-node(that is also storage-node))</div><div>                             : ubuntu14.04, icehouse installed on each node on virtualbox</div><div> </div><div>● (On Controller node)</div><div># cinder create --display-name myVolume 1 <br># cinder list<br>+--------------------------------------+----------+--------------+------+-------------+----------+-------------+<br>|                  ID                  |  Status  | Display Name | Size | Volume Type | Bootable | Attached to |<br>+--------------------------------------+----------+--------------+------+-------------+----------+-------------+<br>| 4891a2e7-0cb2-4caf-9528-6612d8cf5f5a |<strong> creating </strong>|   myVolume   |  1   |     None    |  false   |             |<br>+--------------------------------------+----------+--------------+------+-------------+----------+-------------+<br></div><div>mysql> select status from volumes;<br>+----------+<br>| status   |<br>+----------+<br>| creating |<br>+----------+</div><div> </div><div>mysql> select id from volumes;<br>+--------------------------------------+<br>| id                                   |<br>+--------------------------------------+<br>| 4891a2e7-0cb2-4caf-9528-6612d8cf5f5a |<br>+--------------------------------------+</div><div> </div><div><div># netstat -an | grep 8776<br>tcp        0      0 <a href="http://0.0.0.0:8776">0.0.0.0:8776</a>            0.0.0.0:*               LISTEN<br></div><div># netstat -an | grep 5672</div><div>.....<br>tcp6       0      0 :::5672                 :::*                    LISTEN<br>tcp6       0      0 <a href="http://10.10.15.11:5672">10.10.15.11:5672</a>        <a href="http://10.10.15.31:33271">10.10.15.31:33271</a>       ESTABLISHED<br>.....</div><div> </div><div># service cinder-api status<br>cinder-api start/running, process 3733<br># service cinder-scheduler status<br>cinder-scheduler start/running, process 3755<br></div></div><div><strong><Logs></strong> when cinder create commands excuted</div><div><strong><cinder-api.log></strong></div><div>2016-01-20 15:24:29.584 3739 INFO eventlet.wsgi.server [-] (3739) accepted ('10.10.15.11', 51845)<br>2016-01-20 15:24:29.588 3739 INFO urllib3.connectionpool [-] Starting new HTTP connection (1): 10.10.15.11<br>2016-01-20 15:24:29.874 3739 INFO urllib3.connectionpool [-] Starting new HTTP connection (1): 10.10.15.11<br>2016-01-20 15:24:30.029 3739 INFO cinder.api.openstack.wsgi [req-c7c065b5-3e4c-40c8-b011-24a1afbf6e50 5f8b76cf5986402fa6affdb4c9e2fc44 56ee36bd79724517bf115df7f3202f1d - - -] POST <a href="http://10.10.15.11:8776/v1/56ee36bd79724517bf115df7f3202f1d/volumes">http://10.10.15.11:8776/v1/56ee36bd79724517bf115df7f3202f1d/volumes</a><br>2016-01-20 15:24:30.032 3739 AUDIT cinder.api.v1.volumes [req-c7c065b5-3e4c-40c8-b011-24a1afbf6e50 5f8b76cf5986402fa6affdb4c9e2fc44 56ee36bd79724517bf115df7f3202f1d - - -] Create volume of 1 GB<br>2016-01-20 15:24:30.212 3739 AUDIT cinder.api.v1.volumes [req-c7c065b5-3e4c-40c8-b011-24a1afbf6e50 5f8b76cf5986402fa6affdb4c9e2fc44 56ee36bd79724517bf115df7f3202f1d - - -] vol={'migration_status': None, 'availability_zone': 'nova', 'terminated_at': None, 'reservations': ['8339d8b8-70a5-4226-94a5-ad7c4f16d3f6', '6795bec3-0875-49cb-b538-c1e0f3b097c1'], 'updated_at': None, 'provider_geometry': None, 'snapshot_id': None, 'ec2_id': None, 'mountpoint': None, 'deleted_at': None, 'id': '4891a2e7-0cb2-4caf-9528-6612d8cf5f5a', 'size': 1, 'user_id': u'5f8b76cf5986402fa6affdb4c9e2fc44', 'attach_time': None, 'attached_host': None, 'display_description': None, 'volume_admin_metadata': [], 'encryption_key_id': None, 'project_id': u'56ee36bd79724517bf115df7f3202f1d', 'launched_at': None, 'scheduled_at': None, 'status': 'creating', 'volume_type_id': None, 'deleted': False, 'provider_location': None, 'host': None, 'source_volid': None, 'provider_auth': None, 'display_name': u'myVolume', 'instance_uuid': None, 'bootable': False, 'created_at': datetime.datetime(2016, 1, 20, 6, 24, 30, 108934), 'attach_status': 'detached', 'volume_type': None, '_name_id': None, 'volume_metadata': [], 'metadata': {}}<br>2016-01-20 15:24:30.217 3739 INFO cinder.api.openstack.wsgi [req-c7c065b5-3e4c-40c8-b011-24a1afbf6e50 5f8b76cf5986402fa6affdb4c9e2fc44 56ee36bd79724517bf115df7f3202f1d - - -] <a href="http://10.10.15.11:8776/v1/56ee36bd79724517bf115df7f3202f1d/volumes">http://10.10.15.11:8776/v1/56ee36bd79724517bf115df7f3202f1d/volumes</a> returned with HTTP 200<br>2016-01-20 15:24:30.226 3739 INFO eventlet.wsgi.server [req-c7c065b5-3e4c-40c8-b011-24a1afbf6e50 5f8b76cf5986402fa6affdb4c9e2fc44 56ee36bd79724517bf115df7f3202f1d - - -] 10.10.15.11 - - [20/Jan/2016 15:24:30] "POST /v1/56ee36bd79724517bf115df7f3202f1d/volumes HTTP/1.1" 200 602 0.639812<br></div><div><strong><cinder-scheduler.log></strong>  logs are repeated regardless of excuting of commands...... except for "<strong>2016-01-20 15:24:30.205"</strong></div><div>2016-01-20 15:23:12.097 3755 WARNING cinder.context [-] Arguments dropped when creating context: {'user': None, 'tenant': None, 'user_identity': u'- - - - -'}<br>2016-01-20 15:24:12.105 3755 WARNING cinder.context [-] Arguments dropped when creating context: {'user': None, 'tenant': None, 'user_identity': u'- - - - -'}<br><strong>2016-01-20 15:24:30.205 3755 WARNING cinder.context [-] Arguments dropped when creating context: {'user': u'5f8b76cf5986402fa6affdb4c9e2fc44', 'tenant': u'56ee36bd79724517bf115df7f3202f1d', 'user_identity': u'5f8b76cf5986402fa6affdb4c9e2fc44 56ee36bd79724517bf115df7f3202f1d - - -'}<br></strong>2016-01-20 15:25:12.133 3755 WARNING cinder.context [-] Arguments dropped when creating context: {'user': None, 'tenant': None, 'user_identity': u'- - - - -'}</div><div> </div><div><div><strong># cinder.conf</strong> <controller node><br>[DEFAULT]<br>rootwrap_config = /etc/cinder/rootwrap.conf<br>api_paste_confg = /etc/cinder/api-paste.ini<br>iscsi_helper = tgtadm<br>volume_name_template = volume-%s<br>volume_group = cinder-volumes<br>verbose = True<br>auth_strategy = keystone<br>state_path = /var/lib/cinder<br>lock_path = /var/lock/cinder<br>volumes_dir = /var/lib/cinder/volumes</div><div> </div><div>rpc_backend = cinder.openstack.common.rpc.impl_kombu<br>rabbit_host = 10.10.15.11<br>rabbit_port = 5672<br>rabbit_userid = guest<br>rabbit_password = rabbitpass</div><div>control_exchange = cinder<br>notification_driver = cinder.openstack.common.notifier.rpc_notifier</div><div> </div><div>[database]<br>connection = mysql://<a href="http://cinder:cinderdbpass@10.10.15.11/cinder">cinder:cinderdbpass@10.10.15.11/cinder</a></div><div> </div><div>[keystone_authtoken]<br>auth_uri = <a href="http://10.10.15.11:5000">http://10.10.15.11:5000</a><br>auth_host = 10.10.15.11<br>auth_port = 35357<br>auth_protocol = http<br>admin_tenant_name = service<br>admin_user = cinder<br>admin_password = cinderpass<br></div></div><div>---------------------------------------------------------------------------------------------------------------<br></div><div>● (On Compute node) that is also storage node</div><div># vgs<br>  VG             #PV #LV #SN Attr   VSize VFree<br>  cinder-volumes   2   0   0 wz--n- 1.99g 1.99g</div><div># pvs<br>  PV         VG             Fmt  Attr PSize    PFree<br>  /dev/sdc   cinder-volumes lvm2 a--  1020.00m 1020.00m<br>  /dev/sdd   cinder-volumes lvm2 a--  1020.00m 1020.00m</div><div> </div><div># service cinder-volume status<br>cinder-volume start/running, process 1755<br># service tgt status<br>tgt start/running, process 1783</div><div> </div><div># /etc/lvm/lvm.conf </div><div>...</div><div>filter = [ "a/sda1/", "a/sdc/", "a/sdd/", "r/.*/"]</div><div>....</div><div># netstat -an | grep 5672  </div><div>tcp        0      0 <a href="http://10.10.15.31:33263">10.10.15.31:33263</a>       <a href="http://10.10.15.11:5672">10.10.15.11:5672</a>        ESTABLISHED</div><div> </div><div><strong># cinder.conf</strong> <compute node><br>[DEFAULT]<br>rootwrap_config = /etc/cinder/rootwrap.conf<br>api_paste_confg = /etc/cinder/api-paste.ini<br>iscsi_helper = tgtadm<br>volume_name_template = volume-%s<br>volume_group = cinder-volumes<br>verbose = True<br>auth_strategy = keystone<br>state_path = /var/lib/cinder<br>lock_path = /var/lock/cinder<br>volumes_dir = /var/lib/cinder/volumes<br>#<br>rpc_backend = cinder.openstack.common.rpc.impl_kombu<br>rabbit_host = 10.10.15.11<br>rabbit_port = 5672<br>rabbit_userid = guest<br>rabbit_password = rabbitpass<br>#<br>my_ip = 10.10.15.31<br>glance_host = 10.10.15.11<br>#<br>[keystone_authtoken]<br>auth_uri = <a href="http://10.10.15.11:5000">http://10.10.15.11:5000</a><br>auth_host = 10.10.15.11<br>auth_port = 35357<br>auth_protocol = http<br>admin_tenant_name = service<br>admin_user = cinder<br>admin_password = cinderpass<br>#<br>[database]<br>connection = mysql://<a href="http://cinder:cinderdbpass@10.10.15.11/cinder">cinder:cinderdbpass@10.10.15.11/cinder</a></div><div><br># ls -al /var/lib/cinder/volumes<br>total 8<br>drwxr-xr-x 2 cinder cinder 4096  9월  5 05:43 .<br>drwxr-xr-x 3 cinder cinder 4096  1월 19 21:13 ..</div><div># ls -al /var/lock/cinder<br>total 0<br>drwxr-xr-x 2 cinder root  40  1월 19 21:52 .<br>drwxrwxrwt 7 root   root 140  1월 19 21:53 ..</div><div> </div><div># cat /admin-openrc.sh<br>export OS_USERNAME=admin<br>export OS_PASSWORD=adminpass<br>export OS_TENANT_NAME=admin<br>export OS_AUTH_URL=<a href="http://10.10.15.11:35357/v2.0">http://10.10.15.11:35357/v2.0</a></div><div> </div></div>