<html>
<head>
    <meta http-equiv="Content-Type" content="text/html; charset=UTF-8">
</head>
<body>
<style>
    font{
        line-height: 1.6;
    }
    ul,ol{
        padding-left: 20px;
        list-style-position: inside;
    }
</style>
<div style="font-family:微软雅黑,Verdana,"Microsoft Yahei",SimSun,sans-serif;font-size:14px; line-height:1.6;">
    <div><br></div><div>Hi all,</div><div><br></div><div>I have met an issue when I use manila with cephfs nfs backend.</div><div><br></div><div>Environment Information:</div><div>- OS: ubuntu 18.04</div><div>- OpenStack Version: Train</div><div>- Kolla-ansible Version: 9.3.2</div><div><br></div><div>I used kolla-ansible to deploy my OpenStack environment AIO.</div><div><br></div><div>Here is the info of my globals.yml as followed:</div><div>---
</div><div>kolla_base_distro: "ubuntu"
</div><div>kolla_install_type: "source"
</div><div>openstack_release: "train"</div><div>kolla_internal_vip_address: "172.16.150.67"
</div><div>network_interface: "ens3"
</div><div>neutron_external_interface: "ens4"
</div><div>enable_haproxy: "no"
</div><div>enable_ceph: "yes"
</div><div>enable_ceph_mds: "yes"
</div><div>enable_ceph_rgw: "yes"
</div><div>enable_ceph_nfs: "yes"
</div><div>enable_cinder: "yes"
</div><div>enable_manila: "yes"
</div><div>enable_manila_backend_cephfs_nfs: "yes"
</div><div>enable_ceph_rgw_keystone: "yes"
</div><div>ceph_osd_store_type: "filestore"</div><div><br></div><div>I try to use cephfs nfs backend for manila.</div><div>All containers are running and the services of manila is good.</div><div>+----+------------------+-------------------+------+---------+-------+----------------------------+
</div><div>| Id | Binary           | Host              | Zone | Status  | State | Updated_at                 |
</div><div>+----+------------------+-------------------+------+---------+-------+----------------------------+
</div><div>| 1  | manila-data      | manila            | nova | enabled | up    | 2022-02-16T03:25:34.000000 |
</div><div>| 2  | manila-scheduler | manila            | nova | enabled | up    | 2022-02-16T03:25:35.000000 |
</div><div>| 3  | manila-share     | manila@cephfsnfs1 | nova | enabled | up    | 2022-02-16T03:25:40.000000 |
</div><div>+----+------------------+-------------------+------+---------+-------+----------------------------+</div><div><br></div><div>Here is my share type:</div><div>+--------------------------------------+--------------------+------------+------------+-------------------------------------+----------------------+-------------+<br>| ID                                   | Name               | visibility | is_default | required_extra_specs                | optional_extra_specs | Description |<br>+--------------------------------------+--------------------+------------+------------+-------------------------------------+----------------------+-------------+<br>| 265a6637-0322-4c4a-9185-f30f01b96d12 | default_share_type | public     | -          | driver_handles_share_servers : False |                      | None        |<br>+--------------------------------------+--------------------+------------+------------+-------------------------------------+----------------------+-------------+</div><div><br></div><div>When I create a share, error information appears in manila-share.log file:</div><div><br></div><div>2022-02-16 09:30:04.615 20 INFO manila.share.manager [req-b57991af-5355-4202-8543-dc7ff914d919 - - - - -] Updating share status<br>2022-02-16 09:30:04.616 20 DEBUG manila.share.driver [req-b57991af-5355-4202-8543-dc7ff914d919 - - - - -] Updating share stats. _update_share_stats /var/lib/kolla/venv/lib/python3.6/site-packages/manila/share/driver.py:1232<br>2022-02-16 09:30:54.675 20 DEBUG manila.share.drivers.cephfs.driver [req-d2c8ef2a-d3ce-483b-9e39-e5a3d857d72b eaf0e30a92694889aa46ac5a1d4b7a47 37025e7c9ae447c8975e9ef3a4e5d0ff - - -] create_share CEPHFSNFS1 name=449a52a4-f19c-4d1b-b437-7dc2443e040c size=1 share_group_id=None create_share /var/lib/kolla/venv/lib/python3.6/site-packages/manila/share/drivers/cephfs/driver.py:262<br>2022-02-16 09:30:54.682 20 INFO ceph_volume_client [req-d2c8ef2a-d3ce-483b-9e39-e5a3d857d72b eaf0e30a92694889aa46ac5a1d4b7a47 37025e7c9ae447c8975e9ef3a4e5d0ff - - -] create_volume: /volumes/_nogroup/449a52a4-f19c-4d1b-b437-7dc2443e040c2022-02-16 09:30:54.927 20 ERROR manila.share.manager [req-d2c8ef2a-d3ce-483b-9e39-e5a3d857d72b eaf0e30a92694889aa46ac5a1d4b7a47 37025e7c9ae447c8975e9ef3a4e5d0ff - - -] Share instance 449a52a4-f19c-4d1b-b437-7dc2443e040c failed on creation.: cephfs.OSError: error in mkdir volumes/_nogroup/449a52a4-f19c-4d1b-b437-7dc2443e040c: Permission denied [Errno 13]<br>2022-02-16 09:30:54.929 20 WARNING manila.share.manager [req-d2c8ef2a-d3ce-483b-9e39-e5a3d857d72b eaf0e30a92694889aa46ac5a1d4b7a47 37025e7c9ae447c8975e9ef3a4e5d0ff - - -] Share instance information in exception can not be written to db because it contains {} and it is not a dictionary.: cephfs.OSError: error in mkdir volumes/_nogroup/449a52a4-f19c-4d1b-b437-7dc2443e040c: Permission denied [Errno 13]<br>2022-02-16 09:30:54.955 20 INFO manila.message.api [req-d2c8ef2a-d3ce-483b-9e39-e5a3d857d72b eaf0e30a92694889aa46ac5a1d4b7a47 37025e7c9ae447c8975e9ef3a4e5d0ff - - -] Creating message record for request_id = req-d2c8ef2a-d3ce-483b-9e39-e5a3d857d72b<br>2022-02-16 09:30:54.971 20 ERROR oslo_messaging.rpc.server [req-d2c8ef2a-d3ce-483b-9e39-e5a3d857d72b eaf0e30a92694889aa46ac5a1d4b7a47 37025e7c9ae447c8975e9ef3a4e5d0ff - - -] Exception during message handling: cephfs.OSError: error in mkdir volumes/_nogroup/449a52a4-f19c-4d1b-b437-7dc2443e040c: Permission denied [Errno 13]<br>2022-02-16 09:30:54.971 20 ERROR oslo_messaging.rpc.server Traceback (most recent call last):<br>2022-02-16 09:30:54.971 20 ERROR oslo_messaging.rpc.server   File "/usr/lib/python3/dist-packages/ceph_volume_client.py", line 656, in _mkdir_p<br>2022-02-16 09:30:54.971 20 ERROR oslo_messaging.rpc.server     self.fs.stat(subpath)<br>2022-02-16 09:30:54.971 20 ERROR oslo_messaging.rpc.server   File "cephfs.pyx", line 1257, in cephfs.LibCephFS.stat<br>2022-02-16 09:30:54.971 20 ERROR oslo_messaging.rpc.server cephfs.ObjectNotFound: error in stat: volumes/_nogroup/449a52a4-f19c-4d1b-b437-7dc2443e040c: No such file or directory [Errno 2]<br>2022-02-16 09:30:54.971 20 ERROR oslo_messaging.rpc.server<br>2022-02-16 09:30:54.971 20 ERROR oslo_messaging.rpc.server During handling of the above exception, another exception occurred:<br>2022-02-16 09:30:54.971 20 ERROR oslo_messaging.rpc.server<br>2022-02-16 09:30:54.971 20 ERROR oslo_messaging.rpc.server Traceback (most recent call last):<br>2022-02-16 09:30:54.971 20 ERROR oslo_messaging.rpc.server   File "/var/lib/kolla/venv/lib/python3.6/site-packages/oslo_messaging/rpc/server.py", line 165, in _process_incoming<br>2022-02-16 09:30:54.971 20 ERROR oslo_messaging.rpc.server     res = self.dispatcher.dispatch(message)<br>2022-02-16 09:30:54.971 20 ERROR oslo_messaging.rpc.server   File "/var/lib/kolla/venv/lib/python3.6/site-packages/oslo_messaging/rpc/dispatcher.py", line 274, in dispatch<br>2022-02-16 09:30:54.971 20 ERROR oslo_messaging.rpc.server     return self._do_dispatch(endpoint, method, ctxt, args)<br>2022-02-16 09:30:54.971 20 ERROR oslo_messaging.rpc.server   File "/var/lib/kolla/venv/lib/python3.6/site-packages/oslo_messaging/rpc/dispatcher.py", line 194, in _do_dispatch<br>2022-02-16 09:30:54.971 20 ERROR oslo_messaging.rpc.server     result = func(ctxt, **new_args)<br>2022-02-16 09:30:54.971 20 ERROR oslo_messaging.rpc.server   File "/var/lib/kolla/venv/lib/python3.6/site-packages/manila/share/manager.py", line 187, in wrapped<br>2022-02-16 09:30:54.971 20 ERROR oslo_messaging.rpc.server     return f(self, *args, **kwargs)<br>2022-02-16 09:30:54.971 20 ERROR oslo_messaging.rpc.server   File "/var/lib/kolla/venv/lib/python3.6/site-packages/manila/utils.py", line 568, in wrapper<br>2022-02-16 09:30:54.971 20 ERROR oslo_messaging.rpc.server     return func(self, *args, **kwargs)<br>2022-02-16 09:30:54.971 20 ERROR oslo_messaging.rpc.server   File "/var/lib/kolla/venv/lib/python3.6/site-packages/manila/share/manager.py", line 1790, in create_share_instance<br>2022-02-16 09:30:54.971 20 ERROR oslo_messaging.rpc.server     exception=e)<br>2022-02-16 09:30:54.971 20 ERROR oslo_messaging.rpc.server   File "/var/lib/kolla/venv/lib/python3.6/site-packages/oslo_utils/excutils.py", line 220, in __exit__<br>2022-02-16 09:30:54.971 20 ERROR oslo_messaging.rpc.server     self.force_reraise()<br>2022-02-16 09:30:54.971 20 ERROR oslo_messaging.rpc.server   File "/var/lib/kolla/venv/lib/python3.6/site-packages/oslo_utils/excutils.py", line 196, in force_reraise<br>2022-02-16 09:30:54.971 20 ERROR oslo_messaging.rpc.server     six.reraise(self.type_, self.value, self.tb)<br>2022-02-16 09:30:54.971 20 ERROR oslo_messaging.rpc.server   File "/var/lib/kolla/venv/lib/python3.6/site-packages/six.py", line 693, in reraise<br>2022-02-16 09:30:54.971 20 ERROR oslo_messaging.rpc.server     raise value<br>2022-02-16 09:30:54.971 20 ERROR oslo_messaging.rpc.server   File "/var/lib/kolla/venv/lib/python3.6/site-packages/manila/share/manager.py", line 1753, in create_share_instance<br>2022-02-16 09:30:54.971 20 ERROR oslo_messaging.rpc.server     context, share_instance, share_server=share_server)<br>2022-02-16 09:30:54.971 20 ERROR oslo_messaging.rpc.server   File "/var/lib/kolla/venv/lib/python3.6/site-packages/manila/share/drivers/cephfs/driver.py", line 272, in create_share<br>2022-02-16 09:30:54.971 20 ERROR oslo_messaging.rpc.server     mode=self._cephfs_volume_mode)<br>2022-02-16 09:30:54.971 20 ERROR oslo_messaging.rpc.server   File "/usr/lib/python3/dist-packages/ceph_volume_client.py", line 677, in create_volume<br>2022-02-16 09:30:54.971 20 ERROR oslo_messaging.rpc.server     self._mkdir_p(path, mode)<br>2022-02-16 09:30:54.971 20 ERROR oslo_messaging.rpc.server   File "/usr/lib/python3/dist-packages/ceph_volume_client.py", line 658, in _mkdir_p<br>2022-02-16 09:30:54.971 20 ERROR oslo_messaging.rpc.server     self.fs.mkdir(subpath, mode)<br>2022-02-16 09:30:54.971 20 ERROR oslo_messaging.rpc.server   File "cephfs.pyx", line 887, in cephfs.LibCephFS.mkdir<br>2022-02-16 09:30:54.971 20 ERROR oslo_messaging.rpc.server cephfs.OSError: error in mkdir volumes/_nogroup/449a52a4-f19c-4d1b-b437-7dc2443e040c: Permission denied [Errno 13]<br>2022-02-16 09:30:54.971 20 ERROR oslo_messaging.rpc.server</div><div><br></div><div><br></div><div><br></div><!--😀-->
</div>
</body>
</html>