<div dir="ltr">Probably the "devices" option in the object server is misconfigured?<br><br>On my lab and production servers I configure the object-server.conf with<br><br>[DEFAULT]<br>devices = /srv/node<div><br></div><div>And then I make sure my mounted devices appear at:</div><div><br></div><div>/srv/node/d1</div><div>/srv/node/d2</div><div>/srv/node/d3</div><div><br></div><div>etc</div><div><br></div><div>The path in the error message:</div><div><br></div><div><span style="font-size:12.8px">/srv/xvdb1/node/xvdb1/</span></div><div><span style="font-size:12.8px"><br></span></div><div><span style="font-size:12.8px">Looks like the object-server.conf is configured with:</span></div><div><span style="font-size:12.8px"><br></span></div><div>devices = /srv/xvdb1/node</div><div><br></div><div>And the ring has devices like "xvdb1"</div><div><br></div><div>But as the error states: "<span style="font-size:12.8px">No such file </span><span style="font-size:12.8px">or directory at"</span></div><div><span style="font-size:12.8px"><br></span></div><div><span style="font-size:12.8px">devices + device => </span><span style="font-size:12.8px">/srv/xvdb1/node/xvdb1/...</span></div><div><span style="font-size:12.8px"><br></span></div><div><span style="font-size:12.8px">And I trust the error that the path doesn't exist (or if it does maybe the swift processes don't have permissions?)</span></div><div><span style="font-size:12.8px"><br></span></div><div><span style="font-size:12.8px">Hope you can get it squared.  You might jump in IRC and join #openstack-swift on Freenode for some more iterative feedback (I'd recommend <a href="http://irccloud.com">irccloud.com</a> if you're new to IRC).</span></div><div><span style="font-size:12.8px"><br></span></div><div><span style="font-size:12.8px">GL,</span></div><div><span style="font-size:12.8px"><br></span></div><div><span style="font-size:12.8px">-Clay</span></div><div><br><br>On Tue, Aug 8, 2017 at 2:54 AM, Shyam Prasad N <<a href="mailto:nspmangalore@gmail.com">nspmangalore@gmail.com</a>> wrote:<br>><br>> Hi,<br>><br>> In my openstack swift cluster, I'm seeing a lot of 503 errors as a<br>> result of tracebacks in swift logs with "No such file or directory"<br>> exceptions...<br>> # grep -Rnw txdaba05e70c6b4dfaa5884-0059895aca /var/log/swift/*<br>> /var/log/swift/proxy.error:31030:Aug  7 23:31:39<br>> BulkStore-c2f99bd4-75ce-11e7-b536-02e7b943c03c proxy-server: ERROR 500<br>> Traceback (most recent call last):#012  File<br>> "/usr/lib/python2.7/dist-packages/swift/obj/server.py", line 1032, in<br>> __call__#012    res = method(req)#012  File<br>> "/usr/lib/python2.7/dist-packages/swift/common/utils.py", line 1412,<br>> in _timing_stats#012    resp = func(ctrl, *args, **kwargs)#012  File<br>> "/usr/lib/python2.7/dist-packages/swift/obj/server.py", line 751, in<br>> PUT#012    writer.put(metadata)#012  File<br>> "/usr/lib/python2.7/dist-packages/swift/obj/diskfile.py", line 2451,<br>> in put#012    super(DiskFileWriter, self)._put(metadata, True)#012<br>> File "/usr/lib/python2.7/dist-packages/swift/obj/diskfile.py", line<br>> 1476, in _put#012    self._finalize_put, metadata, target_path,<br>> cleanup)#012  File<br>> "/usr/lib/python2.7/dist-packages/swift/common/utils.py", line 3342,<br>> in force_run_in_thread#012    return self._run_in_eventlet_tpool(func,<br>> *args, **kwargs)#012  File<br>> "/usr/lib/python2.7/dist-packages/swift/common/utils.py", line 3322,<br>> in _run_in_eventlet_tpool#012    raise result#012OSError: [Errno 2] No<br>> such file or directory#012 From Object Server re:<br>> /v1/AUTH_test/8kpc/data/37363A32353A33393A63353A36633A3566CA5588590000000000000000.73.0.1<br>> <a href="http://10.3.60.8:6010/xvdb1">10.3.60.8:6010/xvdb1</a> (txn: txdaba05e70c6b4dfaa5884-0059895aca)<br>> (client_ip: 10.3.60.11)<br>> /var/log/swift/proxy.error:31031:Aug  7 23:31:39<br>> BulkStore-c2f99bd4-75ce-11e7-b536-02e7b943c03c proxy-server: Object<br>> PUT returning 503 for [500, 201] (txn:<br>> txdaba05e70c6b4dfaa5884-0059895aca) (client_ip: 10.3.60.11)<br>> /var/log/swift/proxy.error:31032:Aug  7 23:31:39<br>> BulkStore-c2f99bd4-75ce-11e7-b536-02e7b943c03c proxy-server: STDERR:<br>> 10.3.60.11 - - [08/Aug/2017 06:31:39] "PUT<br>> /v1/AUTH_test/8kpc/data/37363A32353A33393A63353A36633A3566CA5588590000000000000000.73.0.1<br>> HTTP/1.1" 503 346 1.553481 (txn: txdaba05e70c6b4dfaa5884-0059895aca)<br>> /var/log/swift/proxy.log:27701:Aug  7 23:31:39<br>> BulkStore-c2f99bd4-75ce-11e7-b536-02e7b943c03c proxy-server:<br>> 10.3.60.11 10.3.60.11 08/Aug/2017/06/31/39 PUT<br>> /v1/AUTH_test/8kpc/data/37363A32353A33393A63353A36633A3566CA5588590000000000000000.73.0.1<br>> HTTP/1.0 503 - - AUTH_tke6014ecd5... 16777216 118 -<br>> txdaba05e70c6b4dfaa5884-0059895aca - 1.5526 - - 1502173898.383203983<br>> 1502173899.935844898 0<br>> /var/log/swift/storage1.log:41634:Aug  7 23:31:39<br>> BulkStore-c2f99bd4-75ce-11e7-b536-02e7b943c03c object-server:<br>> 10.3.60.8 - - [08/Aug/2017:06:31:39 +0000] "PUT<br>> /xvdb1/118/AUTH_test/8kpc/data/37363A32353A33393A63353A36633A3566CA5588590000000000000000.73.0.1"<br>> 500 981 "PUT <a href="http://10.3.60.8:8080/v1/AUTH_test/8kpc/data/37363A32353A33393A63353A36633A3566CA5588590000000000000000.73.0.1">http://10.3.60.8:8080/v1/AUTH_test/8kpc/data/37363A32353A33393A63353A36633A3566CA5588590000000000000000.73.0.1</a>"<br>> "txdaba05e70c6b4dfaa5884-0059895aca" "proxy-server 2117" 1.0534 "-"<br>> 2127 0<br>> /var/log/swift/storage2.log:128852:Aug  7 23:31:39<br>> BulkStore-c2f99bd4-75ce-11e7-b536-02e7b943c03c container-server:<br>> 10.3.60.9 - - [08/Aug/2017:06:31:39 +0000] "PUT<br>> /xvdb2/972/AUTH_test/8kpc/data/37363A32353A33393A63353A36633A3566CA5588590000000000000000.73.0.1"<br>> 201 - "PUT <a href="http://10.3.60.8:8080/xvdb2/118/AUTH_test/8kpc/data/37363A32353A33393A63353A36633A3566CA5588590000000000000000.73.0.1">http://10.3.60.8:8080/xvdb2/118/AUTH_test/8kpc/data/37363A32353A33393A63353A36633A3566CA5588590000000000000000.73.0.1</a>"<br>> "txdaba05e70c6b4dfaa5884-0059895aca" "object-server 1728" 0.0006 "-"<br>> 2099 0<br>><br>> I'm also seeing some errors removing tempfile errors in storage logs also...<br>> Aug  8 02:28:15 BulkStore-c2f99bd4-75ce-11e7-b536-02e7b943c03c<br>> object-server: Error removing tempfile:<br>> /srv/xvdb1/node/xvdb1/tmp/tmpFouKzU: #012Traceback (most recent call<br>> last):#012  File<br>> "/usr/lib/python2.7/dist-packages/swift/obj/diskfile.py", line 2396,<br>> in create#012    os.unlink(tmppath)#012OSError: [Errno 2] No such file<br>> or directory: '/srv/xvdb1/node/xvdb1/tmp/tmpFouKzU' (txn:<br>> tx860a415e4c454baeab4fc-005989842e)<br>><br>> Can someone tell me what's going on?<br>> Thanks in advance for any help you can give me here.<br>><br>> Regards,<br>> Shyam<br>><br>> __________________________________________________________________________<br>> OpenStack Development Mailing List (not for usage questions)<br>> Unsubscribe: <a href="http://OpenStack-dev-request@lists.openstack.org?subject:unsubscribe">OpenStack-dev-request@lists.openstack.org?subject:unsubscribe</a><br>> <a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a></div></div>