<div dir="ltr"><div><div><div>Hi,<br><br></div>I have a two node swift cluster receiving continuous traffic (mostly overwrites for existing objects) of 1GB files each. <br><br></div>Soon after the traffic started, I'm seeing the following traceback from some transactions...<br>
Traceback (most recent call last):<br>  File "/home/eightkpc/swift/swift/proxy/controllers/obj.py", line 692, in PUT<br>    chunk = next(data_source)<br>  File "/home/eightkpc/swift/swift/proxy/controllers/obj.py", line 559, in <lambda><br>
    data_source = iter(lambda: reader(self.app.client_chunk_size), '')<br>  File "/home/eightkpc/swift/swift/common/utils.py", line 2362, in read<br>    chunk = self.wsgi_input.read(*args, **kwargs)<br>  File "/usr/lib/python2.7/dist-packages/eventlet/wsgi.py", line 147, in read<br>
    return self._chunked_read(self.rfile, length)<br>  File "/usr/lib/python2.7/dist-packages/eventlet/wsgi.py", line 137, in _chunked_read<br>    self.chunk_length = int(rfile.readline().split(";", 1)[0], 16)<br>
ValueError: invalid literal for int() with base 16: '' (txn: tx14e2df7680fd472fb92f0-00536ca4f0) (client_ip: 10.3.0.101)<br><br></div>Seeing the following errors on storage logs...<br>object-server: 10.3.0.102 - - [09/May/2014:01:36:49 +0000] "PUT /xvdg/492/AUTH_test/8kpc/30303A30323A30333A30343A30353A30396AEF6B53000000007B000000.2.data" 408 - "PUT <a href="http://10.3.0.102:8080/v1/AUTH_test/8kpc/30303A30323A30333A30343A30353A30396AEF6B53000000007B000000.2.data">http://10.3.0.102:8080/v1/AUTH_test/8kpc/30303A30323A30333A30343A30353A30396AEF6B53000000007B000000.2.data</a>" "txf3b4e5f677004474bbd2f-00536c30d1" "proxy-server 12241" 95.6405 "-"<br>
<br clear="all"><div><div><div><div><div>It's success sometimes, but mostly 408 errors. I don't see any other logs for the transaction ID. or around these 408 errors in the log files. Is this a disk timeout issue? These are only 1GB files and normal writes to files on these disks are quite fast.<br>
<br></div><div>The timeouts from the swift proxy files are...<br>root@bulkstore-112:~# grep -R timeout /etc/swift/*<br>/etc/swift/proxy-server.conf:client_timeout = 600<br>/etc/swift/proxy-server.conf:node_timeout = 600<br>
/etc/swift/proxy-server.conf:recoverable_node_timeout = 600<br><br></div><div>Can someone help me troubleshoot this issue?<br><br></div><div>-- <br>-Shyam
</div></div></div></div></div></div>