<div dir="ltr"><div style>According to the info below, i think the current size is 256 right? If I format the storage partition, will that automatically clear all the contents from the storage or do I need to clean something else as well?</div>
<div><br></div><div style>Output from xfs_info:</div><div>meta-data=/dev/sda3              isize=256    agcount=4, agsize=13309312 blks</div><div>         =                       sectsz=512   attr=2</div><div>data     =                       bsize=4096   blocks=53237248, imaxpct=25</div>
<div>         =                       sunit=0      swidth=0 blks</div><div>naming   =version 2              bsize=4096   ascii-ci=0</div><div>log      =internal               bsize=4096   blocks=25994, version=2</div><div>
         =                       sectsz=512   sunit=0 blks, lazy-count=1</div><div>realtime =none                   extsz=4096   blocks=0, rtextents=0</div></div><div class="gmail_extra"><br><br><div class="gmail_quote">On Mon, Jan 14, 2013 at 1:29 PM, Leander Bessa Beernaert <span dir="ltr"><<a href="mailto:leanderbb@gmail.com" target="_blank">leanderbb@gmail.com</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">By stopping, do you mean halt the service (kill the process) or is it a change in the configuration file?</div>
<div class="gmail_extra"><br><br><div class="gmail_quote"><div><div class="h5">On Mon, Jan 14, 2013 at 1:20 PM, Robert van Leeuwen <span dir="ltr"><<a href="mailto:Robert.vanLeeuwen@spilgames.com" target="_blank">Robert.vanLeeuwen@spilgames.com</a>></span> wrote:<br>

</div></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div><div class="h5">




<div>
<div style="direction:ltr;font-size:10pt;font-family:Tahoma">
<div style="direction:ltr;font-size:10pt;font-family:Tahoma"><div>On Mon, Jan 14, 2013 at 11:02 AM, Leander Bessa Beernaert
<span dir="ltr"><<a href="mailto:leanderbb@gmail.com" target="_blank">leanderbb@gmail.com</a>></span> wrote:<br>
</div><div style="font-size:16px;font-family:Times New Roman">
<div>
<div class="gmail_extra"><div>
<div class="gmail_quote">
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div dir="ltr">Hello all,
<div><br>
</div>
<div><br>
</div>
<div>I'm trying to upload 200GB of 200KB files to Swift. I'm using 4 clients (each hosted on a different machine) with 10 threads each uploading files using the official python-swiftclient. Each thread is uploading to a separate container.</div>


<div><br>
</div>
<div>I have 5 storage nodes and 1 proxy node. The nodes are all running with a replication factor of 3. Each node has a quad-core i3 processor, 4GB of RAM and a gigabit network interface.</div>
<div><br>
</div>
<div>Is there any way I can speed up this process? At the moment it takes about 20 seconds per file or more.</div>
<br>
</div>
</blockquote>
</div>
<br></div>
It is very likely the system is starved on IO's.<br>
As a temporary workaround you can stop the object-replicator and object-auditor during the import to have less daemons competing for IO's.<br>
<br>
Some general troubleshooting tips:<br>
Use iotop to look for the processes consuming io's<br>
<br>
Assuming you use XFS:<br>
Make sure the filesystem is created with the appropriate inode size as described in the docs.<br>
(e.g. mkfs.xfs -i size=1024)<br>
<br>
Also with lots of files you need quite a bit of memory to cache the inodes into memory.
<br>
Use the xfs runtime stats to get some indication about the cache:<br>
<a href="http://xfs.org/index.php/Runtime_Stats" target="_blank">http://xfs.org/index.php/Runtime_Stats</a><br>
xs_dir_lookup and xs_ig_missed will give some indication how much IO's are spend on the inode lookups<br>
<br>
You can look at slabtop to see how much memory is used by the inode cache.<br>
<br>
Cheers,<br>
Robert<br>
<br>
</div>
</div>
</div>
</div>
</div>
</div>

<br></div></div>_______________________________________________<br>
Mailing list: <a href="https://launchpad.net/~openstack" target="_blank">https://launchpad.net/~openstack</a><br>
Post to     : <a href="mailto:openstack@lists.launchpad.net" target="_blank">openstack@lists.launchpad.net</a><br>
Unsubscribe : <a href="https://launchpad.net/~openstack" target="_blank">https://launchpad.net/~openstack</a><br>
More help   : <a href="https://help.launchpad.net/ListHelp" target="_blank">https://help.launchpad.net/ListHelp</a><br>
<br></blockquote></div><br></div>
</blockquote></div><br></div>