<div dir="ltr">On a single node where network transfers are cheaper, and a small object size request rate oriented workload - a good load generator should be able to reach cpu limits with enough concurrency.  If you're targeting a disk saturating throughput oriented workload - larger objects sizes (1-10MB) is the way to go.<div><br></div><div>Is the load generator also running on the same box?  You should try to validate your observations with a well know swift benchmarking tool like ssbench.  What's your total requests per second?</div><div><br></div><div>My profiling in the past has revealed that the md5 checksumming in the object server(s) is the largest (but by far not the only) consumer of cpu - all of the other things you mentioned take cpu cycles - tanstaafl.  On a single node the problem is exasperated per replica - what's your goals?</div><div><br></div><div>Are you sure you're saturating all the cores evenly - what's it look like with like `htop` - have you tried tuning your worker counts or any other other config settings?</div><div><br></div><div>-Clay</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Apr 2, 2015 at 10:12 PM, Shrinand Javadekar <span dir="ltr"><<a href="mailto:shrinand@maginatics.com" target="_blank">shrinand@maginatics.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Top shows the CPUs pegged at ~100%. Writes are done by a tool built<br>
in-house which is similar in functionality to other object store<br>
benchmarking tools. As I mentioned, there are 256 parallel object<br>
writes (PUTS), each of 256K bytes.<br>
<div class="HOEnZb"><div class="h5"><br>
On Thu, Apr 2, 2015 at 9:21 PM, Yogesh Girikumar <<a href="mailto:yogeshg1987@gmail.com">yogeshg1987@gmail.com</a>> wrote:<br>
> Also how are you doing the object writes to benchmark it? Are you using dd?<br>
><br>
> On 3 April 2015 at 09:50, Yogesh Girikumar <<a href="mailto:yogeshg1987@gmail.com">yogeshg1987@gmail.com</a>> wrote:<br>
>><br>
>> What does top say?<br>
>><br>
>> On 3 April 2015 at 02:34, Shrinand Javadekar <<a href="mailto:shrinand@maginatics.com">shrinand@maginatics.com</a>><br>
>> wrote:<br>
>>><br>
>>> Hi,<br>
>>><br>
>>> I have a single node Swift instance. It has 16 cpus, 8 disks and 64GB<br>
>>> memory. As part of testing, I am doing 256 object writes in parallel<br>
>>> for ~10 mins. Each object is also 256K bytes in size.<br>
>>><br>
>>> While my experiment is running, I see that the CPU utilization of the<br>
>>> box is always ~100%. I am trying to understand what is causing this<br>
>>> high CPU utilization. Some of this could be attributed to:<br>
>>><br>
>>> 1. MD5 checksum calculation done to verify every PUT.<br>
>>> 2. MD5 checksum calculation by the auditor (if it runs during this<br>
>>> interval).<br>
>>> 3. Hash calculation of the path to decide which partition the object goes<br>
>>> to.<br>
>>><br>
>>> Are there any other CPU intensive operations happening on the system<br>
>>> that I should be aware of?<br>
>>><br>
>>> I see that the proxy-server has a "PUT" queue. Is there some<br>
>>> processing of the data in this queue? Would simply putting data in and<br>
>>> out of the queue, streaming the data between the proxy and object<br>
>>> server use considerable CPU?<br>
>>><br>
>>> Thanks in advance.<br>
>>> -Shri<br>
>>><br>
>>> _______________________________________________<br>
>>> Mailing list:<br>
>>> <a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack</a><br>
>>> Post to     : <a href="mailto:openstack@lists.openstack.org">openstack@lists.openstack.org</a><br>
>>> Unsubscribe :<br>
>>> <a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack</a><br>
>><br>
>><br>
><br>
<br>
_______________________________________________<br>
Mailing list: <a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack</a><br>
Post to     : <a href="mailto:openstack@lists.openstack.org">openstack@lists.openstack.org</a><br>
Unsubscribe : <a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack</a><br>
</div></div></blockquote></div><br></div>