<div dir="ltr">Hi Gordon,<div><br></div><div>We launched 300vms and each vm has about 10 metrics, OpenStack cluster have 3 controllers and 2 compute nodes(ceph replication is set to 2). </div><div><br></div><div>what we want to archive is to make all metric measures data get processed as soon as possible, metric processing delay is set to 10s, and ceilometer polling interval is 30s.</div><div><br></div><div>when the backend of incoming and storeage is set to ceph, the average of "gnocchi status"</div><div>shows that there are around 7000 measures waiting to be process, but when changing incoming and storage backend to Redis, the result of gnocchi status shows unprocessed measures is around 200.</div><div><br></div><div>we try to add more metricd process on every controller nodes, to improve the performance of</div><div>calculate and writing speed to storage backend but  have little effect.</div><div class="gmail_extra"><br><div class="gmail_quote">On Fri, Oct 13, 2017 at 9:03 PM, gordon chung <span dir="ltr"><<a href="mailto:gord@live.ca" target="_blank">gord@live.ca</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span class=""><br>
<br>
On 2017-10-13 03:37 AM, Julien Danjou wrote:<br>
> On Fri, Oct 13 2017, Yaguang Tang wrote:<br>
><br>
>> I see the latest Gnocchi support using Redis as a storage backend, I am<br>
>> testing performance of Redis and Ceph, it seems using Redis as storage<br>
>> backend we can achieve  more realtime metric<br>
>> data, gnocchi status shows there is always few metric to process.<br>
>><br>
>> Is Redis a recommend storage backend ?<br>
><br>
> Redis is recommended as an incoming measures backend, not really as a<br>
> storage – though it really depends on the size of your installation.<br>
><br>
> Up until 4.0 version, Gnocchi process metrics every<br>
> $metricd.metric_processing_<wbr>delay seconds. With version 4.1 (to be<br>
> released), the Redis incoming driver has a more realtime processing<br>
> delay which avoids having to poll for incoming data.<br>
><br>
<br>
</span>what Julien said :)<br>
<br>
redis as a storage driver really depends on how you setup persistence[1]<br>
and how much you trust it[2].<br>
<br>
would love to see your redis vs ceph numbers compared to mine[3] :)<br>
<br>
[1] <a href="https://redis.io/topics/persistence" rel="noreferrer" target="_blank">https://redis.io/topics/<wbr>persistence</a><br>
[2] <a href="https://aphyr.com/posts/283-jepsen-redis" rel="noreferrer" target="_blank">https://aphyr.com/posts/283-<wbr>jepsen-redis</a><br>
[3] <a href="https://medium.com/@gord.chung/gnocchi-4-introspective-a83055e99776" rel="noreferrer" target="_blank">https://medium.com/@gord.<wbr>chung/gnocchi-4-introspective-<wbr>a83055e99776</a><br>
(tested part of 4.1 optimisations)<br>
<br>
cheers,<br>
<span class="HOEnZb"><font color="#888888"><br>
--<br>
gord<br>
______________________________<wbr>______________________________<wbr>______________<br>
OpenStack Development Mailing List (not for usage questions)<br>
Unsubscribe: <a href="http://OpenStack-dev-request@lists.openstack.org?subject:unsubscribe" rel="noreferrer" target="_blank">OpenStack-dev-request@lists.<wbr>openstack.org?subject:<wbr>unsubscribe</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" rel="noreferrer" target="_blank">http://lists.openstack.org/<wbr>cgi-bin/mailman/listinfo/<wbr>openstack-dev</a><br>
</font></span></blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div>Tang Yaguang</div><div><br></div><br><div> </div></div></div>
</div></div>