<div dir="ltr"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">Also, every hour we are seeing a spike in our wsgi processes. If I understand,<br>it takes about 10mins to re-read the data from memcached, does that sounds<br>correct?</blockquote><div><br></div><div>Spikes in uwsgi process occur when it retrieves updated records from memcached and rebuilds indexes. During normal work (with processor running every 8 hours) the number of new and updated records is quite low and reading them should not impact performance significantly. However during the initial load uwsgi process has to read all records and may hang for several minutes. </div><div><br></div><div>For <a href="http://stackalytics.com">stackalytics.com</a> we monitor that all requests are succeed (processed within 60 seconds) and I'm really interested in more granulated data to verify that there's no gaps in performance.</div><div><br></div><div>--Ilya</div><div class="gmail_extra"><br><div class="gmail_quote">2015-11-10 17:30 GMT+03:00 Paul Belanger <span dir="ltr"><<a href="mailto:pabelanger@redhat.com" target="_blank">pabelanger@redhat.com</a>></span>:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><span class="">On Mon, Nov 09, 2015 at 06:06:47PM -0500, Paul Belanger wrote:<br>
> On Mon, Nov 09, 2015 at 12:28:27PM +0300, Ilya Shakhat wrote:<br>
> > Prod is based on nginx. It is configured to forward dynamic requests to<br>
> > uwsgi process, thus nginx itself does not consume much memory.<br>
> ><br>
> > The config is following:<br>
> > server {<br>
> > listen   80;<br>
> > server_name <a href="http://stackalytics.com" rel="noreferrer" target="_blank">stackalytics.com</a>;<br>
> > location / {<br>
> >         uwsgi_pass  unix:///tmp/stackalytics.sock;<br>
> >         include     uwsgi_params;<br>
> > }<br>
> > location  /static/ {<br>
> >         alias  /opt/stack/stackalytics/stackalytics/dashboard/static/;<br>
> > }<br>
> > }<br>
> ><br>
><br>
> So, for people playing at home, nginx + uwsgi is more forgiving[1] then apache.<br>
><br>
> [1] <a href="http://pastebin.com/3V7XEmZL" rel="noreferrer" target="_blank">http://pastebin.com/3V7XEmZL</a><br>
><br>
</span>I made a mistake in reading my output, I was looking at virtual memory.  Either<br>
way, do you have some time this morning to talk in openstack-infra?  I'd like to<br>
confirm some final numbers we are seeing after a full import.<br>
<br>
Also, every hour we are seeing a spike in our wsgi processes. If I understand,<br>
it takes about 10mins to re-read the data from memcached, does that sounds<br>
correct?<br>
<br>
How often are you refreshing the data on <a href="http://stackalytics.com" rel="noreferrer" target="_blank">stackalytics.com</a>? And are people<br>
actually getting hit with the 10min delay when accessing the page?<br>
<div class=""><div class="h5"><br>
> > --Ilya<br>
> ><br>
> > 2015-11-09 4:56 GMT+03:00 Paul Belanger <<a href="mailto:pabelanger@redhat.com">pabelanger@redhat.com</a>>:<br>
> ><br>
> > > On Fri, Nov 06, 2015 at 06:59:15PM +0300, Ilya Shakhat wrote:<br>
> > > > I confirm that 8Gb is not enough. Currently the production is 16Gb - 3.5<br>
> > > > for memcached, 3.5 for every uwsgi process and up to 2 may be consumed by<br>
> > > > the processor.<br>
> > > ><br>
> > > Out of curiosity, are you using nginx or apache?  I've currently setup<br>
> > > Apache,<br>
> > > but might test nginx tomorrow. If you are using nginx how much RAM is<br>
> > > consumed<br>
> > > by each process.<br>
> > ><br>
> > > > --Ilya<br>
> > > ><br>
> > > > 2015-11-06 17:27 GMT+03:00 Paul Belanger <<a href="mailto:pabelanger@redhat.com">pabelanger@redhat.com</a>>:<br>
> > > ><br>
> > > > > On Mon, Nov 02, 2015 at 08:25:19AM -0500, Paul Belanger wrote:<br>
> > > > > > On Thu, Oct 29, 2015 at 07:14:00AM +0300, Ilya Shakhat wrote:<br>
> > > > > > > Hi Paul,<br>
> > > > > > ><br>
> > > > > > > Using existing dump makes the cold start much more pleasant. Full<br>
> > > data<br>
> > > > > > > reload usually needed only when some incompatible changes are<br>
> > > > > introduced. I<br>
> > > > > > > mark such commits with the warning note and bump release number. To<br>
> > > > > help<br>
> > > > > > > you with the initial setup I can grab the dump from production and<br>
> > > > > share it<br>
> > > > > > > with you. The raw size is about 2G, hope it compressible.<br>
> > > > > > ><br>
> > > > > > Great. I'm sure if you jump into #openstack-infra we can find a<br>
> > > > > > location to upload it too.<br>
> > > > > ><br>
> > > > > > > This week I'm at the summit. If you are not, we can schedule a chat<br>
> > > > > next<br>
> > > > > > > week, e.g. on Thu would be ok.<br>
> > > > > > ><br>
> > > > > > Yup, that works for me too. Again, I'll be idling in #openstack-infra<br>
> > > > > when you<br>
> > > > > > have free time.<br>
> > > > > ><br>
> > > > > > > Thanks,<br>
> > > > > > > Ilya<br>
> > > > > > ><br>
> > > > > > > 2015-10-28 18:20 GMT+03:00 Paul Belanger <<a href="mailto:pabelanger@redhat.com">pabelanger@redhat.com</a>>:<br>
> > > > > > ><br>
> > > > > > > > Greetings Ilya,<br>
> > > > > > > ><br>
> > > > > > > > I was hoping you could help save me some time doing the initial<br>
> > > > > import of<br>
> > > > > > > > stackalytics.o.o by using a stackalytics-dump from your<br>
> > > instance? If<br>
> > > > > I<br>
> > > > > > > > understand correctly, this is how you currently do backups /<br>
> > > > > persistent<br>
> > > > > > > > data<br>
> > > > > > > > from memcached?<br>
> > > > > > > ><br>
> > > > > > > > Additionally, maybe we could setup some time next week to chat<br>
> > > about<br>
> > > > > how to<br>
> > > > > > > > currently do maintenance on <a href="http://stackalytics.org" rel="noreferrer" target="_blank">stackalytics.org</a>, so I can include<br>
> > > that<br>
> > > > > > > > functionality<br>
> > > > > > > > into puppet-stackalytics[1]. Things like how often you dump<br>
> > > memcached<br>
> > > > > > > > data, if<br>
> > > > > > > > any existing scripts exists, current backup / restore procedures.<br>
> > > > > > > ><br>
> > > > > > > > PB<br>
> > > > > > > ><br>
> > > > > > > > [1] <a href="https://github.com/openstack-infra/puppet-stackalytics" rel="noreferrer" target="_blank">https://github.com/openstack-infra/puppet-stackalytics</a><br>
> > > > > > > ><br>
> > > > > ><br>
> > > > > Just a follow up to this thread, we've successfully merged 2 patches<br>
> > > that<br>
> > > > > now<br>
> > > > > allow -infra to launch stackalytics.o.o[1][2].  At the moment, we are<br>
> > > > > holding<br>
> > > > > off on doing so because we'd like to confirm with you the current<br>
> > > system<br>
> > > > > requirements for <a href="http://stackalytics.com" rel="noreferrer" target="_blank">stackalytics.com</a>.  In my testing I found 8GB not to<br>
> > > be<br>
> > > > > enough<br>
> > > > > RAM for importing the stats and running uwsgi.  We are considering<br>
> > > > > launching a<br>
> > > > > node with 15GB of RAM however would like to hear back from you first.<br>
> > > > ><br>
> > > > > Also, do you mind connecting with on of the infra-roots to discuss an<br>
> > > > > upload<br>
> > > > > location for your current memcached dump?<br>
> > > > ><br>
> > > > > ---<br>
> > > > > [1] <a href="https://review.openstack.org/#/c/190765/" rel="noreferrer" target="_blank">https://review.openstack.org/#/c/190765/</a><br>
> > > > > [2] <a href="https://review.openstack.org/#/c/190708/" rel="noreferrer" target="_blank">https://review.openstack.org/#/c/190708/</a><br>
> > > > ><br>
> > ><br>
</div></div></blockquote></div><br></div></div>