<div dir="ltr">Prod is based on nginx. It is configured to forward dynamic requests to uwsgi process, thus nginx itself does not consume much memory.<div><br></div><div>The config is following:</div><div><div><font face="monospace, monospace" style="background-color:rgb(243,243,243)">server {</font></div><div><font face="monospace, monospace" style="background-color:rgb(243,243,243)"><span class="" style="white-space:pre">    </span>listen   80;</font></div><div><font face="monospace, monospace" style="background-color:rgb(243,243,243)"><span class="" style="white-space:pre">   </span>server_name <a href="http://stackalytics.com">stackalytics.com</a>;</font></div><div><font face="monospace, monospace" style="background-color:rgb(243,243,243)"><span class="" style="white-space:pre">       </span>location / {</font></div><div><font face="monospace, monospace" style="background-color:rgb(243,243,243)">        <span class="" style="white-space:pre">        </span>uwsgi_pass  unix:///tmp/stackalytics.sock;</font></div><div><font face="monospace, monospace" style="background-color:rgb(243,243,243)">        <span class="" style="white-space:pre"> </span>include     uwsgi_params;</font></div><div><font face="monospace, monospace" style="background-color:rgb(243,243,243)"><span class="" style="white-space:pre">     </span>}</font></div><div><font face="monospace, monospace" style="background-color:rgb(243,243,243)"><span class="" style="white-space:pre">       </span>location  /static/ {</font></div><div><font face="monospace, monospace" style="background-color:rgb(243,243,243)">        <span class="" style="white-space:pre">       </span>alias  /opt/stack/stackalytics/stackalytics/dashboard/static/;</font></div><div><font face="monospace, monospace" style="background-color:rgb(243,243,243)"><span class="" style="white-space:pre"> </span>}</font></div><div><font face="monospace, monospace" style="background-color:rgb(243,243,243)">}<br></font></div><div><br></div><div>--Ilya</div><div class="gmail_extra"><br><div class="gmail_quote">2015-11-09 4:56 GMT+03:00 Paul Belanger <span dir="ltr"><<a href="mailto:pabelanger@redhat.com" target="_blank">pabelanger@redhat.com</a>></span>:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><span class="">On Fri, Nov 06, 2015 at 06:59:15PM +0300, Ilya Shakhat wrote:<br>
> I confirm that 8Gb is not enough. Currently the production is 16Gb - 3.5<br>
> for memcached, 3.5 for every uwsgi process and up to 2 may be consumed by<br>
> the processor.<br>
><br>
</span>Out of curiosity, are you using nginx or apache?  I've currently setup Apache,<br>
but might test nginx tomorrow. If you are using nginx how much RAM is consumed<br>
by each process.<br>
<div class=""><div class="h5"><br>
> --Ilya<br>
><br>
> 2015-11-06 17:27 GMT+03:00 Paul Belanger <<a href="mailto:pabelanger@redhat.com">pabelanger@redhat.com</a>>:<br>
><br>
> > On Mon, Nov 02, 2015 at 08:25:19AM -0500, Paul Belanger wrote:<br>
> > > On Thu, Oct 29, 2015 at 07:14:00AM +0300, Ilya Shakhat wrote:<br>
> > > > Hi Paul,<br>
> > > ><br>
> > > > Using existing dump makes the cold start much more pleasant. Full data<br>
> > > > reload usually needed only when some incompatible changes are<br>
> > introduced. I<br>
> > > > mark such commits with the warning note and bump release number. To<br>
> > help<br>
> > > > you with the initial setup I can grab the dump from production and<br>
> > share it<br>
> > > > with you. The raw size is about 2G, hope it compressible.<br>
> > > ><br>
> > > Great. I'm sure if you jump into #openstack-infra we can find a<br>
> > > location to upload it too.<br>
> > ><br>
> > > > This week I'm at the summit. If you are not, we can schedule a chat<br>
> > next<br>
> > > > week, e.g. on Thu would be ok.<br>
> > > ><br>
> > > Yup, that works for me too. Again, I'll be idling in #openstack-infra<br>
> > when you<br>
> > > have free time.<br>
> > ><br>
> > > > Thanks,<br>
> > > > Ilya<br>
> > > ><br>
> > > > 2015-10-28 18:20 GMT+03:00 Paul Belanger <<a href="mailto:pabelanger@redhat.com">pabelanger@redhat.com</a>>:<br>
> > > ><br>
> > > > > Greetings Ilya,<br>
> > > > ><br>
> > > > > I was hoping you could help save me some time doing the initial<br>
> > import of<br>
> > > > > stackalytics.o.o by using a stackalytics-dump from your instance? If<br>
> > I<br>
> > > > > understand correctly, this is how you currently do backups /<br>
> > persistent<br>
> > > > > data<br>
> > > > > from memcached?<br>
> > > > ><br>
> > > > > Additionally, maybe we could setup some time next week to chat about<br>
> > how to<br>
> > > > > currently do maintenance on <a href="http://stackalytics.org" rel="noreferrer" target="_blank">stackalytics.org</a>, so I can include that<br>
> > > > > functionality<br>
> > > > > into puppet-stackalytics[1]. Things like how often you dump memcached<br>
> > > > > data, if<br>
> > > > > any existing scripts exists, current backup / restore procedures.<br>
> > > > ><br>
> > > > > PB<br>
> > > > ><br>
> > > > > [1] <a href="https://github.com/openstack-infra/puppet-stackalytics" rel="noreferrer" target="_blank">https://github.com/openstack-infra/puppet-stackalytics</a><br>
> > > > ><br>
> > ><br>
> > Just a follow up to this thread, we've successfully merged 2 patches that<br>
> > now<br>
> > allow -infra to launch stackalytics.o.o[1][2].  At the moment, we are<br>
> > holding<br>
> > off on doing so because we'd like to confirm with you the current system<br>
> > requirements for <a href="http://stackalytics.com" rel="noreferrer" target="_blank">stackalytics.com</a>.  In my testing I found 8GB not to be<br>
> > enough<br>
> > RAM for importing the stats and running uwsgi.  We are considering<br>
> > launching a<br>
> > node with 15GB of RAM however would like to hear back from you first.<br>
> ><br>
> > Also, do you mind connecting with on of the infra-roots to discuss an<br>
> > upload<br>
> > location for your current memcached dump?<br>
> ><br>
> > ---<br>
> > [1] <a href="https://review.openstack.org/#/c/190765/" rel="noreferrer" target="_blank">https://review.openstack.org/#/c/190765/</a><br>
> > [2] <a href="https://review.openstack.org/#/c/190708/" rel="noreferrer" target="_blank">https://review.openstack.org/#/c/190708/</a><br>
> ><br>
</div></div></blockquote></div><br></div></div></div>