<div dir="ltr">Hi, <div><br></div><div>After looking at the stack trace (log) and checking with our team members, we agree that the memory issue might be due to Zanata and the way it handle large project in copy version.</div><div>There are few factors which contribute to this:</div><div>- mysql driver</div><div>- way of Zanata handling large project during copy version</div><div><br></div><div>Obviously we didn't use the same large scale project for testing before, that is why the issue wasn't visible. </div><div>To keep things going, I suggest test copy version on a smaller scale project, while we try to implement the solution in Zanata.</div><div><br></div><div>Let me know what you think.</div><div><br></div></div><div class="gmail_extra"><br clear="all"><div><div class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div dir="ltr"><div><br></div><div><font face="arial, helvetica, sans-serif" color="#999999"><span style="font-size:13.3333330154419px;background-color:rgb(253,253,253)">---------------------------------------------</span></font></div><div><span style="font-size:13.3333330154419px;background-color:rgb(253,253,253)"><font face="arial, helvetica, sans-serif" color="#666666"><br></font></span></div><font face="arial, helvetica, sans-serif" color="#666666"><span style="font-size:13.3333330154419px;background-color:rgb(253,253,253)">Alex Eng</span><span style="font-size:13.3333330154419px;background-color:rgb(253,253,253)"> </span></font></div><div dir="ltr"><font face="arial, helvetica, sans-serif" color="#666666">Senior Software Engineer<br style="font-size:13.3333330154419px"><span style="font-size:12.8000001907349px">Globalisation Tools Engineering</span><br style="font-size:13.3333330154419px"><span style="font-size:13.3333330154419px;background-color:rgb(253,253,253)">DID:</span><span style="font-size:13.3333330154419px;background-color:rgb(253,253,253)"> </span><span style="font-size:13.3333330154419px"><a href="callto:+61+3514+8262" style="text-decoration:none" target="_blank">+61 3514 8262</a></span><span style="font-size:13.3333330154419px;background-color:rgb(253,253,253)"> </span><br style="font-size:13.3333330154419px"><span style="font-size:13.3333330154419px;background-color:rgb(253,253,253)">Mobile:</span><span style="font-size:13.3333330154419px;background-color:rgb(253,253,253)"> </span><span style="font-size:13.3333330154419px"><a href="callto:+614+2335+3457" style="text-decoration:none" target="_blank">+614 2335 3457</a></span><span style="font-size:13.3333330154419px;background-color:rgb(253,253,253)"> </span><br style="font-size:13.3333330154419px"><br style="font-size:13.3333330154419px"><span style="font-size:13.3333330154419px;background-color:rgb(253,253,253)">Red Hat, Asia-Pacific Pty Ltd</span><span style="font-size:13.3333330154419px;background-color:rgb(253,253,253)"> </span><br style="font-size:13.3333330154419px"><span style="font-size:13.3333330154419px;background-color:rgb(253,253,253)">Level 1, 193 North Quay</span><span style="font-size:13.3333330154419px;background-color:rgb(253,253,253)"> </span><br style="font-size:13.3333330154419px"><span style="font-size:13.3333330154419px;background-color:rgb(253,253,253)">Brisbane 4000</span><span style="font-size:13.3333330154419px;background-color:rgb(253,253,253)"> </span><br style="font-size:13.3333330154419px"><span style="font-size:13.3333330154419px;background-color:rgb(253,253,253)">Office:</span><span style="font-size:13.3333330154419px;background-color:rgb(253,253,253)"> </span><span style="font-size:13.3333330154419px"><a href="callto:+61+7+3514+8100" style="text-decoration:none" target="_blank">+61 7 3514 8100</a></span><span style="font-size:13.3333330154419px;background-color:rgb(253,253,253)"> </span><br style="font-size:13.3333330154419px"><span style="font-size:13.3333330154419px;background-color:rgb(253,253,253)">Fax:</span><span style="font-size:13.3333330154419px;background-color:rgb(253,253,253)"> </span><span style="font-size:13.3333330154419px"><a href="callto:+61+7+3514+8199" style="text-decoration:none" target="_blank">+61 7 3514 8199</a></span><span style="font-size:13.3333330154419px;background-color:rgb(253,253,253)"> </span><br style="font-size:13.3333330154419px"><span style="font-size:13.3333330154419px;background-color:rgb(253,253,253)">Website:</span><span style="font-size:13.3333330154419px;background-color:rgb(253,253,253)"> </span><span style="font-size:13.3333330154419px"><a href="http://www.redhat.com/" style="text-decoration:none" target="_blank">www.redhat.com</a></span></font><br></div></div></div></div></div></div></div></div>
<br><div class="gmail_quote">On Mon, Jan 16, 2017 at 9:25 AM, Alex Eng <span dir="ltr"><<a href="mailto:aeng@redhat.com" target="_blank">aeng@redhat.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Hi, <div><br></div><div>Before increasing the memory size, there's few info we need to find out:</div><div><br></div><div>- JVM memory allocation (need the Zanata 3.9.6 url to get access to the info)</div><div>- Ian, do you have the log file (stack trace) of when the error occur? Also, which Zanata you were using to test 3.9.6? <a href="https://translate-dev.openstack.org" target="_blank">https://translate-dev.<wbr>openstack.org</a> is not upgraded yet.</div><div><br></div><div>I suspect its the JVM allocation which might need some tweak. But its best it I can access to the 3.9.6-dev and try to replicate the error from there.</div><div><br><div><br></div><div><br></div></div></div><div class="gmail_extra"><br clear="all"><div><div class="m_8643967110885166753gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div dir="ltr"><div><br></div><div><font face="arial, helvetica, sans-serif" color="#999999"><span style="font-size:13.3333330154419px;background-color:rgb(253,253,253)">------------------------------<wbr>---------------</span></font></div><div><span style="font-size:13.3333330154419px;background-color:rgb(253,253,253)"><font face="arial, helvetica, sans-serif" color="#666666"><br></font></span></div><font face="arial, helvetica, sans-serif" color="#666666"><span style="font-size:13.3333330154419px;background-color:rgb(253,253,253)">Alex Eng</span><span style="font-size:13.3333330154419px;background-color:rgb(253,253,253)"> </span></font></div><div dir="ltr"><font face="arial, helvetica, sans-serif" color="#666666">Senior Software Engineer<br style="font-size:13.3333330154419px"><span style="font-size:12.8000001907349px">Globalisation Tools Engineering</span><br style="font-size:13.3333330154419px"><span style="font-size:13.3333330154419px;background-color:rgb(253,253,253)">DID:</span><span style="font-size:13.3333330154419px;background-color:rgb(253,253,253)"> </span><span style="font-size:13.3333330154419px"><a href="callto:+61+3514+8262" style="text-decoration:none" target="_blank">+61 3514 8262</a></span><span style="font-size:13.3333330154419px;background-color:rgb(253,253,253)"> </span><br style="font-size:13.3333330154419px"><span style="font-size:13.3333330154419px;background-color:rgb(253,253,253)">Mobile:</span><span style="font-size:13.3333330154419px;background-color:rgb(253,253,253)"> </span><span style="font-size:13.3333330154419px"><a href="callto:+614+2335+3457" style="text-decoration:none" target="_blank">+614 2335 3457</a></span><span style="font-size:13.3333330154419px;background-color:rgb(253,253,253)"> </span><br style="font-size:13.3333330154419px"><br style="font-size:13.3333330154419px"><span style="font-size:13.3333330154419px;background-color:rgb(253,253,253)">Red Hat, Asia-Pacific Pty Ltd</span><span style="font-size:13.3333330154419px;background-color:rgb(253,253,253)"> </span><br style="font-size:13.3333330154419px"><span style="font-size:13.3333330154419px;background-color:rgb(253,253,253)">Level 1, 193 North Quay</span><span style="font-size:13.3333330154419px;background-color:rgb(253,253,253)"> </span><br style="font-size:13.3333330154419px"><span style="font-size:13.3333330154419px;background-color:rgb(253,253,253)">Brisbane 4000</span><span style="font-size:13.3333330154419px;background-color:rgb(253,253,253)"> </span><br style="font-size:13.3333330154419px"><span style="font-size:13.3333330154419px;background-color:rgb(253,253,253)">Office:</span><span style="font-size:13.3333330154419px;background-color:rgb(253,253,253)"> </span><span style="font-size:13.3333330154419px"><a href="callto:+61+7+3514+8100" style="text-decoration:none" target="_blank">+61 7 3514 8100</a></span><span style="font-size:13.3333330154419px;background-color:rgb(253,253,253)"> </span><br style="font-size:13.3333330154419px"><span style="font-size:13.3333330154419px;background-color:rgb(253,253,253)">Fax:</span><span style="font-size:13.3333330154419px;background-color:rgb(253,253,253)"> </span><span style="font-size:13.3333330154419px"><a href="callto:+61+7+3514+8199" style="text-decoration:none" target="_blank">+61 7 3514 8199</a></span><span style="font-size:13.3333330154419px;background-color:rgb(253,253,253)"> </span><br style="font-size:13.3333330154419px"><span style="font-size:13.3333330154419px;background-color:rgb(253,253,253)">Website:</span><span style="font-size:13.3333330154419px;background-color:rgb(253,253,253)"> </span><span style="font-size:13.3333330154419px"><a href="http://www.redhat.com/" style="text-decoration:none" target="_blank">www.redhat.com</a></span></font><br></div></div></div></div></div></div></div></div>
<br><div class="gmail_quote">On Mon, Jan 16, 2017 at 8:01 AM, Alex Eng <span dir="ltr"><<a href="mailto:aeng@redhat.com" target="_blank">aeng@redhat.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><span style="font-size:12.8px">How much memory do we think will be necessary? The current instance is<br></span><span style="font-size:12.8px">an 8GB RAM instance. As long as we have quota for it, there should not<br></span><span style="font-size:12.8px">be a problem redeploying on a bigger instance.</span></blockquote><div><br></div><div>Can we look at 10GB? and run the same test again to make sure its running alright. </div><div>I assume mysql DB is running on separate server?</div><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><br><span style="font-size:12.8px">I have commented on this change. I would prefer we not backup the dev<br></span><span style="font-size:12.8px">server and only backup the production server. We don't treat our dev<br></span><span style="font-size:12.8px">servers as permanent or reliable installs as they may need to be<br></span><span style="font-size:12.8px">reloaded for various reasons to aid development and testing. Also we<br></span><span style="font-size:12.8px">should set up backups similar to how we do the other services (I left a<br></span><span style="font-size:12.8px">comment on this change with a link to an example).</span></blockquote><div><br></div><div>Agree. I would suggest if possible, sync DB data from prod to dev weekly. </div><div>This would help on allowing us to debug if there's any issue in prod.</div><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><span style="font-size:12.8px">This is something that can be discussed with the infra team, typically<br></span><span style="font-size:12.8px">we would give access to someone assisting with implementation to the<br></span><span style="font-size:12.8px">-dev server while keeping the production server as infra-root only. I<br></span><span style="font-size:12.8px">will make sure fungi sees this.</span> </blockquote><div><br></div><div>Again, if we can constantly sync prod to dev instance, we will only need root access to dev server.</div><div> </div></div><div class="gmail_extra"><br clear="all"><div><div class="m_8643967110885166753m_3122440238790726710gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div dir="ltr"><div><br></div><div><font face="arial, helvetica, sans-serif" color="#999999"><span style="font-size:13.3333330154419px;background-color:rgb(253,253,253)">------------------------------<wbr>---------------</span></font></div><div><span style="font-size:13.3333330154419px;background-color:rgb(253,253,253)"><font face="arial, helvetica, sans-serif" color="#666666"><br></font></span></div><font face="arial, helvetica, sans-serif" color="#666666"><span style="font-size:13.3333330154419px;background-color:rgb(253,253,253)">Alex Eng</span><span style="font-size:13.3333330154419px;background-color:rgb(253,253,253)"> </span></font></div><div dir="ltr"><font face="arial, helvetica, sans-serif" color="#666666">Senior Software Engineer<br style="font-size:13.3333330154419px"><span style="font-size:12.8000001907349px">Globalisation Tools Engineering</span><br style="font-size:13.3333330154419px"><span style="font-size:13.3333330154419px;background-color:rgb(253,253,253)">DID:</span><span style="font-size:13.3333330154419px;background-color:rgb(253,253,253)"> </span><span style="font-size:13.3333330154419px"><a href="callto:+61+3514+8262" style="text-decoration:none" target="_blank">+61 3514 8262</a></span><span style="font-size:13.3333330154419px;background-color:rgb(253,253,253)"> </span><br style="font-size:13.3333330154419px"><span style="font-size:13.3333330154419px;background-color:rgb(253,253,253)">Mobile:</span><span style="font-size:13.3333330154419px;background-color:rgb(253,253,253)"> </span><span style="font-size:13.3333330154419px"><a href="callto:+614+2335+3457" style="text-decoration:none" target="_blank">+614 2335 3457</a></span><span style="font-size:13.3333330154419px;background-color:rgb(253,253,253)"> </span><br style="font-size:13.3333330154419px"><br style="font-size:13.3333330154419px"><span style="font-size:13.3333330154419px;background-color:rgb(253,253,253)">Red Hat, Asia-Pacific Pty Ltd</span><span style="font-size:13.3333330154419px;background-color:rgb(253,253,253)"> </span><br style="font-size:13.3333330154419px"><span style="font-size:13.3333330154419px;background-color:rgb(253,253,253)">Level 1, 193 North Quay</span><span style="font-size:13.3333330154419px;background-color:rgb(253,253,253)"> </span><br style="font-size:13.3333330154419px"><span style="font-size:13.3333330154419px;background-color:rgb(253,253,253)">Brisbane 4000</span><span style="font-size:13.3333330154419px;background-color:rgb(253,253,253)"> </span><br style="font-size:13.3333330154419px"><span style="font-size:13.3333330154419px;background-color:rgb(253,253,253)">Office:</span><span style="font-size:13.3333330154419px;background-color:rgb(253,253,253)"> </span><span style="font-size:13.3333330154419px"><a href="callto:+61+7+3514+8100" style="text-decoration:none" target="_blank">+61 7 3514 8100</a></span><span style="font-size:13.3333330154419px;background-color:rgb(253,253,253)"> </span><br style="font-size:13.3333330154419px"><span style="font-size:13.3333330154419px;background-color:rgb(253,253,253)">Fax:</span><span style="font-size:13.3333330154419px;background-color:rgb(253,253,253)"> </span><span style="font-size:13.3333330154419px"><a href="callto:+61+7+3514+8199" style="text-decoration:none" target="_blank">+61 7 3514 8199</a></span><span style="font-size:13.3333330154419px;background-color:rgb(253,253,253)"> </span><br style="font-size:13.3333330154419px"><span style="font-size:13.3333330154419px;background-color:rgb(253,253,253)">Website:</span><span style="font-size:13.3333330154419px;background-color:rgb(253,253,253)"> </span><span style="font-size:13.3333330154419px"><a href="http://www.redhat.com/" style="text-decoration:none" target="_blank">www.redhat.com</a></span></font><br></div></div></div></div></div></div></div></div>
<br><div class="gmail_quote">On Sat, Jan 14, 2017 at 7:31 AM, Clark Boylan <span dir="ltr"><<a href="mailto:cboylan@sapwetik.org" target="_blank">cboylan@sapwetik.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">On Thu, Jan 12, 2017, at 02:36 PM, Ian Y. Choi wrote:<br>
> - I18n team completed tests with current Zanata (3.7.3) with Xenial [1],<br>
> but found one error<br>
>    mentioned in [2]. It seems that more memory size allocation for<br>
> Zanata with Java 8 is needed.<br>
>    Could you upgrade the memory size for translate-dev server first to<br>
> test again?<br>
<br>
How much memory do we think will be necessary? The current instance is<br>
an 8GB RAM instance. As long as we have quota for it, there should not<br>
be a problem redeploying on a bigger instance.<br>
<br>
> - I remember that newer version of openstackid needs to be tested with<br>
> translate-dev.<br>
>    So I have just uploaded this patch:<br>
> <a href="https://review.openstack.org/#/c/419667/" rel="noreferrer" target="_blank">https://review.openstack.org/#<wbr>/c/419667/</a> .<br>
>    I18n team needs more tests, but I think it is a good time to change<br>
> to openstackid-dev for such testing.<br>
>    Please ping me after openstackid-dev test with translate-dev is<br>
> completed with no error :)<br>
><br>
> - On last I18n team meeting, I18n team recognized that the backup would<br>
> be so important.<br>
>    Is there more disks for such backup on translate-dev and<br>
> translate.o.o server?<br>
>    And the approach implementing like [3] looks quite a good idea I<br>
> think. Thanks, Frank!<br>
<br>
I have commented on this change. I would prefer we not backup the dev<br>
server and only backup the production server. We don't treat our dev<br>
servers as permanent or reliable installs as they may need to be<br>
reloaded for various reasons to aid development and testing. Also we<br>
should set up backups similar to how we do the other services (I left a<br>
comment on this change with a link to an example).<br>
<br>
> - Can I have root access to translate-dev and translate server?<br>
<br>
This is something that can be discussed with the infra team, typically<br>
we would give access to someone assisting with implementation to the<br>
-dev server while keeping the production server as infra-root only. I<br>
will make sure fungi sees this.<br>
<br>
Hope this helps,<br>
Clark<br>
<br>
</blockquote></div><br></div>
</blockquote></div><br></div>
</blockquote></div><br></div>