
<html><head></head><body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;"><div id="bloop_customfont" style="font-family:Helvetica,Arial;font-size:13px; color: rgba(0,0,0,1.0); margin: 0px; line-height: auto;"><span style="color: rgb(160, 160, 168);">On 6 Nov 2013 at 10:48:30, Antonio Messina (</span><a href="mailto://antonio.s.messina@gmail.com">antonio.s.messina@gmail.com</a><span style="color: rgb(160, 160, 168);">) wrote:</span></div> <div><blockquote type="cite" class="clean_bq" style="font-family: helvetica; font-size: 13px; font-style: normal; font-variant: normal; font-weight: normal; letter-spacing: normal; line-height: normal; orphans: auto; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: auto; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: rgb(255, 255, 255);"><span><div><div>On Wed, Nov 6, 2013 at 7:27 PM, Razique Mahroua<span class="Apple-converted-space"> </span><br><razique.mahroua@gmail.com> wrote:<span class="Apple-converted-space"> </span><br>> Thank you for your feedback<span class="Apple-converted-space"> </span><br>> How many fields does the “fixed_ips” contain?<span class="Apple-converted-space"> </span><br><br>256<span class="Apple-converted-space"> </span></div></div></span></blockquote></div><p>Ok it’s not much</p><div><div><blockquote type="cite" class="clean_bq" style="font-family: helvetica; font-size: 13px; font-style: normal; font-variant: normal; font-weight: normal; letter-spacing: normal; line-height: normal; orphans: auto; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: auto; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: rgb(255, 255, 255);"><span><div><div><br>> what’s the size of the database?<span class="Apple-converted-space"> </span><br><br>what do you mean? Which table? Or the size of the file? The<span class="Apple-converted-space"> </span><br>`instances` table has 38k rows, the /var/lib/mysql has only 5.1GB but<span class="Apple-converted-space"> </span><br>it also contains an old backup.<span class="Apple-converted-space"> </span><br><br>> You can check rabbitmq log to see if there’s anything suspicious<span class="Apple-converted-space"> </span><br><br>Rabbitmq seems fine. I don't see any queued message on any queue.<span class="Apple-converted-space"> </span><br><br>.a.<span class="Apple-converted-space"> </span></div></div></span></blockquote></div><p>Are others CLI operations fine? such as keystone user-list, nova reboot etc…?</p><p><br></p><div><blockquote type="cite" class="clean_bq" style="font-family: helvetica; font-size: 13px; font-style: normal; font-variant: normal; font-weight: normal; letter-spacing: normal; line-height: normal; orphans: auto; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: auto; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: rgb(255, 255, 255);"><span><div><div><br><br>> On 6 Nov 2013 at 06:28:16, Antonio Messina (antonio.s.messina@gmail.com)<span class="Apple-converted-space"> </span><br>> wrote:<span class="Apple-converted-space"> </span><br>><span class="Apple-converted-space"> </span><br>> On Wed, Nov 6, 2013 at 3:06 PM, Razique Mahroua<span class="Apple-converted-space"> </span><br>> <razique.mahroua@gmail.com> wrote:<span class="Apple-converted-space"> </span><br>>> I can do some consulting if you want :p<span class="Apple-converted-space"> </span><br>><span class="Apple-converted-space"> </span><br>> This may be interesting, but totally off topic :)<span class="Apple-converted-space"> </span><br>><span class="Apple-converted-space"> </span><br>>> Which mail are you referring to?<span class="Apple-converted-space"> </span><br>><span class="Apple-converted-space"> </span><br>> This one:<span class="Apple-converted-space"> </span><br>> http://lists.openstack.org/pipermail/openstack/2013-November/002623.html<span class="Apple-converted-space"> </span><br>> subject: "Instances fail during/after networking"<span class="Apple-converted-space"> </span><br>><span class="Apple-converted-space"> </span><br>>> and what do you mean by “crazy”? Performance-wise or did you have some<span class="Apple-converted-space"> </span><br>>> bugs<span class="Apple-converted-space"> </span><br>>> due to your inconsistent database?<span class="Apple-converted-space"> </span><br>><span class="Apple-converted-space"> </span><br>> nova-network is spinning at 80-90% of cpu for minutes, giving IP<span class="Apple-converted-space"> </span><br>> addresses only after a few *minutes*, so that the creation of the VM<span class="Apple-converted-space"> </span><br>> goes in timeout and thus is failing.<span class="Apple-converted-space"> </span><br>> Similarly when deleting a VM, it takes ages and sometimes I have to<span class="Apple-converted-space"> </span><br>> terminate them twice in order to have them killed.<span class="Apple-converted-space"> </span><br>><span class="Apple-converted-space"> </span><br>> .a.<span class="Apple-converted-space"> </span><br>><span class="Apple-converted-space"> </span><br>><span class="Apple-converted-space"> </span><br>>><span class="Apple-converted-space"> </span><br>>> --<span class="Apple-converted-space"> </span><br>>> Razique<span class="Apple-converted-space"> </span><br>>><span class="Apple-converted-space"> </span><br>>> On 6 Nov 2013 at 06:06:47, Antonio Messina (antonio.s.messina@gmail.com)<span class="Apple-converted-space"> </span><br>>> wrote:<span class="Apple-converted-space"> </span><br>>><span class="Apple-converted-space"> </span><br>>> On Wed, Nov 6, 2013 at 12:46 PM, Razique Mahroua<span class="Apple-converted-space"> </span><br>>> <razique.mahroua@gmail.com> wrote:<span class="Apple-converted-space"> </span><br>>>> I’d say it’s risky since it’s possible that you end up with inconsistent<span class="Apple-converted-space"> </span><br>>>> states, especially with the security_groups and keypairs tables.<span class="Apple-converted-space"> </span><br>>>><span class="Apple-converted-space"> </span><br>>>> You should probably dump the whole database and restore it if needed<span class="Apple-converted-space"> </span><br>>><span class="Apple-converted-space"> </span><br>>> I cannot.<span class="Apple-converted-space"> </span><br>>> The reason why I need to do it is because the current database is<span class="Apple-converted-space"> </span><br>>> already in a state which is driving nova-network crazy.<span class="Apple-converted-space"> </span><br>>><span class="Apple-converted-space"> </span><br>>> I have sent an email a few days ago about the problem we are having<span class="Apple-converted-space"> </span><br>>> with our installation. After some more checking, it seems that the<span class="Apple-converted-space"> </span><br>>> problem is caused by the *data* currently stored in the database; we<span class="Apple-converted-space"> </span><br>>> tried with an empty one and everything was working smoothly: instances<span class="Apple-converted-space"> </span><br>>> are started within one minute and deleted as needed, while going back<span class="Apple-converted-space"> </span><br>>> to the original database brings back the issue.<span class="Apple-converted-space"> </span><br>>><span class="Apple-converted-space"> </span><br>>> So, we guess it's something on the database, but we don't have either<span class="Apple-converted-space"> </span><br>>> the time nor the competence nor the need to further debug the issue,<span class="Apple-converted-space"> </span><br>>> since we are planning to move Havana soon and we have to keep the<span class="Apple-converted-space"> </span><br>>> cloud up&running ASAP.<span class="Apple-converted-space"> </span><br>>><span class="Apple-converted-space"> </span><br>>> Therefore we decided to clean up the database and remove more or less<span class="Apple-converted-space"> </span><br>>> everything, but as I said, we would like to keep the information<span class="Apple-converted-space"> </span><br>>> mentioned before.<span class="Apple-converted-space"> </span><br>>><span class="Apple-converted-space"> </span><br>>> .a.<span class="Apple-converted-space"> </span><br>>><span class="Apple-converted-space"> </span><br>>>><span class="Apple-converted-space"> </span><br>>>><span class="Apple-converted-space"> </span><br>>>> Razique<span class="Apple-converted-space"> </span><br>>>><span class="Apple-converted-space"> </span><br>>>> --<span class="Apple-converted-space"> </span><br>>>> Razique<span class="Apple-converted-space"> </span><br>>>><span class="Apple-converted-space"> </span><br>>>> On 6 Nov 2013 at 03:46:02, Antonio Messina (antonio.s.messina@gmail.com)<span class="Apple-converted-space"> </span><br>>>> wrote:<span class="Apple-converted-space"> </span><br>>>><span class="Apple-converted-space"> </span><br>>>> Hi all,<span class="Apple-converted-space"> </span><br>>>><span class="Apple-converted-space"> </span><br>>>> We need to backup and then recover some information from the nova<span class="Apple-converted-space"> </span><br>>>> database, specifically:<span class="Apple-converted-space"> </span><br>>>><span class="Apple-converted-space"> </span><br>>>> * flavors<span class="Apple-converted-space"> </span><br>>>> * quotas<span class="Apple-converted-space"> </span><br>>>> * keypairs<span class="Apple-converted-space"> </span><br>>>> * security groups<span class="Apple-converted-space"> </span><br>>>><span class="Apple-converted-space"> </span><br>>>> I would like to know which tables I am supposed to back up and<span class="Apple-converted-space"> </span><br>>>> recover, I guess the following:<span class="Apple-converted-space"> </span><br>>>><span class="Apple-converted-space"> </span><br>>>> * quotas<span class="Apple-converted-space"> </span><br>>>> * security_groups<span class="Apple-converted-space"> </span><br>>>> * security_group_rules<span class="Apple-converted-space"> </span><br>>>> * instance_types<span class="Apple-converted-space"> </span><br>>>><span class="Apple-converted-space"> </span><br>>>> are enough? Can I just dump them with mysqldump and recover them with<span class="Apple-converted-space"> </span><br>>>> mysql < backupfile?<span class="Apple-converted-space"> </span><br>>>><span class="Apple-converted-space"> </span><br>>>> .a.<span class="Apple-converted-space"> </span><br>>>><span class="Apple-converted-space"> </span><br>>>> -- br/>antonio.s.messina@@gmail.com<span class="Apple-converted-space"> </span><br>>>> antonio.messina@uzh.ch +41 (0)44 635 42 22<span class="Apple-converted-space"> </span><br>>>> GC3: Grid Computing Competence Center http://www.gc3.uzh.ch/<span class="Apple-converted-space"> </span><br>>>> University of Zurich<span class="Apple-converted-space"> </span><br>>>> Winterthurerstrasse 190<span class="Apple-converted-space"> </span><br>>>> CH-8057 Zurich Switzerland<span class="Apple-converted-space"> </span><br>>>><span class="Apple-converted-space"> </span><br>>>> _______________________________________________<span class="Apple-converted-space"> </span><br>>>> Mailing list:<span class="Apple-converted-space"> </span><br>>>> http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack<span class="Apple-converted-space"> </span><br>>>> Post to : openstack@lists.openstack.org<span class="Apple-converted-space"> </span><br>>>> Unsubscribe :<span class="Apple-converted-space"> </span><br>>>> http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack<span class="Apple-converted-space"> </span><br>>><span class="Apple-converted-space"> </span><br>>><span class="Apple-converted-space"> </span><br>>><span class="Apple-converted-space"> </span><br>>> -- br/>antonio.s.messina@@gmail.com<span class="Apple-converted-space"> </span><br>>> antonio.messina@uzh.ch +41 (0)44 635 42 22<span class="Apple-converted-space"> </span><br>>> GC3: Grid Computing Competence Center http://www.gc3.uzh.ch/<span class="Apple-converted-space"> </span><br>>> University of Zurich<span class="Apple-converted-space"> </span><br>>> Winterthurerstrasse 190<span class="Apple-converted-space"> </span><br>>> CH-8057 Zurich Switzerland<span class="Apple-converted-space"> </span><br>><span class="Apple-converted-space"> </span><br>><span class="Apple-converted-space"> </span><br>><span class="Apple-converted-space"> </span><br>> --<span class="Apple-converted-space"> </span><br>> antonio.s.messina@gmail.com<span class="Apple-converted-space"> </span><br>> antonio.messina@uzh.ch +41 (0)44 635 42 22<span class="Apple-converted-space"> </span><br>> GC3: Grid Computing Competence Center http://www.gc3.uzh.ch/<span class="Apple-converted-space"> </span><br>> University of Zurich<span class="Apple-converted-space"> </span><br>> Winterthurerstrasse 190<span class="Apple-converted-space"> </span><br>> CH-8057 Zurich Switzerland<span class="Apple-converted-space"> </span><br><br><br><br>--<span class="Apple-converted-space"> </span><br>antonio.s.messina@gmail.com<span class="Apple-converted-space"> </span><br>antonio.messina@uzh.ch +41 (0)44 635 42 22<span class="Apple-converted-space"> </span><br>GC3: Grid Computing Competence Center http://www.gc3.uzh.ch/<span class="Apple-converted-space"> </span><br>University of Zurich<span class="Apple-converted-space"> </span><br>Winterthurerstrasse 190<span class="Apple-converted-space"> </span><br>CH-8057 Zurich Switzerland<span class="Apple-converted-space"> </span><br></div></div></span></blockquote></div></div></body></html>