<div dir="ltr">Hi Mohammed,<div><br></div><div>regarding CentOS CI slowness - you are not alone, kola is experiencing it too.</div><div>Some time ago I asked around and discovered that various projects experience noticeable CI slowness using CentOS compared to Ubuntu.</div><div><br></div><div><div>The hit is more noticeable on image building than deploying and I guess since OSA does "building/installing" while deploying, it experiences our worse hit.</div></div><div>We deploy in containers so I even checked the host:Ubuntu, container:CentOS scenario but it was noticeably slower anyway.</div><div>Hence it seems related to some CentOS libraries or common stuff (like Python maybe?), not kernel.</div><div><br></div><div>We even ran into broken CI situation by being hit by horizon changing translation-related internals and our once hacky way of compiling translations which resulted in n^2 compilations instead of n - Ubuntu was a bit slower than usual but CentOS timed out, possibly not even halfway through horizon image building process...<br></div><div><br></div><div>Kind regards,</div><div>Radek</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">pt., 26 lip 2019 o 15:45 Mohammed Naser <<a href="mailto:mnaser@vexxhost.com">mnaser@vexxhost.com</a>> napisał(a):<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Hi everyone,<br>
<br>
I'm going to try doing these more often to keep everyone updated on<br>
the current state of openstack-ansible (mostly around what is<br>
discussed during our office hours / meetings).<br>
<br>
- Dmitriy has been working on removing unused code in playbooks,<br>
mostly around logs as we move to 100% systemd-journald.<br>
- We're discussing the proposal to remove os-log-dir-setup.yml, as<br>
well as rsyslog_client and rsyslog_server roles as they aren’t used<br>
anymore with the move to systemd-journald<br>
- We're also discussing removing all the complex bind mounts, which<br>
would clean it and simplify the code base.<br>
- Our continuous integration has been stable but needs upgrade jobs<br>
and increased coverage.  Our coverage would go up significantly by<br>
running aio_lxc for all supported systems.<br>
- Jonathan's work on binding to management IPs is making progress (and<br>
seems to be at the Galera stage).<br>
- CentOS CI has been very slow and nobody knows why.  It seems to be<br>
something we've regressed at some point.<br>
- A unicast flood issue affecting deployments using linuxbridge that<br>
happened inside os-vif needs to be patched.  It's still pending os-vif<br>
to patch.<br>
- Namrata mentioned an issue during the upgrade from Rocky to Stein<br>
(when upgrading WSREP SST method from xtrabackup-V2 to mariabackup)<br>
that will have to be fixed is Stein.  That's something that's in<br>
progress now.<br>
<br>
Thanks everyone for reading!<br>
<br>
Regards,<br>
Mohammed<br>
<br>
<br>
<br>
-- <br>
Mohammed Naser — vexxhost<br>
-----------------------------------------------------<br>
D. 514-316-8872<br>
D. 800-910-1726 ext. 200<br>
E. <a href="mailto:mnaser@vexxhost.com" target="_blank">mnaser@vexxhost.com</a><br>
W. <a href="http://vexxhost.com" rel="noreferrer" target="_blank">http://vexxhost.com</a><br>
<br>
</blockquote></div>