<div dir="ltr"><div>Hi team,<br><br></div>I'm working on HA / destructive / recovery automated tests [1] for OpenStack clouds and I want to get some expectations from users, operators and developers for the speed of OpenStack recovery after some destructive actions.<br clear="all"><div><div>For example, how long cluster should be unavailable if one of three controller will be destroyed? I think that the right answer is '0 seconds, no downtime' - users shouldn't see anything strange when we lost one controller in our cloud (if it is 'true' HA configuration).<br></div><div>In the real world I can see that such destructive scenarios require some time to recover the cloud (1-15 minutes in different cases) - and I just want to get your expectations or the requirements.<br><br></div><div>How fast we can / should fully recover the cloud in the following cases:<br></div><div>1. Restart RabbitMQ services<br></div><div>2. Restart MySQL / Galera services<br></div><div>3. Restart Neutron services (like L3 agents)<br></div><div>4. Hard shutdown of any OpenStack controllers<br></div><div>5. Shutdown of the ethernet interfaces of management / data networks<br><br></div><div>Of course, it depends on the configuration, but we can describe some common, 'expected', asseptance values (SLA) for downtime in differrent destructive cases and use them to verify the clouds today and in the future.<br></div><div>We will use these values in HAOS project [1], which will allow to validate any clouds with the same scenarios and with the same SLA for recovery time.<br></div><div><br></div><div>Any comments are welcome :)<br></div><div>Thank you!<br></div><div><br>-- <br><div class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><font color="#888888"><font color="#888888"><br></font></font><div style="font-family:arial;font-size:small">Timur,</div><div style="font-family:arial;font-size:small">Senior QA Engineer</div><div style="font-family:arial;font-size:small">OpenStack Projects</div><div style="font-family:arial;font-size:small">Mirantis Inc</div></div></div></div></div></div></div>
</div></div></div>