<div dir="ltr">Hello Saharans and interested folks,<div><br></div><div>This PTG was a very interesting experience, for those not familiar with what happened there, here goes a quick summary.</div><div><br></div><div>The event became known as SnowOpenStack PTG due to some snow that got in the way of event. But that didn't get in the way of determined people that wanted to do good work anyways. </div><div>This PTG for Sahara was different, we only had 2 people present so a few topics couldn't be fully discussed.</div><div><br></div><div>We started our week as Sahara joining the Storyboard room in order to understand better their status and what are the needed steps for us to migrate from launchpad to storyboard.</div><div>The outcome of that meeting was better than expected. There are only a few things needed from our side to fully migrate. Tosky got ahead on this and already updated the migration script to support sahara and other projects needs and tested the migration with success. Now we only need to wait on the storyboard team to test it as well and then we need to document that we are migrating to storyboard. </div><div>Action item on this for all involved in the project: Take some time to read on Storyboard and get familiar with it.</div><div><br></div><div>Than we started Sahara meetings:</div><div><br></div><div>We started with the traditional retrospective, we looked over the work list from Queens, marking them with Done, Partially Done and Unstarted.</div><div>Please all take a look at that and let me know if anything not prioritized from that list is necessary.</div><div><br></div><div>Now to specific discussion topics.</div><div><br></div><div>Plugins upgrades, deprecation and removals</div><div>------------------------------------------------------------</div><div><br></div>CDH:<div><ul><li>Upgrade to 5.12, 5.13 and 5.14</li><li>Deprecate 5.7, 5.9 if we are able to upgrade all three version or two of them</li><li>Remove 5.5.0</li></ul>MapR:</div><div><ul><li>Upgrade to 6.0 and update latest packages for 5.2<br></li><li>Remove all references to 5.1</li></ul>Ambari:</div><div><ul><li>Upgrade Ambari to 2.6 and HDP to 2.6 as well</li><li>Use the Ambari 2.6 image with both HDP 2.6 and 2.5 and 2.4</li><li>Deprecate HDP version 2.3 and work the removal of ambari 2.4 for S</li></ul>Spark:</div><div><ul><li>Upgrade to 2.3.0 and check 2.2.1 as subversion as 2.2.0</li><li>Deprecate 1.6, 2.1 (see move out of trusty discussion)</li><li>Remove 1.3</li></ul>Storm:<br><ul><li>Upgrade to 1.2.1 and 1.2.0 (under the same tag 1.2)</li><li>Deprecate 1.0.1</li><li>Remove 0.9.2</li></ul>Vanilla:<br><ul><li>Upgrade to vanilla 3.0.0 and check if we can add 2.7.5<br></li></ul><div><br></div><div>Sahara CI</div><div>-------------</div><div>We are still facing issues with our third-party CI. We plan to have nightly jobs running each day for a plugin so we won't need too much resources, that seems possible with zuulv3.</div><div>Also there is an issue with experimental queue, now we run all experimental jobs even when not necessary, we plan to split this in separate queues so we can run specific tests.</div><div><br></div><div>Python 3 support</div><div>-----------------------</div><div>Python 2 support is closing and we need to fully migrate to Python 3. Right now we have unit tests in place, tempest should be easily resolved; Scenarios jobs are there but failing with swift issues. Once we have all of those we will have a better grasp of what we need to do and how much work will be. In any case, we need to get a jump on these soon.</div><div><br></div><div>SSL/TLS everywhere</div><div>----------------------------</div><div>We need to check our status of secure communication with other projects as well as between Sahara and its clusters. Right now Sahara should be able to communicate with CDH using SSL but it is hard coded and we need to change that and test how it goes. Also we need to check certificate management.</div><div>For Ambari, CA is generated but not reconized on RHEL/CentOS>=7.4, we need to make sure this works.</div><div><br></div><div>Move out of trusty</div><div>------------------------</div><div>Trusty support will be dropped soon and we need to make sure we don't have any dependencies on our side. For that we need to work on removing plugins versions that are only supported on trusty.</div><div><br></div><div>Plugins outside Sahara</div><div>-------------------------------</div><div>After discussion with Doug Hellman, seems like we have a good plan to have this finally done. The goal is the have a new project (sahara-plugins) that will require stuff from sahara and sahara itself will load plugins from sahara-plugins project dinamically with stevedore, this way we don't have a circular dependency.</div><div>The bulk of the work is done, spec should be on its way soon.</div><div><br></div><div>APIv2</div><div>--------</div><div>We have it available as experimental, but we miss CLI, tempest client, tempest tests and scenarios tests.</div><div><br></div><div>Boot from volume</div><div>-----------------------</div><div>This spec has been standing there for a long time and we need to get this done.</div><div><br></div><div>Bugs</div><div>-------</div><div>Spark amount of resources:</div><div><ul><li>We need to check if we can define on config file</li><li>Set the default to 50% of flavor capacity</li><li>If we can get this info from args we won't need to change much, just add some conditions to make sure we get this info and it makes into command line</li></ul><div>File copy time out when file is too big:</div></div></div><div><ul><li>Paramiko PUT is not the ideal solution because it will need to write file locally</li><li>Pipelined + buffer also proved an inefficient solution</li><li>We will test now putfo + StringIO for file-like object</li><li>And if that doesn't work either we will fall back to scp</li></ul><div>This email ran longer than expected, more details can be found at etherpad[1] along side with our priority list for Rocky.</div></div><div><br></div><div>Let me know if you need help understanding anything at the etherpad.</div><div><br></div><div>Thanks for all present, and those who tried their best to help even though weren't there.</div><div><br></div><div>[1] <a href="https://etherpad.openstack.org/p/sahara-rocky-ptg">https://etherpad.openstack.org/p/sahara-rocky-ptg</a><br></div></div>-- <br><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><p class="inbox-inbox-inbox-inbox-inbox-fullname-container" style="box-sizing:border-box;color:rgb(0,0,0);font-family:overpass,sans-serif;font-weight:bold;margin:0px;padding:0px;font-size:14px;text-transform:uppercase"><span class="inbox-inbox-inbox-inbox-inbox-firstname-container" style="box-sizing:border-box">TELLES</span><span class="inbox-inbox-inbox-inbox-inbox-Apple-converted-space"> </span><span class="inbox-inbox-inbox-inbox-inbox-lastname-container" style="box-sizing:border-box">NOBREGA</span></p><p class="inbox-inbox-inbox-inbox-inbox-position-container" style="box-sizing:border-box;color:rgb(0,0,0);font-family:overpass,sans-serif;font-size:10px;margin:0px 0px 4px;text-transform:uppercase"><span class="inbox-inbox-inbox-inbox-inbox-position" style="box-sizing:border-box">SOFTWARE ENGINEER</span></p><p class="inbox-inbox-inbox-inbox-inbox-legal-container" style="box-sizing:border-box;font-family:overpass,sans-serif;margin:0px;font-size:10px;color:rgb(153,153,153)"><a class="inbox-inbox-inbox-inbox-inbox-redhat-anchor" href="https://www.redhat.com/" target="_blank" style="box-sizing:border-box;color:rgb(0,136,206);margin:0px;text-decoration:none"><font color="#0088ce" style="box-sizing:border-box;color:rgb(0,136,206);margin:0px;text-decoration:none"><span style="box-sizing:border-box;text-decoration-style:initial;text-decoration-color:initial">Red Hat Brasil</span></font><span class="inbox-inbox-inbox-inbox-inbox-Apple-converted-space" style="box-sizing:border-box;color:rgb(0,136,206);margin:0px;text-decoration:none"> </span></a></p><p class="inbox-inbox-inbox-inbox-inbox-legal-container" style="box-sizing:border-box;font-family:overpass,sans-serif;margin:0px;font-size:10px;color:rgb(153,153,153)">Av. Brg. Faria Lima, 3900 - 8º andar - Itaim Bibi, São Paulo</p><p class="inbox-inbox-inbox-inbox-inbox-contact-container" style="box-sizing:border-box;font-family:overpass,sans-serif;margin:0px 0px 6px;font-size:10px;color:rgb(153,153,153)"><span class="inbox-inbox-inbox-inbox-inbox-email-container" style="box-sizing:border-box;margin:0px;padding:0px"><a class="inbox-inbox-inbox-inbox-inbox-email-anchor" href="mailto:tenobreg@redhat.com" style="box-sizing:border-box;color:rgb(0,136,206);margin:0px;text-decoration:none">tenobreg@redhat.com</a></span></p><table border="0" style="box-sizing:border-box;color:rgb(0,0,0);font-family:overpass,sans-serif;font-size:medium"><tbody style="box-sizing:border-box"><tr style="box-sizing:border-box"><td width="100px" style="box-sizing:border-box"><a href="https://red.ht/sig" style="box-sizing:border-box"><img width="90" height="auto" style="box-sizing: border-box;" src="https://www.redhat.com/files/brand/email/sig-redhat.png"></a></td><td class="inbox-inbox-inbox-inbox-inbox-promo" style="box-sizing:border-box;font-size:10px"><div class="inbox-inbox-inbox-inbox-inbox-promo inbox-inbox-inbox-inbox-inbox-promo-1" style="box-sizing:border-box"><a href="https://redhat.com/trusted" style="box-sizing:border-box;text-decoration:none;color:rgb(204,0,0);font-weight:bold">TRIED. TESTED. TRUSTED.</a></div></td></tr></tbody></table><span style="color:rgb(153,153,153);font-family:Overpass,"Helvetica Neue",Helvetica,Arial,"Lucida Grande",sans-serif;font-size:12px;font-weight:600"> Red Hat é reconhecida entre as melhores empresas para trabalhar no Brasil pelo </span><span style="margin:0px;padding:0px;border:0px;font-weight:700;font-size:12px;font-family:Overpass,"Helvetica Neue",Helvetica,Arial,"Lucida Grande",sans-serif;vertical-align:baseline;color:rgb(153,153,153)">Great Place to Work</span><span style="color:rgb(153,153,153);font-family:Overpass,"Helvetica Neue",Helvetica,Arial,"Lucida Grande",sans-serif;font-size:12px;font-weight:600">.</span><br></div></div>