<div dir="ltr">So, in case if Cognitive will use Sahara to create big data clusters - then it sounds ok.</div><div class="gmail_extra"><br><div class="gmail_quote">On Fri, May 22, 2015 at 8:54 AM, Debojyoti Dutta <span dir="ltr"><<a href="mailto:ddutta@gmail.com" target="_blank">ddutta@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">One more thing and a typo in my mail  -  we would be happy to point folks to an very early version (in Django) we prototyped and opened up recently. <div><br></div><div>thx</div><div>debo<br><div><br></div><div> </div></div></div><div class="gmail_extra"><div><div class="h5"><br><div class="gmail_quote">On Fri, May 22, 2015 at 8:48 AM, Debojyoti Dutta <span dir="ltr"><<a href="mailto:ddutta@gmail.com" target="_blank">ddutta@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Hi Sergey<div><br></div><div>Thanks a lot for your interest. The bare bones API proposal is up on the wiki page <a href="http://wiki.openstack.org/Cognitive" target="_blank">http://wiki.openstack.org/Cognitive</a></div><div><br></div><div><font color="#000000" face="Calibri, sans-serif"><span style="font-size:14px">Sahara is about deploying and managing big data workloads like hadoop, spark etc. Cognitive is about a simple API to do predictive analytics, learning, data science workflow etc etc. Thus the goals are different. AWS has Elastic MapReduce (in the same space as Sahara) and also AWS Machine Learning (</span></font><a href="http://aws.amazon.com/machine-learning" style="font-family:Calibri,sans-serif;font-size:14px" target="_blank">http://aws.amazon.com/machine-learning</a><span style="color:rgb(0,0,0);font-family:Calibri,sans-serif;font-size:14px">/) for which there is no parallel. Should we point them to our internal 1st version of Cognitive on our github which we opened.</span><br></div><div><br></div><div><p style="margin:0px;font-size:14px;font-family:Calibri">If it requires to use big data toolchains to do our job, we will definitely leverage Sahara for that, and not replicate the good work done in Sahara. Our primary goal is to build (within the community) a simple machine learning API (and a service) that abstracts the pain of data science for the app developer. </p><p style="margin:0px;font-size:14px;font-family:Calibri"><br></p><p style="margin:0px;font-size:14px;font-family:Calibri">thx</p><p style="margin:0px;font-size:14px;font-family:Calibri">debo</p><p style="margin:0px;font-size:14px;font-family:Calibri"><br></p><p style="margin:0px;font-size:14px;font-family:Calibri">PS: FWIW  I am at the summit till tonight so we could catch up here. </p></div><div><br></div><div><br></div></div><div><div><div class="gmail_extra"><br><div class="gmail_quote">On Tue, May 19, 2015 at 2:16 PM, Sergey Lukjanov <span dir="ltr"><<a href="mailto:slukjanov@mirantis.com" target="_blank">slukjanov@mirantis.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Hi,<div><br></div><div>as there is no any details on the project yet done, if this project will deploy ML frameworks it'll be direct duplication of Sahara's functionality (we already support HDP and CDH deployments and they are provided tons of tools for ML). So, I think that it could be built on top of Sahara or even as part of Sahara probably. I'd like to propose you to take a deeper look on Sahara and avoid duplicating it.</div><div><br></div><div>Thanks.</div></div><div class="gmail_extra"><div><div><br><div class="gmail_quote">On Thu, May 14, 2015 at 8:47 PM, Debojyoti Dutta <span dir="ltr"><<a href="mailto:ddutta@gmail.com" target="_blank">ddutta@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Hi Salvatore<div><br></div><div>Thanks a lot for your comments. </div><div><br></div><div>Timing: Yes it is time to do this! The nature of applications running on clouds is indeed changing. </div><div><br></div><div>Initial group: We asked around for folks interested and we got a lot more people than we expected. The idea is to get something out there in a stack forge project and build something good. This group already has people who have built things like this already in the past. Hence confident about the success. </div><div><br></div><div>Participation: We want this to be inclusive from scratch independent of who is a PTL or a contributor or merely a curious individual to give us ideas :) The community will get it right. Maybe I should have clarified that these are the members interested in seeing this happen.</div><div><br></div><div>Wiki page: The wiki page will be ready in 1-2 days. Also we would like to have a discussion during the summit to see what we should build in the community. Would be delighted to get your thoughts. </div><div><br></div><div>Services: Some of the services this could provide: </div><div>* create experiments: define data sources, train models, then perform classification, clustering, data cleaning etc. </div><div>* have experiment templates that can be reused</div><div>* have an editor (maybe a horizon plugin) to drag and drop the workflow and generate an API that when called from an app would provide results</div><div>* ML primitives that could be targeted initially: 1) classification  2) clustering 3) Anomaly detection </div><div><br></div><div>thx</div><div>debo</div></div><div class="gmail_extra"><div><div><br><div class="gmail_quote">On Thu, May 14, 2015 at 5:02 PM, Salvatore Orlando <span dir="ltr"><<a href="mailto:sorlando@nicira.com" target="_blank">sorlando@nicira.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><br><div class="gmail_extra"><div class="gmail_quote"><span>On 15 May 2015 at 00:19, Debojyoti Dutta <span dir="ltr"><<a href="mailto:ddutta@gmail.com" target="_blank">ddutta@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div><div>Hi!<br></div><div><br></div><div>It is a great pleasure to announce the development of a new project called Cognitive.  Cognitive provides Machine Learning [1] as a Service that enables operators to offer next generation data science based services on top of their OpenStack Clouds. </div></div></div></blockquote><div><br></div></span><div>I was indeed wondering when "Machine Learning as a Service" would come up...</div><span><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div><div>This project will begin as a StackForge project baed upon an empty cookiecutter [2] repo.  The repos to work in are:</div><div>Server: <a href="https://github.com/stackforge/cognitive" target="_blank">https://github.com/stackforge/cognitive</a></div><div>Client: <a href="https://github.com/stackforge/python-cognitiveclient" target="_blank">https://github.com/stackforge/python-cognitiveclient</a></div><div><br></div><div>Please join us via iRC on #openstack-cognitive on freenode.</div><div><br></div><div>We will be holding a doodle poll to select times for our first meeting the week after summit.  This doodle poll will close May 24th and meeting times will be announced on the mailing list at that time.  At our first IRC meeting, we will draft additional core team members. We would like to invite interested individuals to join this exciting new development effort!</div></div></div></blockquote><div><br></div></span><div>From my little experience, "drafting" core members before even actually having a code base has drawbacks. Also, it seems the initial starting team is already large enough for ensuring support for 1 or 2 release cycle.</div><span><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div><div> </div></div></div></blockquote><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div><div><br></div><div>Please commit your schedule in the doodle poll here: <a href="http://doodle.com/drrka5tgbwpbfbxy" target="_blank">http://doodle.com/drrka5tgbwpbfbxy</a></div><div><br></div><div>Initial core team: Steven Dake, Aparupa Das Gupa, Debo~ Dutta, Johnu George,  Kyle Mestery, Sarvesh Ranjan, Ralf Rantzau, Komei Shimamura, Marc Solanas, Manoj Sharma, Yathi Udupi, Kai Zhang.</div></div></div></blockquote><div><br></div></span><div>Hey! What's the Neutron PTL doing there? Sorry we need his reviews we can't loan it to you!</div><span><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div><div><br></div><div>A little bit about Cognitive:</div><div>Data driven applications on cloud infrastructure increasingly rely on Machine Learning. Most data driven applications today use Machine Learning (ML). This often requires application developers and data scientists to write their own machine learning stack or deploy other packages to do any kind of data science based applications. Data scientists also need to have an easy way to rapidly experiment with data without having to write basic infrastructure for data manipulations. Cognitive is a Machine Learning service on top of OpenStack and provides machine learning based services to tenants (API, workbench, compute service).</div></div></div></blockquote><div><br></div></span><div>I wonder what kind of services you would offer; also you could have shared something about the architecture of this service. Is it providing a full machine learning stack, or just facilitating the use of existing one?</div><div><br></div><div>But I see that there's a link to a wiki page below. This might have all the answers.</div><span><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div><div> </div><div><br></div><div>For information about blueprints check out:</div><div><a href="https://blueprints.launchpad.net/cognitive" target="_blank">https://blueprints.launchpad.net/cognitive</a></div><div><a href="https://blueprints.launchpad.net/python-cognitiveclient" target="_blank">https://blueprints.launchpad.net/python-cognitiveclient</a></div><div><br></div><div>For more details, check out our Wiki:</div><div><a href="https://wiki.openstack.org/wiki/Cognitive" target="_blank">https://wiki.openstack.org/wiki/Cognitive</a></div></div></div></blockquote><div><br></div></span><div>... and unfortunately the wiki is empty ;)</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span><div dir="ltr"><div><div><br></div><div>Please join the awesome Cognitive team in designing a world class Machine Learning as a Service solution.</div><div><br></div><div>We look forward to seeing you on IRC on #openstack-cognitive.</div><div><br></div><div>Regards,</div><div>Debo~ Dutta (on behalf of the initial team)</div><div><br></div><div>[1] <a href="http://en.wikipedia.org/wiki/Machine_learning" target="_blank">http://en.wikipedia.org/wiki/Machine_learning</a></div><div>[2] <a href="https://github.com/openstack-dev/cookiecutter" target="_blank">https://github.com/openstack-dev/cookiecutter</a></div></div>
</div>
<br></span>__________________________________________________________________________<br>
OpenStack Development Mailing List (not for usage questions)<br>
Unsubscribe: <a href="http://OpenStack-dev-request@lists.openstack.org?subject:unsubscribe" target="_blank">OpenStack-dev-request@lists.openstack.org?subject:unsubscribe</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
<br></blockquote></div><br></div></div>
<br>__________________________________________________________________________<br>
OpenStack Development Mailing List (not for usage questions)<br>
Unsubscribe: <a href="http://OpenStack-dev-request@lists.openstack.org?subject:unsubscribe" target="_blank">OpenStack-dev-request@lists.openstack.org?subject:unsubscribe</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
<br></blockquote></div><br><br clear="all"><div><br></div></div></div><span><font color="#888888">-- <br><div>-Debo~<br></div>
</font></span></div>
<br>__________________________________________________________________________<br>
OpenStack Development Mailing List (not for usage questions)<br>
Unsubscribe: <a href="http://OpenStack-dev-request@lists.openstack.org?subject:unsubscribe" target="_blank">OpenStack-dev-request@lists.openstack.org?subject:unsubscribe</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
<br></blockquote></div><br><br clear="all"><div><br></div>-- <br></div></div><div>Sincerely yours,<br>Sergey Lukjanov<br>Sahara Technical Lead<br>(OpenStack Data Processing)<br>Principal Software Engineer<br>Mirantis Inc.</div>
</div>
<br>__________________________________________________________________________<br>
OpenStack Development Mailing List (not for usage questions)<br>
Unsubscribe: <a href="http://OpenStack-dev-request@lists.openstack.org?subject:unsubscribe" target="_blank">OpenStack-dev-request@lists.openstack.org?subject:unsubscribe</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
<br></blockquote></div><br><br clear="all"><div><br></div>-- <br><div>-Debo~<br></div>
</div>
</div></div></blockquote></div><br><br clear="all"><div><br></div></div></div><span class="HOEnZb"><font color="#888888">-- <br><div>-Debo~<br></div>
</font></span></div>
<br>__________________________________________________________________________<br>
OpenStack Development Mailing List (not for usage questions)<br>
Unsubscribe: <a href="http://OpenStack-dev-request@lists.openstack.org?subject:unsubscribe" target="_blank">OpenStack-dev-request@lists.openstack.org?subject:unsubscribe</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
<br></blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="gmail_signature">Sincerely yours,<br>Sergey Lukjanov<br>Sahara Technical Lead<br>(OpenStack Data Processing)<br>Principal Software Engineer<br>Mirantis Inc.</div>
</div>