<div dir="ltr">Hi Weiting,<div><br></div><div><div>>1. Add a schedule feature to run the jobs on time:</div><div>>This request comes from the customer, they usually run the job in a specific time every day. So it should be great if there</div><div>> is a scheduler to help arrange the regular job to run.</div></div><div>Looks like a great feature. And should be quite easy to implement. Feel free to create spec for that.</div><div><br></div><div><div>>2. A more complex workflow design in Sahara EDP:</div><div>>Current EDP only provide one job that is running on one cluster.</div></div><div>Yes. And ability to run several jobs in one oozie workflow is discussed on every summit (e.g. 'coordinated jobs' at <a href="https://etherpad.openstack.org/p/kilo-summit-sahara-edp">https://etherpad.openstack.org/p/kilo-summit-sahara-edp</a>). But for now it was not a priority</div><div><br></div><div>>But in a real case, it should be more complex, they usually use multiple jobs to calculate the data and may use several different type clusters to process it..</div><div>It means that workflow manager should be on Sahara side. Looks like a complicated feature. But we would be happy to help with designing and implementing it. Please file proposal for design session on ongoing summit. Are you going to Vancouver?</div><div><br></div><div>>Another concern is about Spark, for Spark it cannot use Oozie to do this. So we need to create an abstract layer to help to implement this kind of scenarios.<br></div><div>If workflow is on Sahara side it should work automatically for all engines.</div><div><br></div><div>Thanks,</div><div>Andrew.<br><div><br></div><div><br></div></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Sun, Mar 8, 2015 at 3:17 AM, Chen, Weiting <span dir="ltr"><<a href="mailto:weiting.chen@intel.com" target="_blank">weiting.chen@intel.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">





<div lang="EN-US" link="#0563C1" vlink="#954F72">
<div>
<p class="MsoNormal">Hi all.<u></u><u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal">We got several feedbacks about Sahara EDP’s future from some China customers.<u></u><u></u></p>
<p class="MsoNormal">Here are some ideas we would like to share with you and need your input if we can implement them in Sahara(Liberty).<u></u><u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal">1. Add a schedule feature to run the jobs on time:<u></u><u></u></p>
<p class="MsoNormal">This request comes from the customer, they usually run the job in a specific time every day. So it should be great if there is a scheduler to help arrange the regular job to run.<u></u><u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal">2. A more complex workflow design in Sahara EDP:<u></u><u></u></p>
<p class="MsoNormal">Current EDP only provide one job that is running on one cluster.
<u></u><u></u></p>
<p class="MsoNormal">But in a real case, it should be more complex, they usually use multiple jobs to calculate the data and may use several different type clusters to process it.<u></u><u></u></p>
<p class="MsoNormal">For example: Raw Data -> Job A(Cluster A) -> Job B(Cluster B) -> Job C(Cluster A) -> Result<u></u><u></u></p>
<p class="MsoNormal">Actually in my opinion, this kind of job could be easy to implement by using Oozie as a workflow engine. But for current EDP, it doesn’t implement this kind of complex case.<u></u><u></u></p>
<p class="MsoNormal">Another concern is about Spark, for Spark it cannot use Oozie to do this. So we need to create an abstract layer to help to implement this kind of scenarios.<u></u><u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal">However, any suggestion is welcome. <u></u><u></u></p>
<p class="MsoNormal">Thanks.<u></u><u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
</div>

<br>__________________________________________________________________________<br>
OpenStack Development Mailing List (not for usage questions)<br>
Unsubscribe: <a href="http://OpenStack-dev-request@lists.openstack.org?subject:unsubscribe" target="_blank">OpenStack-dev-request@lists.openstack.org?subject:unsubscribe</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
<br></blockquote></div><br></div>