<div dir="ltr">Hi Trevor<div><br></div><div>you mean adding an abstract layer for basic function like run job, cancel job etc, the we implement these by <span style="color:rgb(119,119,119);font-size:13px;white-space:nowrap">specific job engine like oozie, </span><span style="font-size:14px">Ooyala job server etc, right ?</span></div><div><span style="font-size:14px"><br></span></div><div><span style="font-size:14px">so I will do two things as below:</span></div><div><span style="font-size:14px">(1) working on the scheduler edp jobs by oozie </span><span style="font-size:14px">coordination</span><span style="font-size:14px"> so make sure we can running scheduler edp jobs  (currently working on ,will submit patch later)</span></div><div><span style="font-size:14px">(2) abstract the basic function as the abstract layer, and rewrite the specific job engine like oozie and ooyala job server. ( after doing first step, will talk it with you)</span></div><div><span style="font-size:14px"><br></span></div><div><span style="font-size:14px">so do you think  that I have caught you meanings? or missed something?</span></div></div><div class="gmail_extra"><br><div class="gmail_quote">2015-04-22 21:59 GMT+08:00 Trevor McKay <span dir="ltr"><<a href="mailto:tmckay@redhat.com" target="_blank">tmckay@redhat.com</a>></span>:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span class="">On Wed, 2015-04-22 at 12:36 +0000, Chen, Ken wrote:<br>
> o     more complex workflows (job dependencies, DAGs, etc. Do we rely on Oozie, or something else?<br>
>     >> Huichun is now figuring this. I am not whether you guys already have some detail ideas about this? If needed we can contribute some effort. If no details are ready, we can help draw a draft version first.<br>
<br>
</span>I just made a note on the pad<br>
<br>
<a href="https://etherpad.openstack.org/p/sahara-liberty-proposed-sessions" target="_blank">https://etherpad.openstack.org/p/sahara-liberty-proposed-sessions</a><br>
<br>
Maybe the right approach here is to develop a mapping notation that can<br>
be expressed as a JSON object (like the proposed job interface mapping).<br>
<br>
If we can develop an abstract way to describe relationships between<br>
jobs, then the individual EDP engines can implement it. For the Oozie<br>
EDP engine, maybe it uses Oozie features in workflows.  For Spark, or<br>
Storm, maybe it uses some existing opensource coordinator or one is<br>
written.<br>
<br>
The key idea would be to make job coordination part of the EDP engine,<br>
with a well defined set of objects to describe the relationships.<br>
<br>
What do you think? Just a rough idea.  Maybe there is a better way.<br>
<div class="HOEnZb"><div class="h5"><br>
<br>
<br>
__________________________________________________________________________<br>
OpenStack Development Mailing List (not for usage questions)<br>
Unsubscribe: <a href="http://OpenStack-dev-request@lists.openstack.org?subject:unsubscribe" target="_blank">OpenStack-dev-request@lists.openstack.org?subject:unsubscribe</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
</div></div></blockquote></div><br></div>