<div dir="ltr">Inlined.<br><div class="gmail_extra"><br><br><div class="gmail_quote">On Mon, Jan 20, 2014 at 8:15 AM, Matthew Farrellee <span dir="ltr"><<a href="mailto:matt@redhat.com" target="_blank">matt@redhat.com</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">(inline, trying to make this readable by a text-only mail client that doesn't use tabs to indicate quoting)<br>

<br>
On 01/20/2014 02:50 AM, Andrey Lazarev wrote:<br>
<br>
<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">
        ------<br>
        FIX - @rest.get('/jobs/config-hints/<u></u>__<job_type>') - should move to<br>
        GET /plugins/<plugin_name>/<__<u></u>plugin_version>, similar to<br>
        get_node_processes<br>
        and get_required_image_tags<br>
        ------<br>
        Not sure if it should be plugin specific right now. EDP uses it<br>
        to show some<br>
        configs to users in the dashboard. it's just a cosmetic thing.<br>
        Also when user<br>
        starts define some configs for some job he might not define<br>
        cluster yet and<br>
        thus plugin to run this job. I think we should leave it as is<br>
        and leave only<br>
        abstract configs like Mapper/Reducer class and allow users to<br>
        apply any<br>
        key/value configs if needed.<br>
<br>
<br>
    FYI, the code contains comments suggesting it should be plugin specific.<br>
<br>
    <a href="https://github.com/openstack/__savanna/blob/master/savanna/__service/edp/workflow_creator/__workflow_factory.py#L179" target="_blank">https://github.com/openstack/_<u></u>_savanna/blob/master/savanna/_<u></u>_service/edp/workflow_creator/<u></u>__workflow_factory.py#L179</a><br>

    <<a href="https://github.com/openstack/savanna/blob/master/savanna/service/edp/workflow_creator/workflow_factory.py#L179" target="_blank">https://github.com/openstack/<u></u>savanna/blob/master/savanna/<u></u>service/edp/workflow_creator/<u></u>workflow_factory.py#L179</a>><br>

<br>
    IMHO, the EDP should have no plugin specific dependencies.<br>
<br>
    If it currently does, we should look into why and see if we can't<br>
    eliminate this entirely.<br>
<br>
[AL] EDP uses plugins in two ways:<br>
1. for HDFS user<br>
2. for config hints<br>
I think both items should not be plugin specific on EDP API level. But<br>
implementation should go to plugin and call plugin API for result.<br>
</blockquote>
<br>
In fact they are both plugin specific. The user is forced to click through a plugin selection (when launching a job on transient cluster) or the plugin selection has already occurred (when launching a job on an existing cluster).<br>

<br>
Since the config is something that is plugin specific, you might not have hbase hints from vanilla but you would from hdp, and you already have plugin information whenever you ask for a hint, my view that this be under the /plugins namespace is growing stronger.<br>
</blockquote><div><br></div><div>[AL] Disagree. They are plugin specific, but EDP itself could have additional plugin-independent logic inside. Now config hints return EDP properties (like mapred.input.dir) as well as plugin-specific properties. Placing it under /plugins namespace will give a vision that it is fully plugin specific. </div>
<div><br></div><div>I like to see EDP API fully plugin independent and in one workspace. If core side needs some information internally it can easily go into the plugin.        <br></div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">

Best,<br>
<br>
<br>
matt<br>
<br>
______________________________<u></u>_________________<br>
OpenStack-dev mailing list<br>
<a href="mailto:OpenStack-dev@lists.openstack.org" target="_blank">OpenStack-dev@lists.openstack.<u></u>org</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" target="_blank">http://lists.openstack.org/<u></u>cgi-bin/mailman/listinfo/<u></u>openstack-dev</a><br>
</blockquote></div><br></div></div>