<div dir="ltr">Morgan,<div><br></div><div>Your reasoning is perfectly fine from the Keystone point of view. Yet I believe this approach is harmful for both Horizon and the whole OpenStack ecosystem. </div><div><br></div><div>It is harmful for the ecosystem, because it breaks API uniformity in one of the few areas where this uniformity could be achieved. Imagine if Nova or Cinder start saying the same thing: "we have too much drivers/backends to provide the uniform interface for all of them, let's delegate the choice of handling them differently to our consumers". It'll propagate the knowledge of different backends throughout the stack and it's obviously not good.</div><div><br></div><div>Not having pagination on Identity->Users page means that even with filtering being fully supported there will be problems. At least the first time the Users page with all the Users piped from production-grade LDAP through Keystone is shown in Horizon, it takes a lot time to render them all (before an unhappy admin had any chance to narrow the list), which eventually may result in connection being dropped by some HA balancer. We did these kinds of tests, the results weren't reassuring. Well, I might miss some of new Horizon angularization steps, so please regard this paragraph as my personal opinion - I don't think Horizon could be lighting fast on its own (i.e. without additional services) with a lot of data without pagination.</div><br><div class="gmail_quote"><div dir="ltr">On Fri, Aug 14, 2015 at 6:03 PM Morgan Fainberg <<a href="mailto:morgan.fainberg@gmail.com" target="_blank">morgan.fainberg@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">For the identity (users and groups) backend as long as we support LDAP (and as side note federated users never show up in this list anyway) and with the drive towards pushing all user management out of keystone itself to ldap or other tools that do it better, I don't see pagination as something we should be providing. Providing an inconsistent user experience based on leaking underlying implementation details is something I am very against. This stance ensures that horizon and other tools like it will not need to know underlying implementation details to provide a consistent user experience. Unfortunately here we do need to cater to the lowest common denominator and filtering/searching/limiting is the clear common mechanism<br>
<br>
With regards to resources (projects, domains, etc) since we no longer support using LDAP (deprecated with removal in mitaka) I have less strong feelings towards and wouldn't block efforts to implement if it is not already available (if not available this is likely a mitaka goal).<br>
<br>
--Morgan<br>
<br>
Sent via mobile<br>
<br>
> On Aug 14, 2015, at 07:39, Jay Pipes <<a href="mailto:jaypipes@gmail.com" target="_blank">jaypipes@gmail.com</a>> wrote:<br>
><br>
>> On 08/14/2015 09:14 AM, Morgan Fainberg wrote:<br>
>> As a quick note the api-ref you are linking to has some gaps/has not<br>
>> been kept in sync with the official api specifications.<br>
>><br>
>> The official API specification is located at<br>
>> <a href="http://specs.openstack.org/openstack/keystone-specs/" rel="noreferrer" target="_blank">http://specs.openstack.org/openstack/keystone-specs/</a> (v2 and v3 sections<br>
>> at the top) and there is a known open bug to work with the docs team to<br>
>> get this in sync (somehow).<br>
>><br>
>> Unfortunately there are a number of cases especially with the identity<br>
>> backend where pagination just does not work (or works completely<br>
>> unreliably) such as utilizing the ldap driver. Either a cursor must be<br>
>> maintained (problematic in REST) or the results could be wildly<br>
>> different every single request meaning each page is not really<br>
>> guaranteed to be the "next page" it could be the same/show inconsistent<br>
>> results. The second issue is that the pagination is not a good UX even<br>
>> where it works - the simple question is: if you can filter the results<br>
>> how many pages deep do you go before refining the query; think of your<br>
>> use of search engines.<br>
>><br>
>> In light of these issues Keystone has opted for a filter / limit<br>
>> (config). If the results exceed the limit there is a truncation that<br>
>> occurs and it is recommended extra filtering be applied to reduce the<br>
>> total number of results.<br>
>><br>
>> This discussion has gone around a few times, pagination in keystone is<br>
>> not currently on the roadmap. In addition to the above doc bug, we<br>
>> should work to better socialize this filter-over-paginate methodology.<br>
><br>
> I understand all the things you write above about the problems that Keystone's underlying architecture (driver-based, not always able to do pagination in the individual drivers). However, it really does mean that Keystone is the only project in OpenStack that behaves this way. All other services provide limit/marker paginations, AFAIK, which is efficient and, while not the same UX as a filtering methodology, is entirely compatible and complementary to filtering.<br>
><br>
> Best,<br>
> -jay<br>
><br>
> __________________________________________________________________________<br>
> OpenStack Development Mailing List (not for usage questions)<br>
> Unsubscribe: <a href="http://OpenStack-dev-request@lists.openstack.org?subject:unsubscribe" rel="noreferrer" target="_blank">OpenStack-dev-request@lists.openstack.org?subject:unsubscribe</a><br>
> <a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" rel="noreferrer" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
<br>
__________________________________________________________________________<br>
OpenStack Development Mailing List (not for usage questions)<br>
Unsubscribe: <a href="http://OpenStack-dev-request@lists.openstack.org?subject:unsubscribe" rel="noreferrer" target="_blank">OpenStack-dev-request@lists.openstack.org?subject:unsubscribe</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" rel="noreferrer" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
</blockquote></div></div>