<div dir="ltr">So on review of a few code paths I see that the default search depth (request_node_count) is `2 x <num_replicas>` which is smallish on single replica systems.  There are some error limiting situations that might have allowed the write to go deeper than the expected 2 nodes (primary, and one handoff) which may not have been reflected in the proxy worker later servicing the read (or the error limits may have aged out).<div><br></div><div>This inconsistency in search depth based on the per-worker error limiting may be something worth looking into generally - but it's probably mostly hidden on clusters that are going 3 or more nodes deep into handoffs in the default case.</div><div><br></div><div>If you're able to reliably reproduce the failure you might try increasing your [app:proxy_server] request_node_count setting to a fixed value of perhaps 3, and see if that works better for you.</div><div><br></div><div>-Clay</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Tue, May 24, 2016 at 5:14 PM, Clay Gerrard <span dir="ltr"><<a href="mailto:clay.gerrard@gmail.com" target="_blank">clay.gerrard@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote"><span class="">On Tue, May 24, 2016 at 4:56 PM, Shrinand Javadekar <span dir="ltr"><<a href="mailto:shrinand@maginatics.com" target="_blank">shrinand@maginatics.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Sorry... I missed the first question<br>
<span><br></span></blockquote><div> </div></span><div>no worries</div><span class=""><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span><br>
</span>Yes, I was running on a single replica system.</blockquote><div><br></div></span><div>Ah!  That's great information.  I have *zero* experience with single replica systems.  The logs should be even *more* interesting.  FWIW I have no idea what your expectations should be for a single replica Swift cluster.  But if you can produce scenarios which reliably fail to meet your expectations quality bug reports are greatly appreciated!<br></div><div><br></div><div>GL!</div><span class="HOEnZb"><font color="#888888"><div><br></div><div>-Clay</div><div><br></div></font></span></div></div></div>
</blockquote></div><br></div>