<div dir="ltr">I hadn't tried blocking with robots.txt, here's our current copy:<div><br></div><div><a href="https://github.com/openstack/openstack-manuals/blob/master/www/robots.txt">https://github.com/openstack/openstack-manuals/blob/master/www/robots.txt</a><br>

</div><div><br></div><div>What didn't work is eliminating it from our custom search engine. </div><div><br></div><div>I think we have seen evidence of users linking to whatever they want to despite our careful efforts. :)</div>

</div><div class="gmail_extra"><br><br><div class="gmail_quote">On Sun, Jun 22, 2014 at 12:32 AM, Roger Luethi <span dir="ltr"><<a href="mailto:rl@patchworkscience.org" target="_blank">rl@patchworkscience.org</a>></span> wrote:<br>

<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="">On Sun, 22 Jun 2014 07:20:33 +0200, Gauvain Pocentek wrote:<br>
> Le 2014-06-22 07:10, Roger Luethi a écrit :<br>
> >On Sat, 21 Jun 2014 17:44:21 -0500, Anne Gentle wrote:<br>
</div><div class="">> >>I like this idea and have tried to have /trunk be unsearchable. If we<br>
> >>switch /icehouse to be /icehouse and /current and then create a /dev,<br>
> >>and never point to /dev links, could it be hidden?<br>
> ><br>
> >How about blocking /trunk in robots.txt? Is that what you mean with<br>
> >"tried to have /trunk be unsearchable"? Did that not work?<br>
> ><br>
> >robots.txt should also take care of our "Custom Search" (which throws a<br>
> >variety of releases at the poor user). Presumably, that's how most<br>
> >people end up reading trunk.<br>
><br>
> I don't know much about search engines, but I guess that having<br>
> links to a dev/ branch in bugs, or emails, would mean that the URL<br>
> will still discovered and visible in these engines. Or should a<br>
> modified robots.txt take care of that?<br>
<br>
</div>Indeed it should. robots.txt doesn't keep search engines from discovering<br>
pages, and it doesn't have to. It is just a widely observed convention<br>
used to keep the crawler out of parts of the website, regardless of<br>
any links pointing to those parts. Otherwise, any Internet user could<br>
break a carefully crafted robots.txt simply by linking to blocked pages.<br>
<span class="HOEnZb"><font color="#888888"><br>
Roger<br>
</font></span></blockquote></div><br></div>