<div dir="ltr">Hi Eugen, thanks for your reply first.<div><br></div><div>I tested what you said, addeed "osd crush update on start = False" in the pre-deploy config file (/etc/kolla/config/ceph.conf)</div><div>Then destroy & re-deploy again. Now the cache OSDs has stayed in the right bucket after ceph deployment.</div><div>Really thanks for your advise, now everything works now.</div><div><br></div><div>Appreciate,</div><div>Eddie.</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">Eugen Block <<a href="mailto:eblock@nde.ag">eblock@nde.ag</a>> 於 2019年7月1日 週一 下午8:40寫道：<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Hi,<br>
<br>
although I'm not familiar with kolla I can comment on the ceph part.<br>
<br>
> The problem is, that OSD didn't stay at "cache" bucket, it still stay at<br>
> "default" bucket.<br>
<br>
I'm not sure how the deployment process with kolla works and what  <br>
exactly is done here, but this might be caused by this option [1]:<br>
<br>
osd crush update on start<br>
<br>
Its default is "true". We ran into this some time ago and were  <br>
wondering why the OSDs were in the wrong bucket everytime we restarted  <br>
services. As I said, I don't know how exactly this would affect you,  <br>
but you could set that config option to "false" and see if that still  <br>
happens.<br>
<br>
<br>
Regards,<br>
Eugen<br>
<br>
[1] <a href="http://docs.ceph.com/docs/master/rados/operations/crush-map/" rel="noreferrer" target="_blank">http://docs.ceph.com/docs/master/rados/operations/crush-map/</a><br>
<br>
Zitat von Eddie Yen <<a href="mailto:missile0407@gmail.com" target="_blank">missile0407@gmail.com</a>>:<br>
<br>
> Hi,<br>
><br>
> I'm using stable/rocky to try ceph cache tiering.<br>
> Now I'm facing a one issue.<br>
><br>
> I chose one SSD to become cache tier disk. And set below options in<br>
> globals.yml.<br>
> ceph_enable_cache = "yes"<br>
> ceph_target_max_byte= "<size num>"<br>
> ceph_target_max_objects = "<object num>"<br>
> ceph_cache_mode = "writeback"<br>
><br>
> And the default OSD type is bluestore.<br>
><br>
><br>
> It will bootstrap the cache disk and create another OSD container.<br>
> And also create the root bucket called "cache". then set the cache rule to<br>
> every cache pools.<br>
> The problem is, that OSD didn't stay at "cache" bucket, it still stay at<br>
> "default" bucket.<br>
> That caused the services can't access to the Ceph normally. Especially<br>
> deploying Gnocchi.<br>
><br>
> When error occurred, I manually set that OSD to the cache bucket then<br>
> re-deploy, and everything is normal now.<br>
> But still a strange issue that it stay in the wrong bucket.<br>
><br>
> Did I miss something during deployment? Or what can I do?<br>
><br>
><br>
> Many thanks,<br>
> Eddie.<br>
<br>
<br>
<br>
<br>
</blockquote></div>