<div dir="ltr">thanks Mike for the info<div><br></div><div>yes I do want <span style="font-size:12.8px">very fast VM provisioning and all the useful features that comes with having all 3 glance/cinder/ephemeral in CEPH on the storage node.</span></div><div><span style="font-size:12.8px"><br></span></div><div><span style="font-size:12.8px">But I can't afford to have my vHD (either as a cinder volume, or as a ephemeral volume) over the network on the storage node.</span></div><div><span style="font-size:12.8px"><br></span></div><div><span style="font-size:12.8px">Do any FUEL experts know exactly what the "</span><span style="color:rgb(31,73,125)">Ceph RBD for ephemeral volumes (Nova)"</span><span style="font-size:12.8px"> option in Fuel 10  does?</span></div><div><span style="font-size:12.8px">Does it move the running instances vHD off the hypervisors, and onto the storage node? (aka: move ephemeral from local IO to, network IO?)</span><br></div><div><span style="font-size:12.8px"><br></span></div><div><span style="font-size:12.8px">thanks!</span></div><div><span style="font-size:12.8px"><br></span></div><div class="gmail_extra"><br clear="all"><div><div class="gmail_signature" data-smartmail="gmail_signature">-- Jim</div></div>
<br><div class="gmail_quote">On Fri, Aug 25, 2017 at 12:08 AM, Mike Smith <span dir="ltr"><<a href="mailto:mismith@overstock.com" target="_blank">mismith@overstock.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">



<div style="word-wrap:break-word">
Ceph is basically a ‘swiss army knife of storage’.  It can play multiple roles in an Openstack deployment, which is one reason why it is so popular among this crowd.  It can be used as storage for:
<div><br>
</div>
<div>- nova ephemeral disks (Ceph RBD)</div>
<div>- replacement for swift (Ceph Object)</div>
<div>- cinder volume backend (Ceph RBD)</div>
<div>- glance image backend (Ceph RBD)</div>
<div>- gnocchi metrics storage (Ceph Object)</div>
<div>- generic filesystem (CephFS)</div>
<div><br>
</div>
<div>…and probably a few more that I’m missing.</div>
<div><br>
</div>
<div>The combination of Ceph as backend for glance and nova ephemeral and/or cinder volumes is gorgeous because it’s an ‘instance clone’ of the glance image into the disk/volume which means very fast VM provisioning.  Some people boot instances off
 of nova ephemeral storage, some prefer to boot off of cinder volumes.  It depends if you want features like QoS (I/O limiting), snapshots, backup, and whether you want the data to be able to ‘persist’ as a volume after the VM that uses it is removed or if
 you want it to disappear when the VM is deleted (i.e. ‘ephemeral’)</div>
<div><br>
</div>
<div>I’m not a ‘fuel/mirantis guy’ so I can’t tell you specifically what those options in their installer do, but generally Ceph storage is often housed on separate servers dedicated to Ceph regardless of how you want to use it.  Some people to colocate
 Ceph onto their compute nodes and have them perform double duty (i.e. ‘hyperconverged’)</div>
<div><br>
</div>
<div>Hopefully this gives you a little bit of information regarding how Ceph is used.</div>
<div><br>
</div>
<div><br>
</div>
<div>Mike Smith</div>
<div>Lead Cloud System Architect</div>
<div><a href="http://Overstock.com" target="_blank">Overstock.com</a></div>
<div><br>
</div>
<div><br>
</div>
<div><br>
<div>
<blockquote type="cite">
<div>On Aug 24, 2017, at 9:22 PM, Jim Okken <<a href="mailto:jim@jokken.com" target="_blank">jim@jokken.com</a>> wrote:</div>
<br class="m_-2582102614194654734Apple-interchange-newline">
<div>
<div dir="ltr">
<p class="MsoNormal"><span style="color:rgb(31,73,125)">Ive been learning a bit more about storage. Let me share what think I know and ask a more specific question. Please correct me if I am off on what I think I know.<span></span></span></p>
<div><span style="color:rgb(31,73,125)"> </span><br class="m_-2582102614194654734webkit-block-placeholder">
</div>
<p class="MsoNormal"><span style="color:rgb(31,73,125)">Glance Images and Cinder Volumes are traditionally stored on the storage node. Ephemeral volumes (Nova managed, traditionally on the compute node) are the copy of the Glance image that has been
 copied to the compute node and booted as an instances' vHD. Cinder volumes can (among other things) be added to an instance as additional storage besides this Glance Image.<span></span></span></p>
<div><span style="color:rgb(31,73,125)"> </span><br class="m_-2582102614194654734webkit-block-placeholder">
</div>
<p class="MsoNormal"><span style="color:rgb(31,73,125)">In Fuel I set the "Ceph RBD for volumes (Cinder)" and "Ceph RBD for images (Glance)" settings, which will setup Glance and Cinder on the CEPH OSD storage nodes.<span></span></span></p>
<p class="MsoNormal"><span style="color:rgb(31,73,125)">But I am not sure about what the setting "Ceph RBD for ephemeral volumes (Nova)" will do.<span></span></span></p>
<p class="MsoNormal"><span style="color:rgb(31,73,125)">Would selecting it move the running instances' vHD off the hypervisors and onto the storage node? (aka: move ephemeral from local to over the network?<span></span></span></p>
<div><span style="color:rgb(31,73,125)"> </span><br class="m_-2582102614194654734webkit-block-placeholder">
</div>
<p class="MsoNormal"><span style="color:rgb(31,73,125)">Thanks<span></span></span></p>
<div><span style="color:rgb(31,73,125)"> </span><br class="m_-2582102614194654734webkit-block-placeholder">
</div>
<p class="MsoNormal"><span style="color:rgb(31,73,125)">--jim<span></span></span></p>
<div class="gmail_extra"><br clear="all">
<div>
<div class="m_-2582102614194654734gmail_signature" data-smartmail="gmail_signature"><br>
</div>
</div>
<br>
<div class="gmail_quote">On Thu, Aug 24, 2017 at 12:14 PM, Jim Okken <span dir="ltr">
<<a href="mailto:jim@jokken.com" target="_blank">jim@jokken.com</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div dir="ltr">
<p class="MsoNormal"><font color="#1f497d">Hi all,</font></p>
<p class="MsoNormal"><font color="#1f497d"><br>
</font></p>
<p class="MsoNormal"><font color="#1f497d">We have a pretty complicated storage setup and I am not sure how to configure Fuel for deployment of the storage nodes. I'm using Fuel 10/Newton. Plus i'm a bit confused on some of the storage aspects (image/glance,
 volume/cinder, ephemeral/?.)</font></p>
<p class="MsoNormal"><font color="#1f497d"><br>
</font></p>
<p class="MsoNormal"><font color="#1f497d">We have 3 nodes dedicated to be storage nodes, for HA.</font></p>
<p class="MsoNormal"><font color="#1f497d">We’re using fiber channel extents and need to use the CEPH filesystem.</font></p>
<p class="MsoNormal"><font color="#1f497d"><br>
</font></p>
<p class="MsoNormal"><font color="#1f497d">I’ll try to simplify the storage situation at first to ask my initial question without too many details.</font></p>
<p class="MsoNormal"><font color="#1f497d"><br>
</font></p>
<p class="MsoNormal"><font color="#1f497d">We have a fast and a slow storage location. Management tells me they want the slow location for the Glance images and the fast location for the place where the instances actually run. (assume compute nodes
 with slow hard drives but access to a fast fiber channel volume.)</font></p>
<div><font color="#1f497d"> </font><br class="m_-2582102614194654734webkit-block-placeholder">
</div>
<p class="MsoNormal"><font color="#1f497d">Where is “the place where the instances actually run”. It isn’t via Glance nor Cinder is it? </font></p>
<p class="MsoNormal"><font color="#1f497d">When I configure the storage for CEPH OSD node I see volume settings for Base System, CEPH and CEPH journal. (I see my slow storage and my fast storage disks).</font></p>
<p class="MsoNormal"><font color="#1f497d"><br>
</font></p>
<p class="MsoNormal"><font color="#1f497d">When I configure  the storage for a Compute node I see volume settings for Base system and Virtual Storage. Is this Ephemeral storage? How does a Virtual Storage volume here compare to the CEPH volume on the
 CEPH OSD?</font></p>
<p class="MsoNormal"><font color="#1f497d"><br>
</font></p>
<p class="MsoNormal"><font color="#1f497d">I have seen an openstack instance who’s .xml file on the compute node shows the vHD as a CEPH path (ie: rbd:compute/f63e4d30-7706-40be<wbr>-8eda-b74e91b9dac1_disk. Is this a CEPH local to the compute
 node or CEPH on the storage node? (Is this Ephemeral storage?)</font></p>
<p class="MsoNormal"><font color="#1f497d"><br>
</font></p>
<p class="MsoNormal"><font color="#1f497d">Thanks for any help you might have, I’m a bit confused</font></p>
<p class="MsoNormal"><font color="#1f497d"><br>
</font></p>
<p class="MsoNormal"><font color="#1f497d">thanks</font></p>
<span class="m_-2582102614194654734HOEnZb"><font color="#888888">
<div><br>
</div>
<div><span style="color:rgb(31,73,125)"> </span><br class="m_-2582102614194654734webkit-block-placeholder">
</div>
<div>
<div class="m_-2582102614194654734m_231962291097868593gmail_signature">-- Jim</div>
</div>
</font></span></div>
</blockquote>
</div>
<br>
</div>
</div>
______________________________<wbr>_________________<br>
Mailing list: <a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack" target="_blank">
http://lists.openstack.org/<wbr>cgi-bin/mailman/listinfo/<wbr>openstack</a><br>
Post to     : <a href="mailto:openstack@lists.openstack.org" target="_blank">openstack@lists.openstack.org</a><br>
Unsubscribe : <a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack" target="_blank">
http://lists.openstack.org/<wbr>cgi-bin/mailman/listinfo/<wbr>openstack</a><br>
</div>
</blockquote>
</div>
<br>
</div>
<br>
<hr>
<font face="Arial" color="Gray" size="1"><br>
CONFIDENTIALITY NOTICE: This message is intended only for the use and review of the individual or entity to which it is addressed and may contain information that is privileged and confidential. If the reader of this message is not the intended recipient, or
 the employee or agent responsible for delivering the message solely to the intended recipient, you are hereby notified that any dissemination, distribution or copying of this communication is strictly prohibited. If you have received this communication in
 error, please notify sender immediately by telephone or return email. Thank you.<br>
</font>
</div>

</blockquote></div><br></div></div>