<div class="gmail_quote"><div>Hi Daneyon,</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div><font><font face="Arial"><span style="font-size:10pt">I am looking for any recommendations on implementing nova-volume at scale.  Is it best to have dedicated nodes that run nova-volume or to run nova-volume on compute nodes?  Also, does it make sense to have the nova-volumes Volume Group shared with the compute instance directory?</span></font></font><font><font face="Verdana, Helvetica, Arial"><span style="font-size:9pt">  Any insight would be greatly appreciated.</span></font></font></div>
</blockquote><div> </div></div>I am interested in hearing best practices about this as well. In the meantime, I can explain what we're doing with regards to this - and who knows, maybe it's already a best practice.<div>
<br></div><div>We run nova-volume and nova-compute on the same node. This is so we can most efficiently use the hardware we have purchased. For example, if you have a node with 32 cores, 128gb of RAM, and 20TB of disk space, dedicating the whole node to nova-compute will utilize all cores, RAM, but maybe only 2TB of disk. So we add nova-volume to the node to make up for that.</div>
<div><br></div><div>The alternative would be to purchase two types of servers with vastly different hardware configurations. IMO, the cost and management overhead with this is not worth it.</div><div><br></div><div>We have not looked into a single storage device such as a NAS or SAN nor have we looked into distributed block filesystems such as Sheepdog or Ceph. When we do, it is quite possible that our architecture will change.</div>
<div><br></div><div>With regards to the nova-volumes VG + compute instances, we create a LV slice of nova-volumes called "nova-instances" and mount it at /var/lib/nova/instances.</div><div><br></div><div>Thanks,</div>
<div>Joe</div><div><br clear="all"><div><br></div>-- <br>Joe Topjian<div>Systems Administrator</div><div>Cybera Inc.</div><div><br></div><div><a href="http://www.cybera.ca" target="_blank">www.cybera.ca</a></div><div><br>
</div><div><font color="#666666"><span>Cybera</span><span> is a not-for-profit organization that works to spur and support innovation, for the economic benefit of Alberta, through the use of cyberinfrastructure.</span></font></div>
<br>
</div>