<div dir="auto">But despite all my rant - it's all related to the Nvidia part of things, not openstack. Support of GPUs and vGPUs is fair enough and nova folks do their best to support that hardware.</div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">пт, 13 янв. 2023 г., 21:06 Dmitriy Rabotyagov <<a href="mailto:noonedeadpunk@gmail.com">noonedeadpunk@gmail.com</a>>:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="auto"><div>To have that said, deb/rpm packages they are providing doesn't help much, as:<div dir="auto">* There is no repo for them, so you need to download them manually from enterprise portal</div><div dir="auto">* They can't be upgraded anyway, as driver version is part of the package name. And each package conflicts with any another one. So you need to explicitly remove old package and only then install new one. And yes, you must stop all VMs before upgrading driver and no, you can't live migrate GPU mdev devices due to that now being implemented in qemu. So deb/rpm/generic driver doesn't matter at the end tbh.</div><br><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">пт, 13 янв. 2023 г., 20:56 Cedric <<a href="mailto:yipikai7@gmail.com" target="_blank" rel="noreferrer">yipikai7@gmail.com</a>>:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="auto"><br>Ended up with the very same conclusions than Dimitry regarding the use of Nvidia Vgrid for the VGPU use case with Nova, it works pretty well but:<br>
<br>
- respecting the licensing model as operationnal constraints, note that guests need to reach a license server in order to get a token (could be via the Nvidia SaaS service or on-prem)<br>
- drivers for both guest and hypervisor are not easy to implement and maintain on large scale. A year ago, hypervisors drivers were not packaged to Debian/Ubuntu, but builded though a bash script, thus requiering additional automatisation work and careful attention regarding kernel update/reboot of Nova hypervisors.<br>
<br>
Cheers</div><br>
<br>
On Fri, Jan 13, 2023 at 4:21 PM Dmitriy Rabotyagov <<a href="mailto:noonedeadpunk@gmail.com" rel="noreferrer noreferrer noreferrer noreferrer noreferrer" target="_blank">noonedeadpunk@gmail.com</a>> wrote:<br>
><br>
> You are saying that, like Nvidia GRID drivers are open-sourced while<br>
> in fact they're super far from being that. In order to download<br>
> drivers not only for hypervisors, but also for guest VMs you need to<br>
> have an account in their Enterprise Portal. It took me roughly 6 weeks<br>
> of discussions with hardware vendors and Nvidia support to get a<br>
> proper account there. And that happened only after applying for their<br>
> Partner Network (NPN).<br>
> That still doesn't solve the issue of how to provide drivers to<br>
> guests, except pre-build a series of images with these drivers<br>
> pre-installed (we ended up with making a DIB element for that [1]).<br>
> Not saying about the need to distribute license tokens for guests and<br>
> the whole mess with compatibility between hypervisor and guest drivers<br>
> (as guest driver can't be newer then host one, and HVs can't be too<br>
> new either).<br>
><br>
> It's not that I'm protecting AMD, but just saying that Nvidia is not<br>
> that straightforward either, and at least on paper AMD vGPUs look<br>
> easier both for operators and end-users.<br>
><br>
> [1] <a href="https://github.com/citynetwork/dib-elements/tree/main/nvgrid" rel="noreferrer noreferrer noreferrer noreferrer noreferrer noreferrer" target="_blank">https://github.com/citynetwork/dib-elements/tree/main/nvgrid</a><br>
><br>
> ><br>
> > As for AMD cards, AMD stated that some of their MI series card supports SR-IOV for vGPUs. However, those drivers are never open source or provided closed source to public, only large cloud providers are able to get them. So I don't really recommend getting AMD cards for vGPU unless you are able to get support from them.<br>
> ><br>
><br>
</blockquote></div></div></div>
</blockquote></div>