<div dir="ltr">Thank you all. From what you post i see the aspects of hpc in openstack now.<div><br></div><div>As i see, because of <a href="https://wiki.openstack.org/wiki/SR-IOV-Passthrough-For-Networking">https://wiki.openstack.org/wiki/SR-IOV-Passthrough-For-Networking</a> and <a href="https://wiki.openstack.org/wiki/Pci_passthrough">https://wiki.openstack.org/wiki/Pci_passthrough</a> it's possible to create instances to form a hpc.</div><div>The performance is very good too. </div><div><br></div><div>About the management of the hpc clusters(if we have many of them), we can use heat, or senlin later.</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Mar 15, 2016 at 9:54 PM, Blair Bethwaite <span dir="ltr"><<a href="mailto:blair.bethwaite@gmail.com" target="_blank">blair.bethwaite@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi,<br>
<br>
Apologies for top-posting but I don't intend to answer all the<br>
historical project points you've raised. Regarding old things floating<br>
around on github, your mileage may vary, but I doubt at this point you<br>
want to be looking at any of that in great detail. You haven't really<br>
explained what you mean by or want from HPC in this context, so I'm<br>
guessing a little based on your other questions...<br>
<br>
OpenStack is many things to different people and organisations, but at<br>
the software core is a very flexible infrastructure provisioning<br>
framework. HPC requires infrastructure (compute, network, storage),<br>
and OpenStack can certainly deliver it - make your deployment choices<br>
to suit your use-cases. A major choice would be whether you will use<br>
full system virtualisation or bare-metal or containers or <insert next<br>
trend> - that choice largely depends on your typical workloads and<br>
what style of cluster you want. Beyond that, compared to "typical"<br>
cloud hardware - faster CPUs, faster memory, faster network (probably<br>
with much greater east-west capacity), integration of a suitable<br>
parallel file-system.<br>
<br>
However, OpenStack is not a HPC management / scheduling / queuing /<br>
middleware system - there are lots of those already and you should<br>
pick one that fits your requirements and then (if it helps) run it<br>
atop an OpenStack cloud (it might help, e.g., if you want to run<br>
multiple logical clusters on the same physical infrastructure, if you<br>
want to mix other more traditional cloud workloads in, if you're just<br>
doing everything with OpenStack like the other cool kids). There are<br>
lots of nuances here, e.g., where one scheduler might lend itself<br>
better to more dynamic infrastructure (adding/removing instances),<br>
another might be lighter-weight for use with a Cluster-as-a-Service<br>
deployment model, whilst another suits a multi-user managed service<br>
style cluster. I'm sure there is good experience and opinion hidden on<br>
this list if you want to interrogate those sorts of choices more<br>
specifically.<br>
<br>
Most of the relevant choices you need to make with respect to running<br>
HPC workloads on infrastructure that is provisioned through OpenStack<br>
will come down to your hypervisor choices. My preference for now is to<br>
stick with the OpenStack community's most popular free OS and<br>
hypervisor (Ubuntu and KVM+Libvirt) - when I facilitated the<br>
hypervisor-tuning ops session at the Vancouver summit (with a bunch of<br>
folks interested in HPC on OpenStack) there was no-one in the room<br>
running a different hypervisor, though several were using RHEL. With<br>
the right tuning KVM can get you to within a hair's breadth of<br>
bare-metal performance for a wide range of CPU, memory and<br>
inter-process comms benchmarks, plus you can easily make use of PCI<br>
passthrough for latency sensitive or "difficult" devices like<br>
NICs/HCAs and GPGPUs. And the "right tuning" is not really some arcane<br>
knowledge, it's mainly about exposing host CPU capabilities, pinning<br>
vCPUs to pCPUs, and tuning or pinning and exposing NUMA topology -<br>
most of this is supported directly through OpenStack-native features<br>
now.<br>
<br>
To answer the GPU question more explicitly - yes you can do this.<br>
Mainly you need to ensure you're getting compatible hardware (GPU and<br>
relevant motherboard components) - most of the typical GPGPU choices<br>
(e.g. K80, K40, M60) will work, and you should probably be wary of<br>
PCIe switches unless you know exactly what you're doing (recommend<br>
trying before buying). At the OpenStack level you just define the PCI<br>
devices you want OpenStack Nova to provision and you can then define<br>
custom instance-types/flavors that will get a GPU passed through.<br>
Similar things go for networking.<br>
<br>
Lastly, just because you can do this doesn't make it a good idea...<br>
OpenStack is complex, HPC systems are complex, layering one<br>
complicated thing on another is a good way to create tricky problems<br>
that hide in the interface between the two layers. So make sure you're<br>
gaining something from having OpenStack in the mix here.<br>
<br>
HTH,<br>
Blair<br>
<br>
On 15 March 2016 at 23:00,  <<a href="mailto:openstack-hpc-request@lists.openstack.org">openstack-hpc-request@lists.openstack.org</a>> wrote:<br>
> Message: 1<br>
> Date: Tue, 15 Mar 2016 19:05:38 +0800<br>
> From: "me,apporc" <<a href="mailto:appleorchard2000@gmail.com">appleorchard2000@gmail.com</a>><br>
> To: <a href="mailto:openstack-hpc@lists.openstack.org">openstack-hpc@lists.openstack.org</a><br>
> Subject: [openstack-hpc] What's the state of openstack-hpc now?<br>
> Message-ID:<br>
>         <CAOBTi0sftGTG-fscM-C5wLu6bTgZMaLaM2eXBJpa0a=<a href="mailto:vkPDusg@mail.gmail.com">vkPDusg@mail.gmail.com</a>><br>
> Content-Type: text/plain; charset="utf-8"<br>
<div><div class="h5">><br>
> Hi, all<br>
><br>
> I found this etherpad[1] which was created long time ago, inside which<br>
> there are some blueprints: support-heterogeneous-archs[2],<br>
> heterogeneous-instance-types[3]<br>
> and schedule-instances-on-heterogeneous-architectures[4] .<br>
> But those blueprints had been obselete since year 2014, and some of its<br>
> patches were abandoned.<br>
> There however is a forked branch github[5] or launchpad[6], which is<br>
> diverged far away from nova/trunk, and not updated since 2014 too.<br>
><br>
> Is that we just abandoned those blueprints in openstack or else?<br>
><br>
> Besides, there is a CaaS[7] project called Senlin[8], which refered to the<br>
> word "HPC" in its wiki. But it seems like not really related. "Cluster" can<br>
> mean many things, but hpc is some kind different.<br>
><br>
> I can not get the status of GPU support in nova. As the case of network,<br>
> SR-IOV[9] seems ok. For storage, i don't know what the word "mi2" means in<br>
> etherpad[1].<br>
><br>
> According to what i got above, it seems we can not use hpc in openstack<br>
> now. But there are some videos here[10], here[11] and here[12].Since we can<br>
> not get GPU in nova instance, are they just building traditional hpcs<br>
> without GPU?<br>
><br>
><br>
> I need more information, thanks in advance.<br>
><br>
> 1. <a href="https://etherpad.openstack.org/p/HVHsTqOQGc" rel="noreferrer" target="_blank">https://etherpad.openstack.org/p/HVHsTqOQGc</a><br>
> 2. <a href="https://blueprints.launchpad.net/nova/+spec/support-heterogeneous-archs" rel="noreferrer" target="_blank">https://blueprints.launchpad.net/nova/+spec/support-heterogeneous-archs</a><br>
> 3. <a href="https://blueprints.launchpad.net/nova/+spec/heterogeneous-instance-types" rel="noreferrer" target="_blank">https://blueprints.launchpad.net/nova/+spec/heterogeneous-instance-types</a><br>
> 4.<br>
> <a href="https://blueprints.launchpad.net/nova/+spec/schedule-instances-on-heterogeneous-architectures" rel="noreferrer" target="_blank">https://blueprints.launchpad.net/nova/+spec/schedule-instances-on-heterogeneous-architectures</a><br>
> 5. <a href="https://github.com/usc-isi/nova" rel="noreferrer" target="_blank">https://github.com/usc-isi/nova</a><br>
> 6. <a href="https://code.launchpad.net/~usc-isi/nova/hpc-trunk" rel="noreferrer" target="_blank">https://code.launchpad.net/~usc-isi/nova/hpc-trunk</a><br>
> 7. <a href="https://wiki.openstack.org/wiki/CaaS" rel="noreferrer" target="_blank">https://wiki.openstack.org/wiki/CaaS</a><br>
> 8. <a href="https://wiki.openstack.org/wiki/Senlin" rel="noreferrer" target="_blank">https://wiki.openstack.org/wiki/Senlin</a><br>
> 9. <a href="https://wiki.openstack.org/wiki/SR-IOV-Passthrough-For-Networking" rel="noreferrer" target="_blank">https://wiki.openstack.org/wiki/SR-IOV-Passthrough-For-Networking</a><br>
> 10.<br>
> <a href="https://www.openstack.org/summit/vancouver-2015/summit-videos/presentation/openstack-in-hpc-operations-a-campus-perspective" rel="noreferrer" target="_blank">https://www.openstack.org/summit/vancouver-2015/summit-videos/presentation/openstack-in-hpc-operations-a-campus-perspective</a><br>
> 11.<br>
> <a href="https://www.openstack.org/summit/tokyo-2015/videos/presentation/hpc-on-openstack-use-cases" rel="noreferrer" target="_blank">https://www.openstack.org/summit/tokyo-2015/videos/presentation/hpc-on-openstack-use-cases</a><br>
> 12.<br>
> <a href="https://www.openstack.org/summit/tokyo-2015/videos/presentation/canonical-hpc-and-openstack-from-real-experience" rel="noreferrer" target="_blank">https://www.openstack.org/summit/tokyo-2015/videos/presentation/canonical-hpc-and-openstack-from-real-experience</a><br>
> --<br>
> Regards,<br>
> apporc<br>
</div></div>> -------------- next part --------------<br>
> An HTML attachment was scrubbed...<br>
> URL: <<a href="http://lists.openstack.org/pipermail/openstack-hpc/attachments/20160315/31820640/attachment-0001.html" rel="noreferrer" target="_blank">http://lists.openstack.org/pipermail/openstack-hpc/attachments/20160315/31820640/attachment-0001.html</a>><br>
><br>
> ------------------------------<br>
<span class="">><br>
> _______________________________________________<br>
> OpenStack-HPC mailing list<br>
> <a href="mailto:OpenStack-HPC@lists.openstack.org">OpenStack-HPC@lists.openstack.org</a><br>
> <a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-hpc" rel="noreferrer" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-hpc</a><br>
><br>
><br>
</span>> End of OpenStack-HPC Digest, Vol 30, Issue 2<br>
> ********************************************<br>
<span class="HOEnZb"><font color="#888888"><br>
<br>
<br>
--<br>
Cheers,<br>
~Blairo<br>
</font></span></blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="gmail_signature"><div dir="ltr">Regards,<div>apporc</div></div></div>
</div>