<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=us-ascii">
<meta name="Generator" content="Microsoft Word 14 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
{font-family:Calibri;
panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
{font-family:Tahoma;
panose-1:2 11 6 4 3 5 4 4 2 4;}
@font-face
{font-family:"Segoe UI";
panose-1:2 11 5 2 4 2 4 2 2 3;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
{margin:0in;
margin-bottom:.0001pt;
font-size:11.0pt;
font-family:"Calibri","sans-serif";}
a:link, span.MsoHyperlink
{mso-style-priority:99;
color:blue;
text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
{mso-style-priority:99;
color:purple;
text-decoration:underline;}
p
{mso-style-priority:99;
mso-margin-top-alt:auto;
margin-right:0in;
mso-margin-bottom-alt:auto;
margin-left:0in;
font-size:12.0pt;
font-family:"Times New Roman","serif";}
p.MsoAcetate, li.MsoAcetate, div.MsoAcetate
{mso-style-priority:99;
mso-style-link:"Balloon Text Char";
margin:0in;
margin-bottom:.0001pt;
font-size:8.0pt;
font-family:"Tahoma","sans-serif";}
span.EmailStyle17
{mso-style-type:personal-compose;
font-family:"Calibri","sans-serif";
color:windowtext;}
span.BalloonTextChar
{mso-style-name:"Balloon Text Char";
mso-style-priority:99;
mso-style-link:"Balloon Text";
font-family:"Tahoma","sans-serif";}
span.o
{mso-style-name:o;}
.MsoChpDefault
{mso-style-type:export-only;
font-family:"Calibri","sans-serif";}
@page WordSection1
{size:8.5in 11.0in;
margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
{page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]-->
</head>
<body lang="EN-US" link="blue" vlink="purple">
<div class="WordSection1">
<p class="MsoNormal">Dear openstack user group,<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">I have a server with 2 numa nodes and I am trying to setup nova numa affinity.<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">[root@zeus-53 ~]# numactl -H<o:p></o:p></p>
<p class="MsoNormal">available: 2 nodes (0-1)<o:p></o:p></p>
<p class="MsoNormal">node 0 cpus: 0 1 2 3 4 5 6 7 8 9 10 11 12 13 28 29 30 31 32 33 34 35 36 37 38 39 40 41<o:p></o:p></p>
<p class="MsoNormal">node 0 size: 262029 MB<o:p></o:p></p>
<p class="MsoNormal">node 0 free: 2536 MB<o:p></o:p></p>
<p class="MsoNormal">node 1 cpus: 14 15 16 17 18 19 20 21 22 23 24 25 26 27 42 43 44 45 46 47 48 49 50 51 52 53 54 55<o:p></o:p></p>
<p class="MsoNormal">node 1 size: 262144 MB<o:p></o:p></p>
<p class="MsoNormal">node 1 free: 250648 MB<o:p></o:p></p>
<p class="MsoNormal">node distances:<o:p></o:p></p>
<p class="MsoNormal">node 0 1<o:p></o:p></p>
<p class="MsoNormal"> 0: 10 21<o:p></o:p></p>
<p class="MsoNormal"> 1: 21 10<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p style="mso-margin-top-alt:7.5pt;margin-right:0in;margin-bottom:0in;margin-left:0in;margin-bottom:.0001pt">
openstack flavor create --public xlarge.numa.perf --ram 250000 --disk 700 --vcpus 25 --property hw:cpu_policy=dedicated --property hw:emulator_threads_policy<span class="o"><span style="color:#D0D0D0">=</span></span>isolate --property hw:numa_nodes='1' --property
pci_passthrough:alias='nvme:4'<o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Segoe UI","sans-serif";color:#172B4D;background:white">openstack server create --network hpc --flavor xlarge.numa.perf --image centos7.6-kudu-image --availability-zone nova:zeus-53.localdomain
--key-name mykey kudu-1<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Segoe UI","sans-serif";color:#172B4D;background:white"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Segoe UI","sans-serif";color:#172B4D;background:white">This is the xmldump for the created vm<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Segoe UI","sans-serif";color:#172B4D;background:white"><o:p> </o:p></span></p>
<p class="MsoNormal">But for some reason the second VM fails to create with the error
<o:p></o:p></p>
<p class="MsoNormal"><name>instance-00000108</name><o:p></o:p></p>
<p class="MsoNormal"> <uuid>5d278c90-27ab-4ee4-aeea-e1bf36ac246a</uuid><o:p></o:p></p>
<p class="MsoNormal"> <metadata><o:p></o:p></p>
<p class="MsoNormal"> <nova:instance xmlns:nova="http://openstack.org/xmlns/libvirt/nova/1.0"><o:p></o:p></p>
<p class="MsoNormal"> <nova:package version="18.2.2-1.el7"/><o:p></o:p></p>
<p class="MsoNormal"> <nova:name>kudu-4</nova:name><o:p></o:p></p>
<p class="MsoNormal"> <nova:creationTime>2019-09-25 07:20:32</nova:creationTime><o:p></o:p></p>
<p class="MsoNormal"> <nova:flavor name="xlarge.numa.perf"><o:p></o:p></p>
<p class="MsoNormal"> <nova:memory>250000</nova:memory><o:p></o:p></p>
<p class="MsoNormal"> <nova:disk>700</nova:disk><o:p></o:p></p>
<p class="MsoNormal"> <nova:swap>0</nova:swap><o:p></o:p></p>
<p class="MsoNormal"> <nova:ephemeral>0</nova:ephemeral><o:p></o:p></p>
<p class="MsoNormal"> <nova:vcpus>25</nova:vcpus><o:p></o:p></p>
<p class="MsoNormal"> </nova:flavor><o:p></o:p></p>
<p class="MsoNormal"> <nova:owner><o:p></o:p></p>
<p class="MsoNormal"> <nova:user uuid="91e83343e9834c8ba0172ff369c8acac">admin</nova:user><o:p></o:p></p>
<p class="MsoNormal"> <nova:project uuid="b91520cff5bd45c59a8de07c38641582">admin</nova:project><o:p></o:p></p>
<p class="MsoNormal"> </nova:owner><o:p></o:p></p>
<p class="MsoNormal"> <nova:root type="image" uuid="ff9e09ac-86d5-4698-9883-cf3e6579caec"/><o:p></o:p></p>
<p class="MsoNormal"> </nova:instance><o:p></o:p></p>
<p class="MsoNormal"> </metadata><o:p></o:p></p>
<p class="MsoNormal"> <memory unit='KiB'>256000000</memory><o:p></o:p></p>
<p class="MsoNormal"> <currentMemory unit='KiB'>256000000</currentMemory><o:p></o:p></p>
<p class="MsoNormal"> <vcpu placement='static'>25</vcpu><o:p></o:p></p>
<p class="MsoNormal"> <cputune><o:p></o:p></p>
<p class="MsoNormal"> <shares>25600</shares><o:p></o:p></p>
<p class="MsoNormal"> <vcpupin vcpu='0' cpuset='27'/><o:p></o:p></p>
<p class="MsoNormal"> <vcpupin vcpu='1' cpuset='55'/><o:p></o:p></p>
<p class="MsoNormal"> <vcpupin vcpu='2' cpuset='50'/><o:p></o:p></p>
<p class="MsoNormal"> <vcpupin vcpu='3' cpuset='22'/><o:p></o:p></p>
<p class="MsoNormal"> <vcpupin vcpu='4' cpuset='49'/><o:p></o:p></p>
<p class="MsoNormal"> <vcpupin vcpu='5' cpuset='21'/><o:p></o:p></p>
<p class="MsoNormal"> <vcpupin vcpu='6' cpuset='48'/><o:p></o:p></p>
<p class="MsoNormal"> <vcpupin vcpu='7' cpuset='20'/><o:p></o:p></p>
<p class="MsoNormal"> <vcpupin vcpu='8' cpuset='25'/><o:p></o:p></p>
<p class="MsoNormal"> <vcpupin vcpu='9' cpuset='53'/><o:p></o:p></p>
<p class="MsoNormal"> <vcpupin vcpu='10' cpuset='18'/><o:p></o:p></p>
<p class="MsoNormal"> <vcpupin vcpu='11' cpuset='46'/><o:p></o:p></p>
<p class="MsoNormal"> <vcpupin vcpu='12' cpuset='51'/><o:p></o:p></p>
<p class="MsoNormal"> <vcpupin vcpu='13' cpuset='23'/><o:p></o:p></p>
<p class="MsoNormal"> <vcpupin vcpu='14' cpuset='19'/><o:p></o:p></p>
<p class="MsoNormal"> <vcpupin vcpu='15' cpuset='47'/><o:p></o:p></p>
<p class="MsoNormal"> <vcpupin vcpu='16' cpuset='26'/><o:p></o:p></p>
<p class="MsoNormal"> <vcpupin vcpu='17' cpuset='54'/><o:p></o:p></p>
<p class="MsoNormal"> <vcpupin vcpu='18' cpuset='42'/><o:p></o:p></p>
<p class="MsoNormal"> <vcpupin vcpu='19' cpuset='14'/><o:p></o:p></p>
<p class="MsoNormal"> <vcpupin vcpu='20' cpuset='17'/><o:p></o:p></p>
<p class="MsoNormal"> <vcpupin vcpu='21' cpuset='45'/><o:p></o:p></p>
<p class="MsoNormal"> <vcpupin vcpu='22' cpuset='43'/><o:p></o:p></p>
<p class="MsoNormal"> <vcpupin vcpu='23' cpuset='15'/><o:p></o:p></p>
<p class="MsoNormal"> <vcpupin vcpu='24' cpuset='24'/><o:p></o:p></p>
<p class="MsoNormal"> <emulatorpin cpuset='14-15,17-27,42-43,45-51,53-55'/><o:p></o:p></p>
<p class="MsoNormal"> </cputune><o:p></o:p></p>
<p class="MsoNormal"> <numatune><o:p></o:p></p>
<p class="MsoNormal"> <memory mode='strict' nodeset='1'/><o:p></o:p></p>
<p class="MsoNormal"> <memnode cellid='0' mode='strict' nodeset='1'/><o:p></o:p></p>
<p class="MsoNormal"> </numatune><o:p></o:p></p>
<p class="MsoNormal"> <sysinfo type='smbios'><o:p></o:p></p>
<p class="MsoNormal"> <system><o:p></o:p></p>
<p class="MsoNormal"> <entry name='manufacturer'>RDO</entry><o:p></o:p></p>
<p class="MsoNormal"> <entry name='product'>OpenStack Compute</entry><o:p></o:p></p>
<p class="MsoNormal"> <entry name='version'>18.2.2-1.el7</entry><o:p></o:p></p>
<p class="MsoNormal"> <entry name='serial'>00000000-0000-0000-0000-0cc47aa482cc</entry><o:p></o:p></p>
<p class="MsoNormal"> <entry name='uuid'>5d278c90-27ab-4ee4-aeea-e1bf36ac246a</entry><o:p></o:p></p>
<p class="MsoNormal"> <entry name='family'>Virtual Machine</entry><o:p></o:p></p>
<p class="MsoNormal"> </system><o:p></o:p></p>
<p class="MsoNormal"> </sysinfo><o:p></o:p></p>
<p class="MsoNormal"> <os><o:p></o:p></p>
<p class="MsoNormal"> <type arch='x86_64' machine='pc-i440fx-rhel7.6.0'>hvm</type><o:p></o:p></p>
<p class="MsoNormal"> <boot dev='hd'/><o:p></o:p></p>
<p class="MsoNormal"> <smbios mode='sysinfo'/><o:p></o:p></p>
<p class="MsoNormal"> </os><o:p></o:p></p>
<p class="MsoNormal"> <features><o:p></o:p></p>
<p class="MsoNormal"> <acpi/><o:p></o:p></p>
<p class="MsoNormal"> <apic/><o:p></o:p></p>
<p class="MsoNormal"> </features><o:p></o:p></p>
<p class="MsoNormal"> <cpu mode='host-model' check='partial'><o:p></o:p></p>
<p class="MsoNormal"> <model fallback='allow'/><o:p></o:p></p>
<p class="MsoNormal"> <topology sockets='25' cores='1' threads='1'/><o:p></o:p></p>
<p class="MsoNormal"> <numa><o:p></o:p></p>
<p class="MsoNormal"> <cell id='0' cpus='0-24' memory='256000000' unit='KiB'/><o:p></o:p></p>
<p class="MsoNormal"> </numa><o:p></o:p></p>
<p class="MsoNormal"> </cpu><o:p></o:p></p>
<p class="MsoNormal"> <clock offset='utc'><o:p></o:p></p>
<p class="MsoNormal"> <timer name='pit' tickpolicy='delay'/><o:p></o:p></p>
<p class="MsoNormal"> <timer name='rtc' tickpolicy='catchup'/><o:p></o:p></p>
<p class="MsoNormal"> <timer name='hpet' present='no'/><o:p></o:p></p>
<p class="MsoNormal"> </clock><o:p></o:p></p>
<p class="MsoNormal"> <on_poweroff>destroy</on_poweroff><o:p></o:p></p>
<p class="MsoNormal"> <on_reboot>restart</on_reboot><o:p></o:p></p>
<p class="MsoNormal"> <on_crash>destroy</on_crash><o:p></o:p></p>
<p class="MsoNormal"> <devices><o:p></o:p></p>
<p class="MsoNormal"> <emulator>/usr/libexec/qemu-kvm</emulator><o:p></o:p></p>
<p class="MsoNormal"> <disk type='file' device='disk'><o:p></o:p></p>
<p class="MsoNormal"> <driver name='qemu' type='qcow2' cache='none'/><o:p></o:p></p>
<p class="MsoNormal"> <source file='/var/lib/nova/instances/5d278c90-27ab-4ee4-aeea-e1bf36ac246a/disk'/><o:p></o:p></p>
<p class="MsoNormal"> <target dev='vda' bus='virtio'/><o:p></o:p></p>
<p class="MsoNormal"> <address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x0'/><o:p></o:p></p>
<p class="MsoNormal"> </disk><o:p></o:p></p>
<p class="MsoNormal"> <controller type='usb' index='0' model='piix3-uhci'><o:p></o:p></p>
<p class="MsoNormal"> <address type='pci' domain='0x0000' bus='0x00' slot='0x01' function='0x2'/><o:p></o:p></p>
<p class="MsoNormal"> </controller><o:p></o:p></p>
<p class="MsoNormal"> <controller type='pci' index='0' model='pci-root'/><o:p></o:p></p>
<p class="MsoNormal"> <interface type='bridge'><o:p></o:p></p>
<p class="MsoNormal"> <mac address='fa:16:3e:d6:1d:78'/><o:p></o:p></p>
<p class="MsoNormal"> <source bridge='qbr16cb6622-01'/><o:p></o:p></p>
<p class="MsoNormal"> <target dev='tap16cb6622-01'/><o:p></o:p></p>
<p class="MsoNormal"> <model type='virtio'/><o:p></o:p></p>
<p class="MsoNormal"> <mtu size='1500'/><o:p></o:p></p>
<p class="MsoNormal"> <address type='pci' domain='0x0000' bus='0x00' slot='0x03' function='0x0'/><o:p></o:p></p>
<p class="MsoNormal"> </interface><o:p></o:p></p>
<p class="MsoNormal"> <serial type='pty'><o:p></o:p></p>
<p class="MsoNormal"> <log file='/var/lib/nova/instances/5d278c90-27ab-4ee4-aeea-e1bf36ac246a/console.log' append='off'/><o:p></o:p></p>
<p class="MsoNormal"> <target type='isa-serial' port='0'><o:p></o:p></p>
<p class="MsoNormal"> <model name='isa-serial'/><o:p></o:p></p>
<p class="MsoNormal"> </target><o:p></o:p></p>
<p class="MsoNormal"> </serial><o:p></o:p></p>
<p class="MsoNormal"> <console type='pty'><o:p></o:p></p>
<p class="MsoNormal"> <log file='/var/lib/nova/instances/5d278c90-27ab-4ee4-aeea-e1bf36ac246a/console.log' append='off'/><o:p></o:p></p>
<p class="MsoNormal"> <target type='serial' port='0'/><o:p></o:p></p>
<p class="MsoNormal"> </console><o:p></o:p></p>
<p class="MsoNormal"> <input type='tablet' bus='usb'><o:p></o:p></p>
<p class="MsoNormal"> <address type='usb' bus='0' port='1'/><o:p></o:p></p>
<p class="MsoNormal"> </input><o:p></o:p></p>
<p class="MsoNormal"> <input type='mouse' bus='ps2'/><o:p></o:p></p>
<p class="MsoNormal"> <input type='keyboard' bus='ps2'/><o:p></o:p></p>
<p class="MsoNormal"> <graphics type='vnc' port='-1' autoport='yes' listen='192.168.1.53'><o:p></o:p></p>
<p class="MsoNormal"> <listen type='address' address='192.168.1.53'/><o:p></o:p></p>
<p class="MsoNormal"> </graphics><o:p></o:p></p>
<p class="MsoNormal"> <video><o:p></o:p></p>
<p class="MsoNormal"> <model type='cirrus' vram='16384' heads='1' primary='yes'/><o:p></o:p></p>
<p class="MsoNormal"> <address type='pci' domain='0x0000' bus='0x00' slot='0x02' function='0x0'/><o:p></o:p></p>
<p class="MsoNormal"> </video><o:p></o:p></p>
<p class="MsoNormal"> <hostdev mode='subsystem' type='pci' managed='yes'><o:p></o:p></p>
<p class="MsoNormal"> <source><o:p></o:p></p>
<p class="MsoNormal"> <address domain='0x0000' bus='0x87' slot='0x00' function='0x0'/><o:p></o:p></p>
<p class="MsoNormal"> </source><o:p></o:p></p>
<p class="MsoNormal"> <address type='pci' domain='0x0000' bus='0x00' slot='0x05' function='0x0'/><o:p></o:p></p>
<p class="MsoNormal"> </hostdev><o:p></o:p></p>
<p class="MsoNormal"> <hostdev mode='subsystem' type='pci' managed='yes'><o:p></o:p></p>
<p class="MsoNormal"> <source><o:p></o:p></p>
<p class="MsoNormal"> <address domain='0x0000' bus='0x86' slot='0x00' function='0x0'/><o:p></o:p></p>
<p class="MsoNormal"> </source><o:p></o:p></p>
<p class="MsoNormal"> <address type='pci' domain='0x0000' bus='0x00' slot='0x06' function='0x0'/><o:p></o:p></p>
<p class="MsoNormal"> </hostdev><o:p></o:p></p>
<p class="MsoNormal"> <hostdev mode='subsystem' type='pci' managed='yes'><o:p></o:p></p>
<p class="MsoNormal"> <source><o:p></o:p></p>
<p class="MsoNormal"> <address domain='0x0000' bus='0x85' slot='0x00' function='0x0'/><o:p></o:p></p>
<p class="MsoNormal"> </source><o:p></o:p></p>
<p class="MsoNormal"> <address type='pci' domain='0x0000' bus='0x00' slot='0x07' function='0x0'/><o:p></o:p></p>
<p class="MsoNormal"> </hostdev><o:p></o:p></p>
<p class="MsoNormal"> <hostdev mode='subsystem' type='pci' managed='yes'><o:p></o:p></p>
<p class="MsoNormal"> <source><o:p></o:p></p>
<p class="MsoNormal"> <address domain='0x0000' bus='0x84' slot='0x00' function='0x0'/><o:p></o:p></p>
<p class="MsoNormal"> </source><o:p></o:p></p>
<p class="MsoNormal"> <address type='pci' domain='0x0000' bus='0x00' slot='0x08' function='0x0'/><o:p></o:p></p>
<p class="MsoNormal"> </hostdev><o:p></o:p></p>
<p class="MsoNormal"> <memballoon model='virtio'><o:p></o:p></p>
<p class="MsoNormal"> <stats period='10'/><o:p></o:p></p>
<p class="MsoNormal"> <address type='pci' domain='0x0000' bus='0x00' slot='0x09' function='0x0'/><o:p></o:p></p>
<p class="MsoNormal"> </memballoon><o:p></o:p></p>
<p class="MsoNormal"> </devices><o:p></o:p></p>
<p class="MsoNormal"></domain><o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">QUESTIONS:<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Are my vcpus in the same numa node? if not why? <o:p></o:p></p>
<p class="MsoNormal">How can I tell from the xmldump that all vcpus are assigned to the same numa node?<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Thank you very much<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div style="font-size:8pt; font-family: Arial">NOTICE</div>
<div style="font-size:8pt; font-family: Arial">Please consider the environment before printing this email. This message and any attachments are intended for the addressee named and may contain legally privileged/confidential/copyright information. If you are
not the intended recipient, you should not read, use, disclose, copy or distribute this communication. If you have received this message in error please notify us at once by return email and then delete both messages. We accept no liability for the distribution
of viruses or similar in electronic communications. This notice should not be removed.
</div>
</body>
</html>