<div dir="ltr">Hi Karl,<div><br></div><div>time rbd-nbd --id cinder map SSD1/volume-f2ff322b-c9f4-4efe-9b6e-d80a9d0aa043_ERR<br>/dev/nbd0<br><br>real    0m0.111s<br>user    0m0.028s<br>sys     0m0.005s<br></div><div><br></div><div><br></div><div>The time mapping is quite fast.</div><div><br></div><div>Thanks,</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Aug 7, 2023 at 11:27 AM Karl Kloppenborg <<a href="mailto:kkloppenborg@rwts.com.au">kkloppenborg@rwts.com.au</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div class="msg-4035816292058893615">





<div lang="EN-AU" style="overflow-wrap: break-word;">
<div class="m_-4035816292058893615WordSection1">
<p class="MsoNormal"><span style="font-size:11pt;font-family:-webkit-standard;color:black">Hi Ha Noi,<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11pt;font-family:-webkit-standard;color:black"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-size:11pt;font-family:-webkit-standard;color:black">Correct, try and take the same volume and directly map it on the server, see if it hangs for any period of time.<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11pt;font-family:-webkit-standard;color:black"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-size:11pt;font-family:-webkit-standard;color:black">--Karl.<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11pt"><u></u> <u></u></span></p>
<div style="border-right:none;border-bottom:none;border-left:none;border-top:1pt solid rgb(181,196,223);padding:3pt 0cm 0cm">
<p class="MsoNormal" style="margin-bottom:12pt"><b><span style="font-size:12pt;color:black">From:
</span></b><span style="font-size:12pt;color:black">Ha Noi <<a href="mailto:hanoi952022@gmail.com" target="_blank">hanoi952022@gmail.com</a>><br>
<b>Date: </b>Monday, 7 August 2023 at 1:11 pm<br>
<b>To: </b>Karl Kloppenborg <<a href="mailto:kkloppenborg@rwts.com.au" target="_blank">kkloppenborg@rwts.com.au</a>><br>
<b>Cc: </b><a href="mailto:openstack-discuss@lists.openstack.org" target="_blank">openstack-discuss@lists.openstack.org</a> <<a href="mailto:openstack-discuss@lists.openstack.org" target="_blank">openstack-discuss@lists.openstack.org</a>><br>
<b>Subject: </b>Re: [openstack][nova] Slow provision 1 instance .<u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:11pt">Hi Karl,<u></u><u></u></span></p>
<div>
<p class="MsoNormal"><span style="font-size:11pt"><u></u> <u></u></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:11pt">Do you mean try rbd-nbd map a volume from ceph to compute node?<u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:11pt"><u></u> <u></u></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:11pt">Thanks,<u></u><u></u></span></p>
</div>
</div>
<p class="MsoNormal"><span style="font-size:11pt"><u></u> <u></u></span></p>
<div>
<div>
<p class="MsoNormal"><span style="font-size:11pt">On Mon, Aug 7, 2023 at 8:58 AM Karl Kloppenborg <<a href="mailto:kkloppenborg@rwts.com.au" target="_blank">kkloppenborg@rwts.com.au</a>> wrote:<u></u><u></u></span></p>
</div>
<blockquote style="border-top:none;border-right:none;border-bottom:none;border-left:1pt solid rgb(204,204,204);padding:0cm 0cm 0cm 6pt;margin-left:4.8pt;margin-right:0cm">
<div>
<div>
<div>
<p class="MsoNormal"><span style="font-size:11pt">Hi Ha Noi,<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11pt"> <u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11pt">From those logs it appears that the lag is in the libvirt section of the block device connecting and latching to the compute node.<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11pt"> <u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11pt">If you try and rbd mount manually a drive from your ceph cluster, do you see a long delay in this as well?<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11pt"> <u></u><u></u></span></p>
<div>
<div>
<div>
<p class="MsoNormal"><span style="font-size:11pt;font-family:-webkit-standard;color:black">Kind Regards,</span><span style="font-size:11pt"><u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11pt;font-family:-webkit-standard;color:black">--</span><span style="font-size:11pt"><u></u><u></u></span></p>
<p class="MsoNormal"><b><span style="font-size:11pt;font-family:-webkit-standard;color:black">Karl Kloppenborg,
</span></b><i><span style="font-size:11pt;font-family:-webkit-standard;color:black">(BCompSc, CNCF-[KCNA, CKA, CKAD], LFCE, CompTIA Linux+ XK0-004)</span></i><span style="font-size:11pt"><u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11pt;font-family:-webkit-standard;color:black">Managing Director, Invention Labs.</span><span style="font-size:11pt"><u></u><u></u></span></p>
</div>
</div>
</div>
<p class="MsoNormal"><span style="font-size:11pt"> <u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11pt"> <u></u><u></u></span></p>
<div style="border-right:none;border-bottom:none;border-left:none;border-top:1pt solid rgb(181,196,223);padding:3pt 0cm 0cm">
<p class="MsoNormal" style="margin-bottom:12pt"><b><span style="font-size:12pt;color:black">From:
</span></b><span style="font-size:12pt;color:black">Ha Noi <<a href="mailto:hanoi952022@gmail.com" target="_blank">hanoi952022@gmail.com</a>><br>
<b>Date: </b>Monday, 7 August 2023 at 11:38 am<br>
<b>To: </b><a href="mailto:kkloppenborg@rwts.com.au" target="_blank">kkloppenborg@rwts.com.au</a> <<a href="mailto:kkloppenborg@rwts.com.au" target="_blank">kkloppenborg@rwts.com.au</a>><br>
<b>Cc: </b><a href="mailto:openstack-discuss@lists.openstack.org" target="_blank">openstack-discuss@lists.openstack.org</a> <<a href="mailto:openstack-discuss@lists.openstack.org" target="_blank">openstack-discuss@lists.openstack.org</a>><br>
<b>Subject: </b>Re: [openstack][nova] Slow provision 1 instance .</span><span style="font-size:11pt"><u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:11pt">Hi Karl,<u></u><u></u></span></p>
<div>
<p class="MsoNormal"><span style="font-size:11pt"> <u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:11pt">The volume creation time is 10 seconds. Below is the log in nova-compute. I would like to optimize nova-compute first .<u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:11pt"> <u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:11pt"> <u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:11pt"> <u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:11pt">3414:2023-08-07 08:33:08.436 8 INFO nova.compute.claims [req-33bf9cfd-38c5-40c3-aceb-2c4c0bfa986c 125406d260d24c77aca1b09206825437 f64e241d000441d292b91e85138e325c
 - default default] [instance: c54db6fe-7bf0-4ca3-8167-20ec2763b79f] Claim successful on node compute-004<br>
3415:2023-08-07 08:33:08.702 8 INFO nova.virt.libvirt.driver [req-33bf9cfd-38c5-40c3-aceb-2c4c0bfa986c 125406d260d24c77aca1b09206825437 f64e241d000441d292b91e85138e325c - default default] [instance: c54db6fe-7bf0-4ca3-8167-20ec2763b79f] Ignoring supplied device
 name: /dev/vda. Libvirt can't honour user-supplied dev names<br>
3416:2023-08-07 08:33:08.815 8 INFO nova.virt.block_device [req-33bf9cfd-38c5-40c3-aceb-2c4c0bfa986c 125406d260d24c77aca1b09206825437 f64e241d000441d292b91e85138e325c - default default] [instance: c54db6fe-7bf0-4ca3-8167-20ec2763b79f] Booting with volume 37d1487e-9118-4231-9908-fb662b626977
 at /dev/vda<br>
3417:2023-08-07 08:33:34.269 8 INFO nova.virt.libvirt.driver [req-33bf9cfd-38c5-40c3-aceb-2c4c0bfa986c 125406d260d24c77aca1b09206825437 f64e241d000441d292b91e85138e325c - default default] [instance: c54db6fe-7bf0-4ca3-8167-20ec2763b79f] Creating image<br>
3418:2023-08-07 08:33:35.967 8 INFO os_vif [req-33bf9cfd-38c5-40c3-aceb-2c4c0bfa986c 125406d260d24c77aca1b09206825437 f64e241d000441d292b91e85138e325c - default default] Successfully plugged vif VIFBridge(active=False,address=fa:16:3e:1e:06:ae,bridge_name='qbr2ea5e4e0-a9',has_traffic_filtering=True,id=2ea5e4e0-a934-404d-ac4c-a4deadf2aa73,network=Network(a4e1151a-9671-4fb6-b620-66b80d7dce8d),plugin='ovs',port_profile=VIFPortProfileOpenVSwitch,preserve_on_delete=True,vif_name='tap2ea5e4e0-a9')<br>
3419:2023-08-07 08:33:37.763 8 INFO os_vif [req-33bf9cfd-38c5-40c3-aceb-2c4c0bfa986c 125406d260d24c77aca1b09206825437 f64e241d000441d292b91e85138e325c - default default] Successfully plugged vif VIFBridge(active=False,address=fa:16:3e:b0:e6:12,bridge_name='qbre636e020-ec',has_traffic_filtering=True,id=e636e020-ec99-47d4-bad3-9c87c65e080f,network=Network(5f7989ab-cb9d-493b-a8c5-edf688782f81),plugin='ovs',port_profile=VIFPortProfileOpenVSwitch,preserve_on_delete=True,vif_name='tape636e020-ec')<br>
3425:2023-08-07 08:33:45.725 8 INFO nova.compute.manager [req-33bf9cfd-38c5-40c3-aceb-2c4c0bfa986c 125406d260d24c77aca1b09206825437 f64e241d000441d292b91e85138e325c - default default] [instance: c54db6fe-7bf0-4ca3-8167-20ec2763b79f] Took 11.46 seconds to spawn
 the instance on the hypervisor.<br>
3459:2023-08-07 08:34:02.909 8 INFO nova.compute.manager [req-33bf9cfd-38c5-40c3-aceb-2c4c0bfa986c 125406d260d24c77aca1b09206825437 f64e241d000441d292b91e85138e325c - default default] [instance: c54db6fe-7bf0-4ca3-8167-20ec2763b79f] Took 61.40 seconds to build
 instance.<u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:11pt"> <u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:11pt"> <u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:11pt">As you can see, the first log, instance was claimed on node compute 004 at 08:33:08, Then it takes 1 minute (04:34:02) to build instance.<u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:11pt"> <u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:11pt"> <u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:11pt">Thanks <u></u><u></u></span></p>
</div>
</div>
<p class="MsoNormal"><span style="font-size:11pt"> <u></u><u></u></span></p>
<div>
<div>
<p class="MsoNormal"><span style="font-size:11pt">On Fri, Aug 4, 2023 at 10:25 PM Ha Noi <<a href="mailto:hanoi952022@gmail.com" target="_blank">hanoi952022@gmail.com</a>> wrote:<u></u><u></u></span></p>
</div>
<blockquote style="border-top:none;border-right:none;border-bottom:none;border-left:1pt solid rgb(204,204,204);padding:0cm 0cm 0cm 6pt;margin:5pt 0cm 5pt 4.8pt">
<div>
<p class="MsoNormal"><span style="font-size:11pt">Hi everyone,<u></u><u></u></span></p>
<div>
<p class="MsoNormal"><span style="font-size:11pt"> <u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:11pt">We have a openstack with one region and more than 100 compute nodes. We are using ceph for block storage. <u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:11pt"> <u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:11pt">I don't know why my instance was provisioned too slow: more than 1 minutes. <u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:11pt"> <u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:11pt">Nova compute log: <u></u><u></u></span></p>
<p class="MsoNormal" style="margin-left:36pt;vertical-align:baseline">
<span style="font-size:9pt;font-family:"Roboto Mono";color:rgb(52,55,65);letter-spacing:-0.05pt;border:1pt none windowtext;padding:0cm">Took 56.47 seconds to build instance.</span><span style="font-size:11pt"><u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:9pt;font-family:"Roboto Mono";color:rgb(52,55,65);letter-spacing:-0.05pt"> </span><span style="font-size:11pt"><u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:11pt"> <u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:11pt"> <u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:9pt;font-family:Arial,sans-serif;color:rgb(52,55,65);letter-spacing:-0.05pt">So I would like to optimize and speed up instance build time. </span><span style="font-size:11pt"><u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:11pt"> <u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:11pt"> <u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:9pt;font-family:Arial,sans-serif;color:rgb(52,55,65);letter-spacing:-0.05pt">Thanks and Best Regards</span><span style="font-size:11pt"><u></u><u></u></span></p>
</div>
</div>
</blockquote>
</div>
</div>
</div>
</div>
</blockquote>
</div>
</div>
</div>

</div></blockquote></div>