<html><head><meta http-equiv="Content-Type" content="text/html charset=utf-8"></head><body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;" class="">Hi Chinmaya,<div class=""><br class=""></div><div class="">Are you sure that IOMMU is enabled? That’s how it looks like when it’s on:</div><div class="">alex@homelab:~$ </div><div class=""><div class="">alex@homelab:~$ dmesg | grep -e DMAR -e IOMMU</div><div class="">[    0.000000] ACPI: DMAR 00000000bedb3008 0000B0 (v01 INTEL  DQ67SW   00000001 INTL 00000001)</div><div class="">[    0.000000] Intel-IOMMU: enabled</div><div class="">[    0.037894] dmar: IOMMU 0: reg_base_addr fed91000 ver 1:0 cap c9008020660262 ecap f0105a</div><div class="">[    0.037984] IOAPIC id 0 under DRHD base  0xfed91000 IOMMU 0</div><div class="">[    1.063541] DMAR: No ATSR found</div><div class="">[    1.063570] IOMMU 0 0xfed91000: using Queued invalidation</div><div class="">[    1.063573] IOMMU: Setting RMRR:</div><div class="">[    1.063587] IOMMU: Setting identity map for device 0000:00:1d.0 [0xbf0ac000 - 0xbf0bafff]</div><div class="">[    1.063623] IOMMU: Setting identity map for device 0000:00:1a.0 [0xbf0ac000 - 0xbf0bafff]</div><div class="">[    1.063639] IOMMU: Prepare 0-16MiB unity mapping for LPC</div><div class="">[    1.063649] IOMMU: Setting identity map for device 0000:00:1f.0 [0x0 - 0xffffff]</div><div class="">[   12.943351] vboxpci: IOMMU found</div><div class="">alex@homelab:~$ </div><div class="">alex@homelab:~$ ls /sys/kernel/iommu_groups/</div><div class="">0  1  2  3  4  5  6  7  8  9</div><div class="">alex@homelab:~$</div><div class=""><br class=""></div></div><div class="">It seems like PCI-Passthrough doesn’t work without IOMMU (intel_iommu=on in cmdline).</div><div class=""><br class=""></div><div><blockquote type="cite" class=""><div class="">On Jun 7, 2016, at 7:13 PM, Moshe Levi <<a href="mailto:moshele@mellanox.com" class="">moshele@mellanox.com</a>> wrote:</div><br class="Apple-interchange-newline"><div class=""><div class="WordSection1" style="page: WordSection1; font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: auto; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: auto; word-spacing: 0px; -webkit-text-stroke-width: 0px;"><div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""><span style="font-size: 11pt; font-family: Calibri, sans-serif; color: rgb(31, 73, 125);" class=""><o:p class=""> </o:p></span></div><div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""><span style="font-size: 11pt; font-family: Calibri, sans-serif; color: rgb(31, 73, 125);" class=""><o:p class=""> </o:p></span></div><div style="margin: 0in 0in 0.0001pt 0.5in; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""><b class=""><span style="font-size: 11pt; font-family: Calibri, sans-serif;" class="">From:</span></b><span style="font-size: 11pt; font-family: Calibri, sans-serif;" class=""><span class="Apple-converted-space"> </span>Chinmaya Dwibedy [<a href="mailto:ckdwibedy@gmail.com" style="color: purple; text-decoration: underline;" class="">mailto:ckdwibedy@gmail.com</a>]<span class="Apple-converted-space"> </span><br class=""><b class="">Sent:</b><span class="Apple-converted-space"> </span>Tuesday, June 07, 2016 9:22 AM<br class=""><b class="">To:</b><span class="Apple-converted-space"> </span>Moshe Levi <<a href="mailto:moshele@mellanox.com" style="color: purple; text-decoration: underline;" class="">moshele@mellanox.com</a>><br class=""><b class="">Cc:</b><span class="Apple-converted-space"> </span><a href="mailto:openstack@lists.openstack.org" style="color: purple; text-decoration: underline;" class="">openstack@lists.openstack.org</a><br class=""><b class="">Subject:</b><span class="Apple-converted-space"> </span>Re: [Openstack] Issue with assignment of Intel’s QAT Card to VM (PCI-passthrough) using openstack-mitaka release on Cent OS 7.2 host<o:p class=""></o:p></span></div><div style="margin: 0in 0in 0.0001pt 0.5in; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""><o:p class=""> </o:p></div><div class=""><div style="margin: 0in 0in 0.0001pt 0.5in; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""><o:p class=""> </o:p></div><div class=""><div style="margin: 0in 0in 0.0001pt 0.5in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">Hi Moshe,<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 0.5in; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""><o:p class=""> </o:p></div><div style="margin: 0in 0in 0.0001pt 0.5in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">Thank you for your response. Did  not find any errors in nova-compute log. Here goes the output.<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 0.5in; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""><o:p class=""> </o:p></div><div style="margin: 0in 0in 0.0001pt 0.5in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">2016-06-07 02:10:45.181 118672 INFO nova.compute.resource_tracker [req-5f0325a6-2dd8-4a25-b518-9143cc0aac0c - - - - -] Auditing locally available compute resources for node localhost<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 0.5in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">2016-06-07 02:10:45.618 118672 INFO nova.compute.resource_tracker [req-5f0325a6-2dd8-4a25-b518-9143cc0aac0c - - - - -] Total usable vcpus: 36, total allocated vcpus: 8<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 0.5in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">2016-06-07 02:10:45.618 118672 INFO nova.compute.resource_tracker [req-5f0325a6-2dd8-4a25-b518-9143cc0aac0c - - - - -] Final resource view: name=localhost phys_ram=128657MB used_ram=16896MB phys_disk=49GB used_disk=160GB total_vcpus=36 used_vcpus=8 pci_stats=[PciDevicePool(count=2,numa_node=1,product_id='0435',tags={dev_type='type-PF'},vendor_id='8086')]<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 0.5in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">2016-06-07 02:10:45.692 118672 INFO nova.compute.resource_tracker [req-5f0325a6-2dd8-4a25-b518-9143cc0aac0c - - - - -] Compute_service record updated for localhost:localhost<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 0.5in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">2016-06-07 02:11:45.182 118672 INFO nova.compute.resource_tracker [req-5f0325a6-2dd8-4a25-b518-9143cc0aac0c - - - - -] Auditing locally available compute resources for node localhost<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 0.5in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">2016-06-07 02:11:45.631 118672 INFO nova.compute.resource_tracker [req-5f0325a6-2dd8-4a25-b518-9143cc0aac0c - - - - -] Total usable vcpus: 36, total allocated vcpus: 8<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 0.5in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">2016-06-07 02:11:45.632 118672 INFO nova.compute.resource_tracker [req-5f0325a6-2dd8-4a25-b518-9143cc0aac0c - - - - -] Final resource view: name=localhost phys_ram=128657MB used_ram=16896MB phys_disk=49GB used_disk=160GB total_vcpus=36 used_vcpus=8 pci_stats=[PciDevicePool(count=2,numa_node=1,product_id='0435',tags={dev_type='type-PF'},vendor_id='8086')]<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 0.5in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">2016-06-07 02:11:45.704 118672 INFO nova.compute.resource_tracker [req-5f0325a6-2dd8-4a25-b518-9143cc0aac0c - - - - -] Compute_service record updated for localhost:localhost<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 0.5in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">2016-06-07 02:12:47.181 118672 INFO nova.compute.resource_tracker [req-5f0325a6-2dd8-4a25-b518-9143cc0aac0c - - - - -] Auditing locally available compute resources for node localhost<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 0.5in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">2016-06-07 02:12:47.632 118672 INFO nova.compute.resource_tracker [req-5f0325a6-2dd8-4a25-b518-9143cc0aac0c - - - - -] Total usable vcpus: 36, total allocated vcpus: 8<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 0.5in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">2016-06-07 02:12:47.632 118672 INFO nova.compute.resource_tracker [req-5f0325a6-2dd8-4a25-b518-9143cc0aac0c - - - - -] Final resource view: name=localhost phys_ram=128657MB used_ram=16896MB phys_disk=49GB used_disk=160GB total_vcpus=36 used_vcpus=8 pci_stats=[PciDevicePool(count=2,numa_node=1,product_id='0435',tags={dev_type='type-PF'},vendor_id='8086')]<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 0.5in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">2016-06-07 02:12:47.704 118672 INFO nova.compute.resource_tracker [req-5f0325a6-2dd8-4a25-b518-9143cc0aac0c - - - - -] Compute_service record updated for localhost:localhost<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 0.5in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">2016-06-07 02:13:48.180 118672 INFO nova.compute.resource_tracker [req-5f0325a6-2dd8-4a25-b518-9143cc0aac0c - - - - -] Auditing locally available compute resources for node localhost<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 0.5in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">2016-06-07 02:13:48.632 118672 INFO nova.compute.resource_tracker [req-5f0325a6-2dd8-4a25-b518-9143cc0aac0c - - - - -] Total usable vcpus: 36, total allocated vcpus: 8<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 0.5in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">2016-06-07 02:13:48.632 118672 INFO nova.compute.resource_tracker [req-5f0325a6-2dd8-4a25-b518-9143cc0aac0c - - - - -] Final resource view: name=localhost phys_ram=128657MB used_ram=16896MB phys_disk=49GB used_disk=160GB total_vcpus=36 used_vcpus=8 pci_stats=[PciDevicePool(count=2,numa_node=1,product_id='0435',tags={dev_type='type-PF'},vendor_id='8086')]<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 0.5in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">2016-06-07 02:13:48.701 118672 INFO nova.compute.resource_tracker [req-5f0325a6-2dd8-4a25-b518-9143cc0aac0c - - - - -] Compute_service record updated for localhost:localhost<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 0.5in; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""> <o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 0.5in; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""> <o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 0.5in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">The below output of nova-scheduler log says that,  the PciPassthroughFilter has been passed.<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">The output below say that Filter PciPassthroughFilter returned 0 hosts which mean it didn’t pass  <o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 0.5in; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""> <o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 0.5in; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""> <o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 0.5in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">2016-06-07 02:12:26.121 130792 INFO nova.service [-] Starting scheduler node (version 13.0.0-1.el7)<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 0.5in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">2016-06-07 02:13:12.449 130792 INFO nova.scheduler.host_manager [req-3500a771-cfb2-4b0a-95c4-bf05542a210a - - - - -] Successfully synced instances from host 'localhost'.<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 0.5in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">2016-06-07 02:14:09.455 130792 WARNING nova.scheduler.host_manager [req-9ab12b26-5e41-4365-b68c-76d177437434 266f5859848e4f39b9725203dda5c3f2 4bc608763cee41d9a8df26d3ef919825 - - -] Host localhost has more disk space than database expected (25 GB > -111 GB)<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 0.5in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">2016-06-07 02:14:09.457 130792 INFO nova.filters [req-9ab12b26-5e41-4365-b68c-76d177437434 266f5859848e4f39b9725203dda5c3f2 4bc608763cee41d9a8df26d3ef919825 - - -] Filter PciPassthroughFilter returned 0 hosts<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 0.5in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">2016-06-07 02:14:09.457 130792 INFO nova.filters [req-9ab12b26-5e41-4365-b68c-76d177437434 266f5859848e4f39b9725203dda5c3f2 4bc608763cee41d9a8df26d3ef919825 - - -] Filtering removed all hosts for the request with instance ID '7f108c1b-7df5-4336-925e-60e202f38dfc'. Filter results: ['RetryFilter: (start: 1, end: 1)', 'AvailabilityZoneFilter: (start: 1, end: 1)', 'RamFilter: (start: 1, end: 1)', 'ComputeFilter: (start: 1, end: 1)', 'ComputeCapabilitiesFilter: (start: 1, end: 1)', 'ImagePropertiesFilter: (start: 1, end: 1)', 'CoreFilter: (start: 1, end: 1)', 'PciPassthroughFilter: (start: 1, end: 0)']<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 0.5in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">2016-06-07 02:15:17.430 130792 INFO nova.scheduler.host_manager [req-2423445e-f1f1-4d75-9ce8-6d874ea9b27e - - - - -] Successfully synced instances from host 'localhost'.<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 0.5in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">~<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 0.5in; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""> <o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 0.5in; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""> <o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 0.5in; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""> <o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 0.5in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">Regards,<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 0.5in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">Chinmaya<o:p class=""></o:p></div></div></div><div class=""><div style="margin: 0in 0in 0.0001pt 0.5in; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""><o:p class=""> </o:p></div><div class=""><div style="margin: 0in 0in 0.0001pt 0.5in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">On Tue, Jun 7, 2016 at 11:27 AM, Moshe Levi <<a href="mailto:moshele@mellanox.com" target="_blank" style="color: purple; text-decoration: underline;" class="">moshele@mellanox.com</a>> wrote:<o:p class=""></o:p></div><blockquote style="border-style: none none none solid; border-left-color: rgb(204, 204, 204); border-left-width: 1pt; padding: 0in 0in 0in 6pt; margin-left: 4.8pt; margin-right: 0in;" class=""><div class=""><div class=""><div style="margin: 0in 0in 0.0001pt 0.5in; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""><span style="font-size: 11pt; font-family: Calibri, sans-serif; color: rgb(31, 73, 125);" class="">Can you look if you have errors in the nova-computes log?</span><o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 0.5in; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""><span style="font-size: 11pt; font-family: Calibri, sans-serif; color: rgb(31, 73, 125);" class=""> </span><o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 0.5in; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""><span style="font-size: 11pt; font-family: Calibri, sans-serif; color: rgb(31, 73, 125);" class="">Also check if you passed the PciPassthroughFilter in the nova-scheduler log</span><o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 0.5in; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""><span style="font-size: 11pt; font-family: Calibri, sans-serif; color: rgb(31, 73, 125);" class=""> </span><o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 0.5in; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""><span style="font-size: 11pt; font-family: Calibri, sans-serif; color: rgb(31, 73, 125);" class=""> </span><o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""><b class=""><span style="font-size: 11pt; font-family: Calibri, sans-serif;" class="">From:</span></b><span style="font-size: 11pt; font-family: Calibri, sans-serif;" class=""><span class="Apple-converted-space"> </span>Chinmaya Dwibedy [mailto:<a href="mailto:ckdwibedy@gmail.com" target="_blank" style="color: purple; text-decoration: underline;" class="">ckdwibedy@gmail.com</a>]<span class="Apple-converted-space"> </span><br class=""><b class="">Sent:</b><span class="Apple-converted-space"> </span>Tuesday, June 07, 2016 8:29 AM<br class=""><b class="">To:</b><span class="Apple-converted-space"> </span><a href="mailto:openstack@lists.openstack.org" target="_blank" style="color: purple; text-decoration: underline;" class="">openstack@lists.openstack.org</a><br class=""><b class="">Subject:</b><span class="Apple-converted-space"> </span>[Openstack] Issue with assignment of Intel’s QAT Card to VM (PCI-passthrough) using openstack-mitaka release on Cent OS 7.2 host</span><o:p class=""></o:p></div><div class=""><div class=""><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""> <o:p class=""></o:p></div><div class=""><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""> <o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">Hi All,<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""> <o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">I want the Intel’s QAT Card to be used for PCI Passthrough device. But to implement PCI-passthrough, when I launch a VM using a flavor configured for passthrough, it  gives the below errors in nova-conductor.log and instance goes into Error state. Note that, I have installed<span class="Apple-converted-space"> </span><o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">openstack-mitaka release on host (Cent OS 7.2).  Can anyone please have a look into the below stated and let me know if I have missed anything or done anything wrong?  Thank you in advance for your support and time.<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""> <o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""> <o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">When I create an instance, this error is output in nova-conductor.log.<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""> <o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">2016-06-06 05:42:42.005 4898 WARNING nova.scheduler.utils [req-94484e27-1998-4e3a-8aa8-06805613ae65 266f5859848e4f39b9725203dda5c3f2 4bc608763cee41d9a8df26d3ef919825 - - -] Failed to compute_task_build_instances: No valid host was found. There are not enough hosts available.<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">Traceback (most recent call last):<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""> <o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">  File "/usr/lib/python2.7/site-packages/oslo_messaging/rpc/server.py", line 150, in inner<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">    return func(*args, **kwargs)<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""> <o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">  File "/usr/lib/python2.7/site-packages/nova/scheduler/manager.py", line 104, in select_destinations<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">    dests = self.driver.select_destinations(ctxt, spec_obj)<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""> <o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">  File "/usr/lib/python2.7/site-packages/nova/scheduler/filter_scheduler.py", line 74, in select_destinations<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">    raise exception.NoValidHost(reason=reason)<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""> <o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""><b class="">NoValidHost: No valid host was found. There are not enough hosts available.</b><o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""> <o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">2016-06-06 05:42:42.006 4898 WARNING nova.scheduler.utils [req-94484e27-1998-4e3a-8aa8-06805613ae65 266f5859848e4f39b9725203dda5c3f2 4bc608763cee41d9a8df26d3ef919825 - - -] [instance: f1db1cce-0777-4f0e-a141-4b278c2d98b4] Setting instance to ERROR state<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""> <o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">In order to assign Intel’s QAT  Card to VMs , followed below procedures<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""> <o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">Using the PCI bus ID, found out the product id<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""> <o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""> <o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">1)<span style="font-size: 7pt;" class="">     <span class="Apple-converted-space"> </span></span>[root@localhost ~(keystone_admin)]#  lspci -nn | grep QAT<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif; text-indent: 0.25in;" class="">83:00.0 Co-processor [0b40]: Intel Corporation DH895XCC Series QAT [8086:0435]<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif; text-indent: 0.25in;" class="">88:00.0 Co-processor [0b40]: Intel Corporation DH895XCC Series QAT [8086:0435]<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif; text-indent: 0.25in;" class=""> <o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif; text-indent: 0.25in;" class=""> <o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif; text-indent: 0.25in;" class="">[root@localhost ~(keystone_admin)]# cat /sys/bus/pci/devices/0000:83:00.0/device<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif; text-indent: 0.25in;" class="">0x0435<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif; text-indent: 0.25in;" class="">[root@localhost ~(keystone_admin)]# cat /sys/bus/pci/devices/0000:88:00.0/device<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif; text-indent: 0.25in;" class="">0x0435<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif; text-indent: 0.25in;" class="">[root@localhost ~(keystone_admin)]#<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif; text-indent: 0.25in;" class=""> <o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""> <o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif; text-indent: 0.25in;" class="">[root@localhost ~(keystone_admin)]#<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif; text-indent: 0.25in;" class=""> <o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">2)<span style="font-size: 7pt;" class="">     <span class="Apple-converted-space"> </span></span>Configured the below stated in nova.conf<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""> <o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""> <o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">pci_alias = {"name": "QuickAssist", "product_id": "0435", "vendor_id": "8086", "device_type": "type-PCI"}<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">pci_passthrough_whitelist =  [{"vendor_id":"8086","product_id":"0435"}]<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""> <o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">scheduler_default_filters=RetryFilter,AvailabilityZoneFilter,RamFilter,ComputeFilter,ComputeCapabilitiesFilter,ImagePropertiesFilter,CoreFilter,<b class="">PciPassthroughFilter</b><o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">scheduler_available_filters=nova.scheduler.filters.all_filter<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""><b class=""> </b><o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">3)<span style="font-size: 7pt;" class="">     <span class="Apple-converted-space"> </span></span>service openstack-nova-api restart<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">4)<span style="font-size: 7pt;" class="">     <span class="Apple-converted-space"> </span></span>systemctl  restart  openstack-nova-compute<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""><b class=""> </b><o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">5)<span style="font-size: 7pt;" class="">     <span class="Apple-converted-space"> </span></span>[root@localhost ~(keystone_admin)]# nova flavor-list<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">+--------------------------------------+-----------------+-----------+------+-----------+------+-------+-------------+-----------+<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">| ID                                   | Name            | Memory_MB | Disk | Ephemeral | Swap | VCPUs | RXTX_Factor | Is_Public |<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">+--------------------------------------+-----------------+-----------+------+-----------+------+-------+-------------+-----------+<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">| 1                                    | m1.tiny         | 512       | 1    | 0         |      | 1     | 1.0         | True      |<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">| 2                                    | m1.small        | 2048      | 20   | 0         |      | 1     | 1.0         | True      |<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">| 3                                    | m1.medium       | 4096      | 40   | 0         |      | 2     | 1.0         | True      |<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">| 4                                    | m1.large        | 8192      | 80   | 0         |      | 4     | 1.0         | True      |<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">+--------------------------------------+-----------------+-----------+------+-----------+------+-------+-------------+-----------+<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">[root@localhost ~(keystone_admin)]#<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""> <o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">6)<span style="font-size: 7pt;" class="">     <span class="Apple-converted-space"> </span></span>nova flavor-key 4 set "pci_passthrough:alias"="QuickAssist:1"<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""> <o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">7)<span style="font-size: 7pt;" class="">     <span class="Apple-converted-space"> </span></span>[root@localhost ~(keystone_admin)]# nova flavor-show 4<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">+----------------------------+--------------------------------------------+<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">| Property                   | Value                                      |<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">+----------------------------+--------------------------------------------+<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">| OS-FLV-DISABLED:disabled   | False                                      |<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">| OS-FLV-EXT-DATA:ephemeral  | 0                                          |<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">| disk                       | 80                                         |<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">| extra_specs                | {"pci_passthrough:alias": "QuickAssist:1"} |<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">| id                         | 4                                          |<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">| name                       | m1.large                                   |<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">| os-flavor-access:is_public | True                                       |<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">| ram                        | 8192                                       |<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">| rxtx_factor                | 1.0                                        |<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">| swap                       |                                            |<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">| vcpus                      | 4                                          |<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">+----------------------------+--------------------------------------------+<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">[root@localhost ~(keystone_admin)]#<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""> <o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""> <o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""> <o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">8)<span style="font-size: 7pt;" class="">     <span class="Apple-converted-space"> </span></span>[root@localhost ~(keystone_admin)]# nova boot --flavor 4 --key_name oskey1 --image bc859dc5-103b-428b-814f-d36e59009454 --nic net-id=e2ca118d-1f25-47de-8524-bb2a2635c4be --user-data=./myfile.txt TEST<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">WARNING: Option "--key_name" is deprecated; use "--key-name"; this option will be removed in novaclient 3.3.0.<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">+--------------------------------------+--------------------------------------------------------------------------+<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">| Property                             | Value                                                                    |<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">+--------------------------------------+--------------------------------------------------------------------------+<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">| OS-DCF:diskConfig                    | MANUAL                                                                   |<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">| OS-EXT-AZ:availability_zone          |                                                                          |<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">| OS-EXT-SRV-ATTR:host                 | -                                                                        |<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">| OS-EXT-SRV-ATTR:hypervisor_hostname  | -                                                                        |<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">| OS-EXT-SRV-ATTR:instance_name        | instance-00000026                                                        |<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">| OS-EXT-STS:power_state               | 0                                                                        |<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">| OS-EXT-STS:task_state                | scheduling                                                               |<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">| OS-EXT-STS:vm_state                  | building                                                                 |<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">| OS-SRV-USG:launched_at               | -                                                                        |<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">| OS-SRV-USG:terminated_at             | -                                                                        |<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">| accessIPv4                           |                                                                          |<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">| accessIPv6                           |                                                                          |<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">| adminPass                            | 7ZKdcaQut7gu                                                             |<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">| config_drive                         |                                                                          |<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">| created                              | 2016-06-06T09:42:41Z                                                     |<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">| flavor                               | m1.large (4)                                                             |<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">| hostId                               |                                                                          |<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">| id                                   | f1db1cce-0777-4f0e-a141-4b278c2d98b4                                     |<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">| image                                | Benu-vMEG-Dev-M.0.0.0-160525-1347 (bc859dc5-103b-428b-814f-d36e59009454) |<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">| key_name                             | oskey1                                                                   |<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">| metadata                             | {}                                                                       |<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">| name                                 | TEST                                                                     |<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">| os-extended-volumes:volumes_attached | []                                                                       |<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">| progress                             | 0                                                                        |<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">| security_groups                      | default                                                                  |<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">| status                               | BUILD                                                                    |<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">| tenant_id                            | 4bc608763cee41d9a8df26d3ef919825                                         |<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">| updated                              | 2016-06-06T09:42:41Z                                                     |<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">| user_id                              | 266f5859848e4f39b9725203dda5c3f2                                         |<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">+--------------------------------------+--------------------------------------------------------------------------+<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">[root@ localhost ~(keystone_admin)]#<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""> <o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">.<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""> <o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""> <o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">9)<span style="font-size: 7pt;" class="">     <span class="Apple-converted-space"> </span></span>MariaDB [nova]> select * from pci_devices;<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">+---------------------+---------------------+------------+---------+----+-----------------+--------------+------------+-----------+----------+------------------+-----------------+-----------+------------+---------------+------------+-----------+-------------+<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">| created_at          | updated_at          | deleted_at | deleted | id | compute_node_id | address      | product_id | vendor_id | dev_type | dev_id           | label           | status    | extra_info | instance_uuid | request_id | numa_node | parent_addr |<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">+---------------------+---------------------+------------+---------+----+-----------------+--------------+------------+-----------+----------+------------------+-----------------+-----------+------------+---------------+------------+-----------+-------------+<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">| 2016-06-03 12:01:45 | 2016-06-06 09:46:35 | NULL       |       0 |  1 |               1 | 0000:83:00.0 | 0435       | 8086      | type-PF  | pci_0000_83_00_0 | label_8086_0435 | available | {}         | NULL          | NULL       |         1 | NULL        |<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">| 2016-06-03 12:01:45 | 2016-06-06 09:46:35 | NULL       |       0 |  2 |               1 | 0000:88:00.0 | 0435       | 8086      | type-PF  | pci_0000_88_00_0 | label_8086_0435 | available | {}         | NULL          | NULL       |         1 | NULL        |<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">+---------------------+---------------------+------------+---------+----+-----------------+--------------+------------+-----------+----------+------------------+-----------------+-----------+------------+---------------+------------+-----------+-------------+<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">2 rows in set (0.00 sec)<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""> <o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">MariaDB [nova]><o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""> <o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">[root@localhost ~(keystone_admin)]# dmesg | grep -e DMAR -e IOMMU<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">[    0.000000] ACPI: DMAR 000000007b69a000 00130 (v01 INTEL   S2600WT 00000001 INTL 20091013)<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">[    0.128779] dmar: IOMMU 0: reg_base_addr fbffc000 ver 1:0 cap d2078c106f0466 ecap f020de<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">[    0.128785] dmar: IOMMU 1: reg_base_addr c7ffc000 ver 1:0 cap d2078c106f0466 ecap f020de<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">[    0.128911] IOAPIC id 10 under DRHD base  0xfbffc000 IOMMU 0<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">[    0.128912] IOAPIC id 8 under DRHD base  0xc7ffc000 IOMMU 1<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">[    0.128913] IOAPIC id 9 under DRHD base  0xc7ffc000 IOMMU 1<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">[root@ localhost ~(keystone_admin)]#<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""> <o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">[root@localhost ~(keystone_admin)]# lscpu | grep Virtualization<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">Virtualization:        VT-x<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">[root@localhost ~(keystone_admin)]#<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""> <o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">[root@localhost ~(keystone_admin)]# nova service-list<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">+----+------------------+--------+----------+---------+-------+----------------------------+-----------------+<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">| Id | Binary           | Host   | Zone     | Status  | State | Updated_at                 | Disabled Reason |<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">+----+------------------+--------+----------+---------+-------+----------------------------+-----------------+<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">| 9  | nova-cert        | localhost | internal | enabled | up    | 2016-06-07T04:58:28.000000 | -               |<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">| 10 | nova-consoleauth | localhost | internal | enabled | up    | 2016-06-07T04:58:30.000000 | -               |<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">| 11 | nova-scheduler   | localhost | internal | enabled | up    | 2016-06-07T04:58:30.000000 | -               |<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">| 12 | nova-conductor   | localhost | internal | enabled | up    | 2016-06-07T04:58:29.000000 | -               |<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">| 18 | nova-compute     | localhost | nova     | enabled | up    | 2016-06-07T04:58:29.000000 | -               |<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">+----+------------------+--------+----------+---------+-------+----------------------------+-----------------+<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">[root@localhost ~(keystone_admin)]#<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""> <o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""> <o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">[root@localhost ~(keystone_admin)]# nova host-list<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">+-----------+-------------+----------+<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">| host_name | service     | zone     |<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">+-----------+-------------+----------+<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">| localhost    | cert        | internal |<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">| localhost    | consoleauth | internal |<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">| localhost    | scheduler   | internal |<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">| localhost    | conductor   | internal |<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">| localhost    | compute     | nova     |<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">+-----------+-------------+----------+<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">[root@localhost ~(keystone_admin)]#<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""> <o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">[root@localhost ~(keystone_admin)]#  neutron agent-list<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">+--------------------------------------+--------------------+--------+-------------------+-------+----------------+---------------------------+<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">| id                                   | agent_type         | host   | availability_zone | alive | admin_state_up | binary                    |<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">+--------------------------------------+--------------------+--------+-------------------+-------+----------------+---------------------------+<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">| 0e81d20f-b41d-490a-966a-7171880963b9 | Metadata agent     | localhost |                   | :-)   | True           | neutron-metadata-agent    |<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">| 2ccb17dc-35d8-41cc-8e5d-83496a7e26b0 | Metering agent     | localhost |                   | :-)   | True           | neutron-metering-agent    |<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">| 6fef2fa7-2479-4d45-889c-b38b854ac3e3 | DHCP agent         | localhost | nova              | :-)   | True           | neutron-dhcp-agent        |<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">| 87c976cc-e3cd-4818-aa4f-ee599bf812b1 | L3 agent           | localhost | nova              | :-)   | True           | neutron-l3-agent          |<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">| aeb4f399-2281-4ad3-b880-802812910ec8 | Open vSwitch agent | localhost |                   | :-)   | True           | neutron-openvswitch-agent |<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">+--------------------------------------+--------------------+--------+-------------------+-------+----------------+---------------------------+<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">[root@localhost ~(keystone_admin)]#<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""> <o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">[root@localhost ~(keystone_admin)]# nova hypervisor-list<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">+----+---------------------+-------+---------+<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">| ID | Hypervisor hostname | State | Status  |<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">+----+---------------------+-------+---------+<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">| 1  | localhost              | up    | enabled |<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">+----+---------------------+-------+---------+<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">[root@localhost ~(keystone_admin)]#<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""> <o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">[root@localhost ~(keystone_admin)]# grep ^virt_type /etc/nova/nova.conf<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">virt_type=kvm<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">[root@localhost ~(keystone_admin)]#<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""> <o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">[root@localhost ~(keystone_admin)]# grep ^compute_driver /etc/nova/nova.conf<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">compute_driver=libvirt.LibvirtDriver<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">[root@localhost ~(keystone_admin)]#<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">[root@localhost ~(keystone_admin)]#<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""> <o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">Regards,<o:p class=""></o:p></div><div style="margin: 0in 0in 0.0001pt 1in; font-size: 12pt; font-family: 'Times New Roman', serif;" class="">Chinmaya<o:p class=""></o:p></div></div></div></div></div></div></blockquote></div><div style="margin: 0in 0in 0.0001pt 0.5in; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""><o:p class=""> </o:p></div></div></div><span style="font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: auto; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: auto; word-spacing: 0px; -webkit-text-stroke-width: 0px; float: none; display: inline !important;" class="">_______________________________________________</span><br style="font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: auto; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: auto; word-spacing: 0px; -webkit-text-stroke-width: 0px;" class=""><span style="font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: auto; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: auto; word-spacing: 0px; -webkit-text-stroke-width: 0px; float: none; display: inline !important;" class="">Mailing list:<span class="Apple-converted-space"> </span></span><a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack" style="color: purple; text-decoration: underline; font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: auto; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: auto; word-spacing: 0px; -webkit-text-stroke-width: 0px;" class="">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack</a><br style="font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: auto; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: auto; word-spacing: 0px; -webkit-text-stroke-width: 0px;" class=""><span style="font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: auto; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: auto; word-spacing: 0px; -webkit-text-stroke-width: 0px; float: none; display: inline !important;" class="">Post to     :<span class="Apple-converted-space"> </span></span><a href="mailto:openstack@lists.openstack.org" style="color: purple; text-decoration: underline; font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: auto; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: auto; word-spacing: 0px; -webkit-text-stroke-width: 0px;" class="">openstack@lists.openstack.org</a><br style="font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: auto; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: auto; word-spacing: 0px; -webkit-text-stroke-width: 0px;" class=""><span style="font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: auto; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: auto; word-spacing: 0px; -webkit-text-stroke-width: 0px; float: none; display: inline !important;" class="">Unsubscribe :<span class="Apple-converted-space"> </span></span><a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack" style="color: purple; text-decoration: underline; font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: auto; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: auto; word-spacing: 0px; -webkit-text-stroke-width: 0px;" class="">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack</a><br style="font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: auto; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: auto; word-spacing: 0px; -webkit-text-stroke-width: 0px;" class=""></div></blockquote></div><br class=""><div class="">
<span class="Apple-style-span" style="border-collapse: separate; font-variant-ligatures: normal; font-variant-position: normal; font-variant-numeric: normal; font-variant-alternates: normal; font-variant-east-asian: normal; line-height: normal; border-spacing: 0px;"><div style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space; " class=""><span class="Apple-style-span" style="border-collapse: separate; color: rgb(0, 0, 0); font-family: Helvetica; font-style: normal; font-variant: normal; font-weight: normal; letter-spacing: normal; line-height: normal; orphans: 2; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; border-spacing: 0px; -webkit-text-decorations-in-effect: none; -webkit-text-size-adjust: auto; -webkit-text-stroke-width: 0px;  "><div style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space; " class=""><div class="">--</div><div class="">Alexey</div><div class=""><a href="mailto:fr487x@gmail.com" class="">fr487x@gmail.com</a></div><div class=""><br class=""></div></div></span><br class="Apple-interchange-newline"></div></span><br class="Apple-interchange-newline"><br class="Apple-interchange-newline">
</div>
<br class=""></body></html>