<div dir="ltr">Just for reference this is resolved.  After researching this message the following helped to track it down:<div><br></div><div>On the controller, issue: <b>nova-status upgrade check</b></div><div><br></div><div><br></div><div>This produced a warning about resources.</div><div><br></div><div>After tracking this down, looked back in the /etc/nova/nova.conf on the controller and all compute nodes; under [placement] the following line:</div><div><br></div><div><b>os_region_name = RegionOne</b> was there, however from the default config, the following was also there: <b>os_region_name = openstack</b></div><div><br></div><div><span style="background-color:rgb(238,238,238)"><font color="#ff0000">comment out the os_region_name = openstack</font></span> if using the default nova.conf</div><div><br></div><div><br></div><div><br></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Wed, Jun 21, 2017 at 2:51 PM, Alex Evonosky <span dir="ltr"><<a href="mailto:alex.evonosky@gmail.com" target="_blank">alex.evonosky@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">for some reason, it appears to be a filter issue:<div><br></div><div><div>2017-06-21 14:49:00.976 18775 INFO nova.filters [req-883f8bb9-bfce-42fc-897b-<wbr>c13558c3593a 7e7176b79f94483c8b802a7004466e<wbr>66 664dc5e6023140eca0faeb2d0ecc31<wbr>c2 - - -] Filter RetryFilter returned 0 hosts</div><div>2017-06-21 14:49:00.977 18775 INFO nova.filters [req-883f8bb9-bfce-42fc-897b-<wbr>c13558c3593a 7e7176b79f94483c8b802a7004466e<wbr>66 664dc5e6023140eca0faeb2d0ecc31<wbr>c2 - - -] Filtering removed all hosts for the request with instance ID '195dd456-043a-450d-9185-<wbr>eefefc829bbe'. Filter results: ['RetryFilter: (start: 0, end: 0)']</div><div><br></div></div><div><br></div><div><br></div><div>Both compute2 and compute3 nodes are using dedicated physical servers..</div><div><br></div><div>Is this a common issue?  Just trying to test ocata and have yet launched an instance.</div><div><br></div><div>Thank you.</div><div><br></div><div><br></div></div><div class="HOEnZb"><div class="h5"><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Jun 20, 2017 at 8:36 PM, Alex Evonosky <span dir="ltr"><<a href="mailto:alex.evonosky@gmail.com" target="_blank">alex.evonosky@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Chris-<div><br></div><div>I enabled debugging and also brought up my compute node1 (which I admin down ealier):</div><div><br></div><div><br></div><div><div>2017-06-20 20:33:35.438 18169 DEBUG oslo_messaging._drivers.amqpdr<wbr>iver [-] received message msg_id: dd5f438571494a8499980c12a2a901<wbr>16 reply to reply_137c1eb50cf64fceb71cecc3<wbr>36b4773d __call__ /usr/lib/python2.7/dist-packag<wbr>es/oslo_messaging/_drivers/<wbr>amqpdriver.py:194</div><div>2017-06-20 20:33:36.986 18169 DEBUG oslo_concurrency.lockutils [req-ac2c8b22-0284-46b1-a90a-1<wbr>126fae4e550 7e7176b79f94483c8b802a7004466e<wbr>66 664dc5e6023140eca0faeb2d0ecc31<wbr>c2 - - -] Lock "(u'openstack-compute1', u'openstack-compute1')" acquired by "nova.scheduler.host_manager._<wbr>locked_update" :: waited 0.000s inner /usr/lib/python2.7/dist-packag<wbr>es/oslo_concurrency/lockutils.<wbr>py:273</div><div>2017-06-20 20:33:37.004 18169 DEBUG nova.scheduler.host_manager [req-ac2c8b22-0284-46b1-a90a-1<wbr>126fae4e550 7e7176b79f94483c8b802a7004466e<wbr>66 664dc5e6023140eca0faeb2d0ecc31<wbr>c2 - - -] Update host state from compute node: ComputeNode(cpu_allocation_rat<wbr>io=16.0,cpu_info='{"vendor": "AMD", "model": "cpu64-rhel6", "arch": "x86_64", "features": ["pge", "avx", "clflush", "sep", "syscall", "sse4a", "msr", "xsave", "cmov", "nx", "pat", "lm", "tsc", "3dnowprefetch", "fpu", "fxsr", "sse4.1", "pae", "sse4.2", "pclmuldq", "cmp_legacy", "vme", "mmx", "osxsave", "cx8", "mce", "fxsr_opt", "cr8legacy", "ht", "pse", "pni", "abm", "popcnt", "mca", "apic", "sse", "mmxext", "lahf_lm", "rdtscp", "aes", "sse2", "hypervisor", "misalignsse", "ssse3", "de", "cx16", "pse36", "mtrr", "x2apic"], "topology": {"cores": 2, "cells": 1, "threads": 1, "sockets": 1}}',created_at=2017-06-21T00:<wbr>18:37Z,current_workload=0,dele<wbr>ted=False,deleted_at=None,disk<wbr>_allocation_ratio=1.0,disk_<wbr>available_least=6,free_disk_<wbr>gb=12,free_ram_mb=2495,host='<wbr>openstack-compute1',host_ip=<wbr>10.10.10.8,hypervisor_hostname<wbr>='openstack-compute1',hypervis<wbr>or_type='QEMU',hypervisor_<wbr>version=2008000,id=9,local_gb=<wbr>12,local_gb_used=5,memory_mb=<wbr>3007,memory_mb_used=626,<wbr>metrics='[]',numa_topology='{"<wbr>nova_object.version": "1.2", "nova_object.changes": ["cells"], "<a href="http://nova_object.name" target="_blank">nova_object.name</a>": "NUMATopology", "nova_object.data": {"cells": [{"nova_object.version": "1.2", "nova_object.changes": ["cpu_usage", "memory_usage", "cpuset", "mempages", "pinned_cpus", "memory", "siblings", "id"], "<a href="http://nova_object.name" target="_blank">nova_object.name</a>": "NUMACell", "nova_object.data": {"cpu_usage": 0, "memory_usage": 0, "cpuset": [0, 1], "pinned_cpus": [], "siblings": [], "memory": 3007, "mempages": [{"nova_object.version": "1.1", "nova_object.changes": ["total", "used", "reserved", "size_kb"], "<a href="http://nova_object.name" target="_blank">nova_object.name</a>": "NUMAPagesTopology", "nova_object.data": {"used": 0, "total": 769991, "reserved": 0, "size_kb": 4}, "nova_object.namespace": "nova"}, {"nova_object.version": "1.1", "nova_object.changes": ["total", "used", "reserved", "size_kb"], "<a href="http://nova_object.name" target="_blank">nova_object.name</a>": "NUMAPagesTopology", "nova_object.data": {"used": 0, "total": 0, "reserved": 0, "size_kb": 2048}, "nova_object.namespace": "nova"}], "id": 0}, "nova_object.namespace": "nova"}]}, "nova_object.namespace": "nova"}',pci_device_pools=PciD<wbr>evicePoolList,ram_allocation_<wbr>ratio=1.5,running_vms=0,<wbr>service_id=None,stats={},<wbr>supported_hv_specs=[HVSpec,HVS<wbr>pec],updated_at=2017-06-21T00:<wbr>32:52Z,uuid=9fd1b365-5ff9-<wbr>4f75-a771-777fbe7a54ad,vcpus=<wbr>2,vcpus_used=0) _locked_update /usr/lib/python2.7/dist-packag<wbr>es/nova/scheduler/host_manager<wbr>.py:168</div><div>2017-06-20 20:33:37.209 18169 DEBUG nova.scheduler.host_manager [req-ac2c8b22-0284-46b1-a90a-1<wbr>126fae4e550 7e7176b79f94483c8b802a7004466e<wbr>66 664dc5e6023140eca0faeb2d0ecc31<wbr>c2 - - -] Update host state with aggregates: [] _locked_update /usr/lib/python2.7/dist-packag<wbr>es/nova/scheduler/host_manager<wbr>.py:171</div><div>2017-06-20 20:33:37.217 18169 DEBUG nova.scheduler.host_manager [req-ac2c8b22-0284-46b1-a90a-1<wbr>126fae4e550 7e7176b79f94483c8b802a7004466e<wbr>66 664dc5e6023140eca0faeb2d0ecc31<wbr>c2 - - -] Update host state with service dict: {'binary': u'nova-compute', 'deleted': False, 'created_at': datetime.datetime(2017, 5, 17, 3, 26, 12, tzinfo=<iso8601.Utc>), 'updated_at': datetime.datetime(2017, 6, 21, 0, 33, 34, tzinfo=<iso8601.Utc>), 'report_count': 96355, 'topic': u'compute', 'host': u'openstack-compute1', 'version': 16, 'disabled': False, 'forced_down': False, 'last_seen_up': datetime.datetime(2017, 6, 21, 0, 33, 34, tzinfo=<iso8601.Utc>), 'deleted_at': None, 'disabled_reason': None, 'id': 7} _locked_update /usr/lib/python2.7/dist-packag<wbr>es/nova/scheduler/host_manager<wbr>.py:174</div><div>2017-06-20 20:33:37.218 18169 DEBUG nova.scheduler.host_manager [req-ac2c8b22-0284-46b1-a90a-1<wbr>126fae4e550 7e7176b79f94483c8b802a7004466e<wbr>66 664dc5e6023140eca0faeb2d0ecc31<wbr>c2 - - -] Update host state with instances: {} _locked_update /usr/lib/python2.7/dist-packag<wbr>es/nova/scheduler/host_manager<wbr>.py:177</div><div>2017-06-20 20:33:37.219 18169 DEBUG oslo_concurrency.lockutils [req-ac2c8b22-0284-46b1-a90a-1<wbr>126fae4e550 7e7176b79f94483c8b802a7004466e<wbr>66 664dc5e6023140eca0faeb2d0ecc31<wbr>c2 - - -] Lock "(u'openstack-compute1', u'openstack-compute1')" released by "nova.scheduler.host_manager._<wbr>locked_update" :: held 0.232s inner /usr/lib/python2.7/dist-packag<wbr>es/oslo_concurrency/lockutils.<wbr>py:285</div><div>2017-06-20 20:33:37.219 18169 DEBUG nova.filters [req-ac2c8b22-0284-46b1-a90a-1<wbr>126fae4e550 7e7176b79f94483c8b802a7004466e<wbr>66 664dc5e6023140eca0faeb2d0ecc31<wbr>c2 - - -] Starting with 1 host(s) get_filtered_objects /usr/lib/python2.7/dist-packag<wbr>es/nova/filters.py:70</div><div>2017-06-20 20:33:37.238 18169 DEBUG nova.scheduler.filters.retry_f<wbr>ilter [req-ac2c8b22-0284-46b1-a90a-1<wbr>126fae4e550 7e7176b79f94483c8b802a7004466e<wbr>66 664dc5e6023140eca0faeb2d0ecc31<wbr>c2 - - -] Re-scheduling is disabled host_passes /usr/lib/python2.7/dist-packag<wbr>es/nova/scheduler/filters/<wbr>retry_filter.py:34</div><div>2017-06-20 20:33:37.240 18169 DEBUG nova.filters [req-ac2c8b22-0284-46b1-a90a-1<wbr>126fae4e550 7e7176b79f94483c8b802a7004466e<wbr>66 664dc5e6023140eca0faeb2d0ecc31<wbr>c2 - - -] Filter RetryFilter returned 1 host(s) get_filtered_objects /usr/lib/python2.7/dist-packag<wbr>es/nova/filters.py:104</div><div>2017-06-20 20:33:37.268 18169 DEBUG nova.filters [req-ac2c8b22-0284-46b1-a90a-1<wbr>126fae4e550 7e7176b79f94483c8b802a7004466e<wbr>66 664dc5e6023140eca0faeb2d0ecc31<wbr>c2 - - -] Filter AvailabilityZoneFilter returned 1 host(s) get_filtered_objects /usr/lib/python2.7/dist-packag<wbr>es/nova/filters.py:104</div><div>2017-06-20 20:33:37.270 18169 DEBUG nova.filters [req-ac2c8b22-0284-46b1-a90a-1<wbr>126fae4e550 7e7176b79f94483c8b802a7004466e<wbr>66 664dc5e6023140eca0faeb2d0ecc31<wbr>c2 - - -] Filter RamFilter returned 1 host(s) get_filtered_objects /usr/lib/python2.7/dist-packag<wbr>es/nova/filters.py:104</div><div>2017-06-20 20:33:37.297 18169 DEBUG nova.filters [req-ac2c8b22-0284-46b1-a90a-1<wbr>126fae4e550 7e7176b79f94483c8b802a7004466e<wbr>66 664dc5e6023140eca0faeb2d0ecc31<wbr>c2 - - -] Filter DiskFilter returned 1 host(s) get_filtered_objects /usr/lib/python2.7/dist-packag<wbr>es/nova/filters.py:104</div><div>2017-06-20 20:33:37.348 18169 DEBUG nova.filters [req-ac2c8b22-0284-46b1-a90a-1<wbr>126fae4e550 7e7176b79f94483c8b802a7004466e<wbr>66 664dc5e6023140eca0faeb2d0ecc31<wbr>c2 - - -] Filter ComputeFilter returned 1 host(s) get_filtered_objects /usr/lib/python2.7/dist-packag<wbr>es/nova/filters.py:104</div><div>2017-06-20 20:33:37.362 18169 DEBUG nova.filters [req-ac2c8b22-0284-46b1-a90a-1<wbr>126fae4e550 7e7176b79f94483c8b802a7004466e<wbr>66 664dc5e6023140eca0faeb2d0ecc31<wbr>c2 - - -] Filter ComputeCapabilitiesFilter returned 1 host(s) get_filtered_objects /usr/lib/python2.7/dist-packag<wbr>es/nova/filters.py:104</div><div>2017-06-20 20:33:37.363 18169 DEBUG nova.filters [req-ac2c8b22-0284-46b1-a90a-1<wbr>126fae4e550 7e7176b79f94483c8b802a7004466e<wbr>66 664dc5e6023140eca0faeb2d0ecc31<wbr>c2 - - -] Filter ImagePropertiesFilter returned 1 host(s) get_filtered_objects /usr/lib/python2.7/dist-packag<wbr>es/nova/filters.py:104</div><div>2017-06-20 20:33:37.365 18169 DEBUG nova.filters [req-ac2c8b22-0284-46b1-a90a-1<wbr>126fae4e550 7e7176b79f94483c8b802a7004466e<wbr>66 664dc5e6023140eca0faeb2d0ecc31<wbr>c2 - - -] Filter ServerGroupAntiAffinityFilter returned 1 host(s) get_filtered_objects /usr/lib/python2.7/dist-packag<wbr>es/nova/filters.py:104</div><div>2017-06-20 20:33:37.366 18169 DEBUG nova.filters [req-ac2c8b22-0284-46b1-a90a-1<wbr>126fae4e550 7e7176b79f94483c8b802a7004466e<wbr>66 664dc5e6023140eca0faeb2d0ecc31<wbr>c2 - - -] Filter ServerGroupAffinityFilter returned 1 host(s) get_filtered_objects /usr/lib/python2.7/dist-packag<wbr>es/nova/filters.py:104</div><div>2017-06-20 20:33:37.367 18169 DEBUG nova.scheduler.filter_schedule<wbr>r [req-ac2c8b22-0284-46b1-a90a-1<wbr>126fae4e550 7e7176b79f94483c8b802a7004466e<wbr>66 664dc5e6023140eca0faeb2d0ecc31<wbr>c2 - - -] Filtered [(openstack-compute1, openstack-compute1) ram: 2495MB disk: 6144MB io_ops: 0 instances: 0] _schedule /usr/lib/python2.7/dist-packag<wbr>es/nova/scheduler/filter_<wbr>scheduler.py:115</div><div>2017-06-20 20:33:37.371 18169 DEBUG nova.scheduler.filter_schedule<wbr>r [req-ac2c8b22-0284-46b1-a90a-1<wbr>126fae4e550 7e7176b79f94483c8b802a7004466e<wbr>66 664dc5e6023140eca0faeb2d0ecc31<wbr>c2 - - -] Weighed [WeighedHost [host: (openstack-compute1, openstack-compute1) ram: 2495MB disk: 6144MB io_ops: 0 instances: 0, weight: 0.0]] _schedule /usr/lib/python2.7/dist-packag<wbr>es/nova/scheduler/filter_<wbr>scheduler.py:120</div><div>2017-06-20 20:33:37.382 18169 DEBUG nova.scheduler.filter_schedule<wbr>r [req-ac2c8b22-0284-46b1-a90a-1<wbr>126fae4e550 7e7176b79f94483c8b802a7004466e<wbr>66 664dc5e6023140eca0faeb2d0ecc31<wbr>c2 - - -] Selected host: WeighedHost [host: (openstack-compute1, openstack-compute1) ram: 2495MB disk: 6144MB io_ops: 0 instances: 0, weight: 0.0] _schedule /usr/lib/python2.7/dist-packag<wbr>es/nova/scheduler/filter_<wbr>scheduler.py:127</div><div>2017-06-20 20:33:37.406 18169 DEBUG oslo_concurrency.lockutils [req-ac2c8b22-0284-46b1-a90a-1<wbr>126fae4e550 7e7176b79f94483c8b802a7004466e<wbr>66 664dc5e6023140eca0faeb2d0ecc31<wbr>c2 - - -] Lock "(u'openstack-compute1', u'openstack-compute1')" acquired by "nova.scheduler.host_manager._<wbr>locked" :: waited 0.000s inner /usr/lib/python2.7/dist-packag<wbr>es/oslo_concurrency/lockutils.<wbr>py:273</div><div>2017-06-20 20:33:37.710 18169 DEBUG nova.virt.hardware [req-ac2c8b22-0284-46b1-a90a-1<wbr>126fae4e550 7e7176b79f94483c8b802a7004466e<wbr>66 664dc5e6023140eca0faeb2d0ecc31<wbr>c2 - - -] Require both a host and instance NUMA topology to fit instance on host. numa_fit_instance_to_host /usr/lib/python2.7/dist-packag<wbr>es/nova/virt/hardware.py:1328</div><div>2017-06-20 20:33:37.914 18169 DEBUG oslo_concurrency.lockutils [req-ac2c8b22-0284-46b1-a90a-1<wbr>126fae4e550 7e7176b79f94483c8b802a7004466e<wbr>66 664dc5e6023140eca0faeb2d0ecc31<wbr>c2 - - -] Lock "(u'openstack-compute1', u'openstack-compute1')" released by "nova.scheduler.host_manager._<wbr>locked" :: held 0.508s inner /usr/lib/python2.7/dist-packag<wbr>es/oslo_concurrency/lockutils.<wbr>py:285</div><div>2017-06-20 20:33:37.920 18169 DEBUG oslo_messaging._drivers.amqpdr<wbr>iver [req-ac2c8b22-0284-46b1-a90a-1<wbr>126fae4e550 7e7176b79f94483c8b802a7004466e<wbr>66 664dc5e6023140eca0faeb2d0ecc31<wbr>c2 - - -] sending reply msg_id: dd5f438571494a8499980c12a2a901<wbr>16 reply queue: reply_137c1eb50cf64fceb71cecc3<wbr>36b4773d time elapsed: 2.47975096499s _send_reply /usr/lib/python2.7/dist-packag<wbr>es/oslo_messaging/_drivers/<wbr>amqpdriver.py:73</div><div>2017-06-20 20:33:44.425 18169 DEBUG oslo_messaging._drivers.amqpdr<wbr>iver [-] received message with unique_id: 4e3b01aca6fb4f2c87cb686cfb6237<wbr>a9 __call__ /usr/lib/python2.7/dist-packag<wbr>es/oslo_messaging/_drivers/<wbr>amqpdriver.py:196</div><div>2017-06-20 20:33:44.434 18169 DEBUG oslo_concurrency.lockutils [req-cfa0fd37-a757-45b6-a684-2<wbr>528c1c303f5 - - - - -] Lock "host_instance" acquired by "nova.scheduler.host_manager.s<wbr>ync_instance_info" :: waited 0.000s inner /usr/lib/python2.7/dist-packag<wbr>es/oslo_concurrency/lockutils.<wbr>py:273</div><div>2017-06-20 20:33:44.434 18169 INFO nova.scheduler.host_manager [req-cfa0fd37-a757-45b6-a684-2<wbr>528c1c303f5 - - - - -] Successfully synced instances from host 'openstack-compute3'.</div><div>2017-06-20 20:33:44.435 18169 DEBUG oslo_concurrency.lockutils [req-cfa0fd37-a757-45b6-a684-2<wbr>528c1c303f5 - - - - -] Lock "host_instance" released by "nova.scheduler.host_manager.s<wbr>ync_instance_info" :: held 0.001s inner /usr/lib/python2.7/dist-packag<wbr>es/oslo_concurrency/lockutils.<wbr>py:285</div><div>2017-06-20 20:33:55.617 18169 DEBUG oslo_messaging._drivers.amqpdr<wbr>iver [-] received message msg_id: a5eeb496378d494cad21cf35e0f064<wbr>2e reply to reply_00bca84adb354a91bfa3c31c<wbr>0e70a288 __call__ /usr/lib/python2.7/dist-packag<wbr>es/oslo_messaging/_drivers/<wbr>amqpdriver.py:194</div><div>2017-06-20 20:33:55.763 18169 DEBUG oslo_concurrency.lockutils [req-ac2c8b22-0284-46b1-a90a-1<wbr>126fae4e550 7e7176b79f94483c8b802a7004466e<wbr>66 664dc5e6023140eca0faeb2d0ecc31<wbr>c2 - - -] Lock "(u'openstack-compute1', u'openstack-compute1')" acquired by "nova.scheduler.host_manager._<wbr>locked_update" :: waited 0.000s inner /usr/lib/python2.7/dist-packag<wbr>es/oslo_concurrency/lockutils.<wbr>py:273</div><div>2017-06-20 20:33:55.763 18169 DEBUG nova.scheduler.host_manager [req-ac2c8b22-0284-46b1-a90a-1<wbr>126fae4e550 7e7176b79f94483c8b802a7004466e<wbr>66 664dc5e6023140eca0faeb2d0ecc31<wbr>c2 - - -] Update host state from compute node: ComputeNode(cpu_allocation_rat<wbr>io=16.0,cpu_info='{"vendor": "AMD", "model": "cpu64-rhel6", "arch": "x86_64", "features": ["pge", "avx", "clflush", "sep", "syscall", "sse4a", "msr", "xsave", "cmov", "nx", "pat", "lm", "tsc", "3dnowprefetch", "fpu", "fxsr", "sse4.1", "pae", "sse4.2", "pclmuldq", "cmp_legacy", "vme", "mmx", "osxsave", "cx8", "mce", "fxsr_opt", "cr8legacy", "ht", "pse", "pni", "abm", "popcnt", "mca", "apic", "sse", "mmxext", "lahf_lm", "rdtscp", "aes", "sse2", "hypervisor", "misalignsse", "ssse3", "de", "cx16", "pse36", "mtrr", "x2apic"], "topology": {"cores": 2, "cells": 1, "threads": 1, "sockets": 1}}',created_at=2017-06-21T00:<wbr>18:37Z,current_workload=0,dele<wbr>ted=False,deleted_at=None,disk<wbr>_allocation_ratio=1.0,disk_<wbr>available_least=6,free_disk_<wbr>gb=12,free_ram_mb=2495,host='<wbr>openstack-compute1',host_ip=<wbr>10.10.10.8,hypervisor_hostname<wbr>='openstack-compute1',hypervis<wbr>or_type='QEMU',hypervisor_<wbr>version=2008000,id=9,local_gb=<wbr>12,local_gb_used=0,memory_mb=<wbr>3007,memory_mb_used=512,<wbr>metrics='[]',numa_topology='{"<wbr>nova_object.version": "1.2", "nova_object.changes": ["cells"], "<a href="http://nova_object.name" target="_blank">nova_object.name</a>": "NUMATopology", "nova_object.data": {"cells": [{"nova_object.version": "1.2", "nova_object.changes": ["cpu_usage", "memory_usage", "cpuset", "mempages", "pinned_cpus", "memory", "siblings", "id"], "<a href="http://nova_object.name" target="_blank">nova_object.name</a>": "NUMACell", "nova_object.data": {"cpu_usage": 0, "memory_usage": 0, "cpuset": [0, 1], "pinned_cpus": [], "siblings": [], "memory": 3007, "mempages": [{"nova_object.version": "1.1", "nova_object.changes": ["total", "used", "reserved", "size_kb"], "<a href="http://nova_object.name" target="_blank">nova_object.name</a>": "NUMAPagesTopology", "nova_object.data": {"used": 0, "total": 769991, "reserved": 0, "size_kb": 4}, "nova_object.namespace": "nova"}, {"nova_object.version": "1.1", "nova_object.changes": ["total", "used", "reserved", "size_kb"], "<a href="http://nova_object.name" target="_blank">nova_object.name</a>": "NUMAPagesTopology", "nova_object.data": {"used": 0, "total": 0, "reserved": 0, "size_kb": 2048}, "nova_object.namespace": "nova"}], "id": 0}, "nova_object.namespace": "nova"}]}, "nova_object.namespace": "nova"}',pci_device_pools=PciD<wbr>evicePoolList,ram_allocation_<wbr>ratio=1.5,running_vms=0,<wbr>service_id=None,stats={},<wbr>supported_hv_specs=[HVSpec,HVS<wbr>pec],updated_at=2017-06-21T00:<wbr>33:55Z,uuid=9fd1b365-5ff9-<wbr>4f75-a771-777fbe7a54ad,vcpus=<wbr>2,vcpus_used=0) _locked_update /usr/lib/python2.7/dist-packag<wbr>es/nova/scheduler/host_manager<wbr>.py:168</div><div>2017-06-20 20:33:55.764 18169 DEBUG nova.scheduler.host_manager [req-ac2c8b22-0284-46b1-a90a-1<wbr>126fae4e550 7e7176b79f94483c8b802a7004466e<wbr>66 664dc5e6023140eca0faeb2d0ecc31<wbr>c2 - - -] Update host state with aggregates: [] _locked_update /usr/lib/python2.7/dist-packag<wbr>es/nova/scheduler/host_manager<wbr>.py:171</div><div>2017-06-20 20:33:55.765 18169 DEBUG nova.scheduler.host_manager [req-ac2c8b22-0284-46b1-a90a-1<wbr>126fae4e550 7e7176b79f94483c8b802a7004466e<wbr>66 664dc5e6023140eca0faeb2d0ecc31<wbr>c2 - - -] Update host state with service dict: {'binary': u'nova-compute', 'deleted': False, 'created_at': datetime.datetime(2017, 5, 17, 3, 26, 12, tzinfo=<iso8601.Utc>), 'updated_at': datetime.datetime(2017, 6, 21, 0, 33, 54, tzinfo=<iso8601.Utc>), 'report_count': 96357, 'topic': u'compute', 'host': u'openstack-compute1', 'version': 16, 'disabled': False, 'forced_down': False, 'last_seen_up': datetime.datetime(2017, 6, 21, 0, 33, 54, tzinfo=<iso8601.Utc>), 'deleted_at': None, 'disabled_reason': None, 'id': 7} _locked_update /usr/lib/python2.7/dist-packag<wbr>es/nova/scheduler/host_manager<wbr>.py:174</div><div>2017-06-20 20:33:55.765 18169 DEBUG nova.scheduler.host_manager [req-ac2c8b22-0284-46b1-a90a-1<wbr>126fae4e550 7e7176b79f94483c8b802a7004466e<wbr>66 664dc5e6023140eca0faeb2d0ecc31<wbr>c2 - - -] Update host state with instances: {} _locked_update /usr/lib/python2.7/dist-packag<wbr>es/nova/scheduler/host_manager<wbr>.py:177</div><div>2017-06-20 20:33:55.766 18169 DEBUG oslo_concurrency.lockutils [req-ac2c8b22-0284-46b1-a90a-1<wbr>126fae4e550 7e7176b79f94483c8b802a7004466e<wbr>66 664dc5e6023140eca0faeb2d0ecc31<wbr>c2 - - -] Lock "(u'openstack-compute1', u'openstack-compute1')" released by "nova.scheduler.host_manager._<wbr>locked_update" :: held 0.003s inner /usr/lib/python2.7/dist-packag<wbr>es/oslo_concurrency/lockutils.<wbr>py:285</div><div>2017-06-20 20:33:55.766 18169 DEBUG nova.filters [req-ac2c8b22-0284-46b1-a90a-1<wbr>126fae4e550 7e7176b79f94483c8b802a7004466e<wbr>66 664dc5e6023140eca0faeb2d0ecc31<wbr>c2 - - -] Starting with 1 host(s) get_filtered_objects /usr/lib/python2.7/dist-packag<wbr>es/nova/filters.py:70</div><div>2017-06-20 20:33:55.767 18169 INFO nova.scheduler.filters.retry_f<wbr>ilter [req-ac2c8b22-0284-46b1-a90a-1<wbr>126fae4e550 7e7176b79f94483c8b802a7004466e<wbr>66 664dc5e6023140eca0faeb2d0ecc31<wbr>c2 - - -] Host [u'openstack-compute1', u'openstack-compute1'] fails.  Previously tried hosts: [[u'openstack-compute1', u'openstack-compute1']]</div><div>2017-06-20 20:33:55.767 18169 INFO nova.filters [req-ac2c8b22-0284-46b1-a90a-1<wbr>126fae4e550 7e7176b79f94483c8b802a7004466e<wbr>66 664dc5e6023140eca0faeb2d0ecc31<wbr>c2 - - -] Filter RetryFilter returned 0 hosts</div><div>2017-06-20 20:33:55.767 18169 DEBUG nova.filters [req-ac2c8b22-0284-46b1-a90a-1<wbr>126fae4e550 7e7176b79f94483c8b802a7004466e<wbr>66 664dc5e6023140eca0faeb2d0ecc31<wbr>c2 - - -] Filtering removed all hosts for the request with instance ID 'acf31677-8a2a-4dfe-adf2-2c8c4<wbr>8ba9dcf'. Filter results: [('RetryFilter', None)] get_filtered_objects /usr/lib/python2.7/dist-packag<wbr>es/nova/filters.py:129</div><div>2017-06-20 20:33:55.768 18169 INFO nova.filters [req-ac2c8b22-0284-46b1-a90a-1<wbr>126fae4e550 7e7176b79f94483c8b802a7004466e<wbr>66 664dc5e6023140eca0faeb2d0ecc31<wbr>c2 - - -] Filtering removed all hosts for the request with instance ID 'acf31677-8a2a-4dfe-adf2-2c8c4<wbr>8ba9dcf'. Filter results: ['RetryFilter: (start: 1, end: 0)']</div><div>2017-06-20 20:33:55.768 18169 DEBUG nova.scheduler.filter_schedule<wbr>r [req-ac2c8b22-0284-46b1-a90a-1<wbr>126fae4e550 7e7176b79f94483c8b802a7004466e<wbr>66 664dc5e6023140eca0faeb2d0ecc31<wbr>c2 - - -] There are 0 hosts available but 1 instances requested to build. select_destinations /usr/lib/python2.7/dist-packag<wbr>es/nova/scheduler/filter_<wbr>scheduler.py:76</div><div>2017-06-20 20:33:55.768 18169 DEBUG oslo_messaging.rpc.server [req-ac2c8b22-0284-46b1-a90a-1<wbr>126fae4e550 7e7176b79f94483c8b802a7004466e<wbr>66 664dc5e6023140eca0faeb2d0ecc31<wbr>c2 - - -] Expected exception during message handling () _process_incoming /usr/lib/python2.7/dist-packag<wbr>es/oslo_messaging/rpc/server.<wbr>py:158</div><div>2017-06-20 20:33:55.769 18169 DEBUG oslo_messaging._drivers.amqpdr<wbr>iver [req-ac2c8b22-0284-46b1-a90a-1<wbr>126fae4e550 7e7176b79f94483c8b802a7004466e<wbr>66 664dc5e6023140eca0faeb2d0ecc31<wbr>c2 - - -] sending reply msg_id: a5eeb496378d494cad21cf35e0f064<wbr>2e reply queue: reply_00bca84adb354a91bfa3c31c<wbr>0e70a288 time elapsed: 0.150797337003s _send_reply /usr/lib/python2.7/dist-packag<wbr>es/oslo_messaging/_drivers/<wbr>amqpdriver.py:73</div><div>2017-06-20 20:33:59.573 18169 DEBUG oslo_service.periodic_task [req-e3fbda68-20b5-4371-b594-a<wbr>055bf78c8da - - - - -] Running periodic task SchedulerManager._expire_reser<wbr>vations run_periodic_tasks /usr/lib/python2.7/dist-packag<wbr>es/oslo_service/periodic_task.<wbr>py:215</div></div><div><br></div><div><br></div><div>I only notice <b>compute1</b> in the logs, but I never see my other two nodes in here as well:</div><div><br></div><div><br></div><div><div>root@openstack-controller1://e<wbr>tc/nova# openstack hypervisor list</div><span><div>+----+---------------------+--<wbr>---------------+--------------<wbr>+-------+</div><div>| ID | Hypervisor Hostname | Hypervisor Type | Host IP      | State |</div><div>+----+---------------------+--<wbr>---------------+--------------<wbr>+-------+</div></span><div>|  7 | openstack-compute2  | QEMU            | 10.10.10.122 | up    |</div><div>|  8 | openstack-compute3  | QEMU            | 10.10.10.123 | up    |</div><div>|  9 | openstack-compute1  | QEMU            | 10.10.10.8   | up    |</div><div>+----+---------------------+--<wbr>---------------+--------------<wbr>+-------+</div></div><div><br></div></div><div class="m_7002416457593807259HOEnZb"><div class="m_7002416457593807259h5"><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Jun 20, 2017 at 4:57 PM, Alex Evonosky <span dir="ltr"><<a href="mailto:alex.evonosky@gmail.com" target="_blank">alex.evonosky@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="auto">Chris<div dir="auto"><br></div><div dir="auto">I have not enabled debug on scheduler but I will tonight.  thank you for the feedback.</div><div dir="auto"><br></div><div dir="auto"><br><br><div data-smartmail="gmail_signature" dir="auto"><br><br>Sent from my Samsung S7 Edge<br>    </div></div></div><div class="m_7002416457593807259m_-4310018003693303523HOEnZb"><div class="m_7002416457593807259m_-4310018003693303523h5"><div class="gmail_extra"><br><div class="gmail_quote">On Jun 20, 2017 4:22 PM, "Chris Friesen" <<a href="mailto:chris.friesen@windriver.com" target="_blank">chris.friesen@windriver.com</a>> wrote:<br type="attribution"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">On 06/20/2017 01:45 PM, Alex Evonosky wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Openstackers-<br>
<br>
I am getting the familiar: *No hosts found* when launching an instance.  After<br>
research I found many issues such as this at least going back to 2015.  However,<br>
the solutions that were presented did not really seem to help mine, so I am<br>
checking if my error maybe a more common one that could be fixed.<br>
</blockquote>
<br>
<snip><br>
<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
some from nova-scheduler:<br>
<br>
2017-06-20 15:18:14.879 11720 INFO nova.filters<br>
[req-128bca26-06da-49de-9d14-a<wbr>d1ae967d084 7e7176b79f94483c8b802a7004466e<wbr>66<br>
5f8b2c83921b4b3eb74e448667b267<wbr>b1 -<br>
- -] Filter RetryFilter returned 0 hosts<br>
2017-06-20 15:18:14.888 11720 INFO nova.filters<br>
[req-128bca26-06da-49de-9d14-a<wbr>d1ae967d084 7e7176b79f94483c8b802a7004466e<wbr>66<br>
5f8b2c83921b4b3eb74e448667b267<wbr>b1 -<br>
- -] Filtering removed all hosts for the request with instance ID<br>
'1a461902-4b93-40e5-9a95-76bb9<wbr>ccbae63'. Filter results: ['RetryFilter: (start:<br>
0, end: 0)']<br>
2017-06-20 15:19:10.930 11720 INFO nova.scheduler.host_manager<br>
[req-003eec5d-441a-45af-9784-0<wbr>d857a9d111a - - - - -] Successfully synced<br>
instances from host 'o<br>
penstack-compute2'.<br>
2017-06-20 15:20:15.113 11720 INFO nova.scheduler.host_manager<br>
[req-b1c4044c-6973-4f28-94bc-5<wbr>b40c957ff48 - - - - -] Successfully synced<br>
instances from host 'o<br>
penstack-compute3'.<br>
</blockquote>
<br>
If you haven't already, enable debug logs on nova-scheduler.  You should be able to see which filter is failing and hopefully why.<br>
<br>
In your example, look for nova-scheduler logs with "req-c4d5e734-ba41-4fe8-9397-4<wbr>b4165f4a133" in them since that is the failed request.  The timestamp should be around 15:30:56.<br>
<br>
Chris<br>
<br>
<br>
______________________________<wbr>_________________<br>
Mailing list: <a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack" rel="noreferrer" target="_blank">http://lists.openstack.org/cgi<wbr>-bin/mailman/listinfo/openstac<wbr>k</a><br>
Post to     : <a href="mailto:openstack@lists.openstack.org" target="_blank">openstack@lists.openstack.org</a><br>
Unsubscribe : <a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack" rel="noreferrer" target="_blank">http://lists.openstack.org/cgi<wbr>-bin/mailman/listinfo/openstac<wbr>k</a><br>
</blockquote></div></div>
</div></div></blockquote></div><br></div>
</div></div></blockquote></div><br></div>
</div></div></blockquote></div><br></div>