<div dir="ltr">Openstackers-<div><br></div><div>I am getting the familiar: <b>No hosts found</b> when launching an instance.  After research I found many issues such as this at least going back to 2015.  However, the solutions that were presented did not really seem to help mine, so I am checking if my error maybe a more common one that could be fixed.</div><div><br></div><div><div>+----+---------------------+-----------------+--------------+-------+</div><div>| ID | Hypervisor Hostname | Hypervisor Type | Host IP      | State |</div><div>+----+---------------------+-----------------+--------------+-------+</div><div>|  4 | compute3            | QEMU            | 10.10.10.123 | up    |</div><div>|  5 | compute2            | QEMU            | 10.10.10.122 | up    |</div><div>|  6 | compute1            | QEMU            | 10.10.10.8   | down  |</div><div>+----+---------------------+-----------------+--------------+-------+</div><div><br></div><div>+--------------------------------------+--------------------+-----------------------+-------------------+-------+-------+---------------------------+</div><div>| ID                                   | Agent Type         | Host                  | Availability Zone | Alive | State | Binary                    |</div><div>+--------------------------------------+--------------------+-----------------------+-------------------+-------+-------+---------------------------+</div><div>| 11f6c380-d5ce-4705-a10c-8d9b8e918a7a | Metadata agent     | openstack-controller1 | None              | True  | UP    | neutron-metadata-agent    |</div><div>| 1ad11613-bf10-4bf9-b7b2-8e7f9d020cb1 | DHCP agent         | openstack-controller1 | nova              | True  | UP    | neutron-dhcp-agent        |</div><div>| 8860a2ae-e19b-4305-8db4-291ddbbdbda8 | Linux bridge agent | openstack-compute2    | None              | True  | UP    | neutron-linuxbridge-agent |</div><div>| 8a03860c-fca1-4fb7-8a2b-f8476c281896 | Linux bridge agent | openstack-compute1    | None              | False | UP    | neutron-linuxbridge-agent |</div><div>| 9e9b2730-3b95-45ed-a593-02412c14bb4b | Linux bridge agent | openstack-compute3    | None              | True  | UP    | neutron-linuxbridge-agent |</div><div>| dcf331b5-fdf2-443c-a05b-dde8b54d2ca4 | Linux bridge agent | openstack-controller1 | None              | True  | UP    | neutron-linuxbridge-agent |</div><div>+--------------------------------------+--------------------+-----------------------+-------------------+-------+-------+---------------------------+</div></div><div><br></div><div><br></div><div>Now, <b>compute1</b>, I have shutdown, so this is known. </div><div><br></div><div><br></div><div>Some portions of the DEBUG nova-conductor:</div><div><br></div><div><div>2017-06-20 15:30:54.904 13306 DEBUG oslo_messaging._drivers.amqpdriver [req-8ab0ebdd-0ef2-4812-be84-c1733ffafd71 - - - - -] sending reply msg_id: c3f21dae7c764e338b2263d444b4edba reply queue: reply_640e0d85401e4c1eb76a67af5ce2d42d time elapsed: 0.0311933740013s _send_reply /usr/lib/python2.7/dist-packages/oslo_messaging/_drivers/amqpdriver.py:73</div><div>2017-06-20 15:30:56.714 13307 DEBUG oslo_messaging._drivers.amqpdriver [-] received reply msg_id: 77c4bce37866466d92e4bf6b6aaf492a __call__ /usr/lib/python2.7/dist-packages/oslo_messaging/_drivers/amqpdriver.py:299</div><div>2017-06-20 15:30:56.801 13307 ERROR nova.conductor.manager [req-c4d5e734-ba41-4fe8-9397-4b4165f4a133 7e7176b79f94483c8b802a7004466e66 664dc5e6023140eca0faeb2d0ecc31c2 - - -] Failed to schedule instances</div><div>2017-06-20 15:30:56.801 13307 ERROR nova.conductor.manager Traceback (most recent call last):</div><div>2017-06-20 15:30:56.801 13307 ERROR nova.conductor.manager   File "/usr/lib/python2.7/dist-packages/nova/conductor/manager.py", line 866, in schedule_and_build_instances</div><div>2017-06-20 15:30:56.801 13307 ERROR nova.conductor.manager     request_specs[0].to_legacy_filter_properties_dict())</div><div>2017-06-20 15:30:56.801 13307 ERROR nova.conductor.manager   File "/usr/lib/python2.7/dist-packages/nova/conductor/manager.py", line 597, in _schedule_instances</div><div>2017-06-20 15:30:56.801 13307 ERROR nova.conductor.manager     hosts = self.scheduler_client.select_destinations(context, spec_obj)</div><div>2017-06-20 15:30:56.801 13307 ERROR nova.conductor.manager   File "/usr/lib/python2.7/dist-packages/nova/scheduler/utils.py", line 371, in wrapped</div><div>2017-06-20 15:30:56.801 13307 ERROR nova.conductor.manager     return func(*args, **kwargs)</div><div>2017-06-20 15:30:56.801 13307 ERROR nova.conductor.manager   File "/usr/lib/python2.7/dist-packages/nova/scheduler/client/__init__.py", line 51, in select_destinations</div><div>2017-06-20 15:30:56.801 13307 ERROR nova.conductor.manager     return self.queryclient.select_destinations(context, spec_obj)</div><div>2017-06-20 15:30:56.801 13307 ERROR nova.conductor.manager   File "/usr/lib/python2.7/dist-packages/nova/scheduler/client/__init__.py", line 37, in __run_method</div><div>2017-06-20 15:30:56.801 13307 ERROR nova.conductor.manager     return getattr(self.instance, __name)(*args, **kwargs)</div><div>2017-06-20 15:30:56.801 13307 ERROR nova.conductor.manager   File "/usr/lib/python2.7/dist-packages/nova/scheduler/client/query.py", line 32, in select_destinations</div><div>2017-06-20 15:30:56.801 13307 ERROR nova.conductor.manager     return self.scheduler_rpcapi.select_destinations(context, spec_obj)</div><div>2017-06-20 15:30:56.801 13307 ERROR nova.conductor.manager   File "/usr/lib/python2.7/dist-packages/nova/scheduler/rpcapi.py", line 129, in select_destinations</div><div>2017-06-20 15:30:56.801 13307 ERROR nova.conductor.manager     return cctxt.call(ctxt, 'select_destinations', **msg_args)</div><div>2017-06-20 15:30:56.801 13307 ERROR nova.conductor.manager   File "/usr/lib/python2.7/dist-packages/oslo_messaging/rpc/client.py", line 169, in call</div><div>2017-06-20 15:30:56.801 13307 ERROR nova.conductor.manager     retry=self.retry)</div><div>2017-06-20 15:30:56.801 13307 ERROR nova.conductor.manager   File "/usr/lib/python2.7/dist-packages/oslo_messaging/transport.py", line 97, in _send</div><div>2017-06-20 15:30:56.801 13307 ERROR nova.conductor.manager     timeout=timeout, retry=retry)</div><div>2017-06-20 15:30:56.801 13307 ERROR nova.conductor.manager   File "/usr/lib/python2.7/dist-packages/oslo_messaging/_drivers/amqpdriver.py", line 458, in send</div><div>2017-06-20 15:30:56.801 13307 ERROR nova.conductor.manager     retry=retry)</div><div>2017-06-20 15:30:56.801 13307 ERROR nova.conductor.manager   File "/usr/lib/python2.7/dist-packages/oslo_messaging/_drivers/amqpdriver.py", line 449, in _send</div><div>2017-06-20 15:30:56.801 13307 ERROR nova.conductor.manager     raise result</div><div>2017-06-20 15:30:56.801 13307 ERROR nova.conductor.manager NoValidHost_Remote: No valid host was found. There are not enough hosts available.</div><div>2017-06-20 15:30:56.801 13307 ERROR nova.conductor.manager Traceback (most recent call last):</div><div>2017-06-20 15:30:56.801 13307 ERROR nova.conductor.manager </div><div>2017-06-20 15:30:56.801 13307 ERROR nova.conductor.manager   File "/usr/lib/python2.7/dist-packages/oslo_messaging/rpc/server.py", line 218, in inner</div><div>2017-06-20 15:30:56.801 13307 ERROR nova.conductor.manager     return func(*args, **kwargs)</div><div>2017-06-20 15:30:56.801 13307 ERROR nova.conductor.manager </div><div>2017-06-20 15:30:56.801 13307 ERROR nova.conductor.manager   File "/usr/lib/python2.7/dist-packages/nova/scheduler/manager.py", line 98, in select_destinations</div><div>2017-06-20 15:30:56.801 13307 ERROR nova.conductor.manager     dests = self.driver.select_destinations(ctxt, spec_obj)</div><div>2017-06-20 15:30:56.801 13307 ERROR nova.conductor.manager </div><div>2017-06-20 15:30:56.801 13307 ERROR nova.conductor.manager   File "/usr/lib/python2.7/dist-packages/nova/scheduler/filter_scheduler.py", line 79, in select_destinations</div><div>2017-06-20 15:30:56.801 13307 ERROR nova.conductor.manager     raise exception.NoValidHost(reason=reason)</div><div>2017-06-20 15:30:56.801 13307 ERROR nova.conductor.manager </div><div>2017-06-20 15:30:56.801 13307 ERROR nova.conductor.manager NoValidHost: No valid host was found. There are not enough hosts available.</div><div>2017-06-20 15:30:56.801 13307 ERROR nova.conductor.manager </div><div>2017-06-20 15:30:56.801 13307 ERROR nova.conductor.manager </div><div>2017-06-20 15:30:56.966 13307 DEBUG oslo_db.sqlalchemy.engines [req-c4d5e734-ba41-4fe8-9397-4b4165f4a133 7e7176b79f94483c8b802a7004466e66 664dc5e6023140eca0faeb2d0ecc31c2 - - -] MySQL server mode set to STRICT_TRANS_TABLES,STRICT_ALL_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,TRADITIONAL,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION _check_effective_sql_mode /usr/lib/python2.7/dist-packages/oslo_db/sqlalchemy/engines.py:261</div><div>2017-06-20 15:30:58.261 13307 WARNING nova.scheduler.utils [req-c4d5e734-ba41-4fe8-9397-4b4165f4a133 7e7176b79f94483c8b802a7004466e66 664dc5e6023140eca0faeb2d0ecc31c2 - - -] Failed to compute_task_build_instances: No valid host was found. There are not enough hosts available.</div><div>Traceback (most recent call last):</div><div><br></div><div>  File "/usr/lib/python2.7/dist-packages/oslo_messaging/rpc/server.py", line 218, in inner</div><div>    return func(*args, **kwargs)</div><div><br></div><div>  File "/usr/lib/python2.7/dist-packages/nova/scheduler/manager.py", line 98, in select_destinations</div><div>    dests = self.driver.select_destinations(ctxt, spec_obj)</div><div><br></div><div>  File "/usr/lib/python2.7/dist-packages/nova/scheduler/filter_scheduler.py", line 79, in select_destinations</div><div>    raise exception.NoValidHost(reason=reason)</div><div><br></div><div>NoValidHost: No valid host was found. There are not enough hosts available.</div><div><br></div><div>2017-06-20 15:30:58.268 13307 WARNING nova.scheduler.utils [req-c4d5e734-ba41-4fe8-9397-4b4165f4a133 7e7176b79f94483c8b802a7004466e66 664dc5e6023140eca0faeb2d0ecc31c2 - - -] [instance: 90bc7c03-2a62-4be7-96c5-61dc8ee23a56] Setting instance to ERROR state.</div><div>2017-06-20 15:30:58.914 13307 DEBUG oslo_messaging._drivers.amqpdriver [-] received message msg_id: bbb130cf976c4d5bbae6bafcb6a215f2 reply to reply_640e0d85401e4c1eb76a67af5ce2d42d __call__ /usr/lib/python2.7/dist-packages/oslo_messaging/_drivers/amqpdriver.py:194</div><div>2017-06-20 15:30:58.942 13307 DEBUG oslo_messaging._drivers.amqpdriver [req-5d1f1861-ff81-4c8a-94bd-2825278f694b - - - - -] sending reply msg_id: bbb130cf976c4d5bbae6bafcb6a215f2 reply queue: reply_640e0d85401e4c1eb76a67af5ce2d42d time elapsed: 0.0265529340104s _send_reply /usr/lib/python2.7/dist-packages/oslo_messaging/_drivers/amqpdriver.py:73</div><div>2017-06-20 15:30:59.048 13306 DEBUG oslo_messaging._drivers.amqpdriver [-] received message msg_id: 6707de99a04a4a03ba29fd46b4ed4b74 reply to reply_640e0d85401e4c1eb76a67af5ce2d42d __call__ /usr/lib/python2.7/dist-packages/oslo_messaging/_drivers/amqpdriver.py:194</div><div>2017-06-20 15:30:59.109 13306 DEBUG oslo_messaging._drivers.amqpdriver [req-12c33c9a-c75b-439e-bfa3-8bf055ed1897 - - - - -] sending reply msg_id: 6707de99a04a4a03ba29fd46b4ed4b74 reply queue: reply_640e0d85401e4c1eb76a67af5ce2d42d time elapsed: 0.0596932659973s _send_reply /usr/lib/python2.7/dist-packages/oslo_messaging/_drivers/amqpdriver.py:73</div><div><br></div></div><div><br></div><div>some from nova-scheduler:</div><div><br></div><div><div>2017-06-20 15:18:14.879 11720 INFO nova.filters [req-128bca26-06da-49de-9d14-ad1ae967d084 7e7176b79f94483c8b802a7004466e66 5f8b2c83921b4b3eb74e448667b267b1 - </div><div>- -] Filter RetryFilter returned 0 hosts</div><div>2017-06-20 15:18:14.888 11720 INFO nova.filters [req-128bca26-06da-49de-9d14-ad1ae967d084 7e7176b79f94483c8b802a7004466e66 5f8b2c83921b4b3eb74e448667b267b1 - </div><div>- -] Filtering removed all hosts for the request with instance ID '1a461902-4b93-40e5-9a95-76bb9ccbae63'. Filter results: ['RetryFilter: (start: 0, end: 0)']</div><div>2017-06-20 15:19:10.930 11720 INFO nova.scheduler.host_manager [req-003eec5d-441a-45af-9784-0d857a9d111a - - - - -] Successfully synced instances from host 'o</div><div>penstack-compute2'.</div><div>2017-06-20 15:20:15.113 11720 INFO nova.scheduler.host_manager [req-b1c4044c-6973-4f28-94bc-5b40c957ff48 - - - - -] Successfully synced instances from host 'o</div><div>penstack-compute3'.</div></div><div><br></div><div><br></div><div>Thank you!</div><div><br></div></div>