<div dir="ltr">+1 on Mikhail's suggestion. You will want to enable debug logging for the [nova]-scheduler (restart it of course after modifying the config) and then look for errors related to Filter. You can also correlate the req-XXX... ID with logs for nova-compute on your compute node(s) to see if that helps.<br></div><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Jul 28, 2016 at 4:50 PM, Mikhail Medvedev <span dir="ltr"><<a href="mailto:mihailmed@gmail.com" target="_blank">mihailmed@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="HOEnZb"><div class="h5">On Thu, Jul 28, 2016 at 2:34 PM, Ken D'Ambrosio <<a href="mailto:ken@jots.org">ken@jots.org</a>> wrote:<br>
> Trying to orchestrate a bunch of VMs on our ~500 core cloud, and we're<br>
> getting the "not enough hosts" problem.  Only issue is that the dashboard<br>
> seems to imply we've got the elbow room needed to instantiate.  Furthermore,<br>
> it would be *really handy* if I knew what the bottleneck it thought was:<br>
> disk, RAM, CPU, whatever.  Here's a sample of the error:<br>
><br>
> ----------------------- begin -----------------------<br>
> 2016-07-28 18:40:47.961 1080 WARNING nova.scheduler.utils<br>
> [req-977badf4-a4a2-4766-87fd-c4e3ceb2e293 a4c895a6fe294ae3a81e3c6bb9209f52<br>
> 33c2cf3cb61c425abcb0e0d35fdf21b7 - - -] [instance:<br>
> ee175a40-11d9-4a43-b6e1-c4d7935acff1] Setting instance to ERROR state.<br>
> 2016-07-28 18:40:51.892 1023 WARNING nova.scheduler.utils<br>
> [req-e2a65200-1662-4cd7-aa9e-db5e225adfa1 a4c895a6fe294ae3a81e3c6bb9209f52<br>
> 33c2cf3cb61c425abcb0e0d35fdf21b7 - - -] Failed to<br>
> compute_task_build_instances: No valid host was found. There are not enough<br>
> hosts available.<br>
> Traceback (most recent call last):<br>
><br>
>   File "/usr/lib/python2.7/dist-packages/oslo_messaging/rpc/server.py", line<br>
> 142, in inner<br>
>     return func(*args, **kwargs)<br>
><br>
>   File "/usr/lib/python2.7/dist-packages/nova/scheduler/manager.py", line<br>
> 84, in select_destinations<br>
>     filter_properties)<br>
><br>
>   File<br>
> "/usr/lib/python2.7/dist-packages/nova/scheduler/filter_scheduler.py", line<br>
> 90, in select_destinations<br>
>     raise exception.NoValidHost(reason=reason)<br>
><br>
> NoValidHost: No valid host was found. There are not enough hosts available.<br>
> ----------------------- begin -----------------------<br>
><br>
> Any suggestions on how to track down exactly what's going wrong?<br>
<br>
</div></div>Try taking a look at nova-scheduler log on your controller (usually in<br>
/var/log/nova/nova-scheduler.log). I do not remember any time I have<br>
seen the "not enough hosts" when the reason was not obvious from the<br>
scheduler log.<br>
<span class=""><br>
><br>
> Thanks!<br>
><br>
> -Ken<br>
><br>
> _______________________________________________<br>
> Mailing list: <a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack" rel="noreferrer" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack</a><br>
> Post to     : <a href="mailto:openstack@lists.openstack.org">openstack@lists.openstack.org</a><br>
> Unsubscribe : <a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack" rel="noreferrer" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack</a><br>
<br>
</span>---<br>
Mikhail Medvedev<br>
IBM<br>
<div class="HOEnZb"><div class="h5"><br>
_______________________________________________<br>
Mailing list: <a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack" rel="noreferrer" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack</a><br>
Post to     : <a href="mailto:openstack@lists.openstack.org">openstack@lists.openstack.org</a><br>
Unsubscribe : <a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack" rel="noreferrer" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack</a><br>
</div></div></blockquote></div><br></div>