<div dir="ltr"><div>Hi Belmiro</div><div><br></div><div>We are indeed running 2 nova-schedulers, to have some HA </div><div><br></div><div>Thanks, Massimo</div></div><div class="gmail_extra"><br><div class="gmail_quote">2016-11-30 16:18 GMT+01:00 Belmiro Moreira <span dir="ltr"><<a href="mailto:moreira.belmiro.email.lists@gmail.com" target="_blank">moreira.belmiro.email.lists@gmail.com</a>></span>:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><span style="font-size:12.800000190734863px">How many nova-schedulers are you running?</span><div style="font-size:12.800000190734863px">You can hit this issue when multiple nova-schedulers select the same compute node for different instances.</div><span class="HOEnZb"><font color="#888888"><div style="font-size:12.800000190734863px"><br></div><div style="font-size:12.800000190734863px">Belmiro</div></font></span></div><div class="gmail_extra"><br><div class="gmail_quote"><div><div class="h5">On Wed, Nov 30, 2016 at 3:56 PM, Massimo Sgaravatto <span dir="ltr"><<a href="mailto:massimo.sgaravatto@gmail.com" target="_blank">massimo.sgaravatto@gmail.com</a>></span> wrote:<br></div></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div><div class="h5"><div dir="ltr"><div>Hi all</div><div><br></div><div>I have a problem with scheduling in our Mitaka Cloud,</div><div>Basically when there are a lot of requests for new instances, some of them fail because "Failed to compute_task_build_instances: Exceeded maximum number of retries". And the failures are because "Insufficient compute resources: Free memory 2879.50 MB < requested</div><div> 8192 MB" [*]</div><div><br></div><div>But there are compute nodes with enough memory that could serve such requests.</div><div><br></div><div>In the conductor log I also see messages reporting that "Function 'nova.servicegroup.drivers.db.<wbr>DbDriver._report_state' run outlasted interval by xxx sec" [**]</div><div><br></div><div><br></div><div>My understanding is that:</div><div><br></div><div>- VM a is scheduled to a certain compute node</div><div>- the scheduler chooses the same compute node for VM b before the info for that compute node is updated (so the 'size' of VM a is not taken into account) </div><div><br></div><div>Does this make sense or am I totally wrong ?</div><div><br></div><div>Any hints about how to cope with such scenarios, besides increasing  scheduler_max_attempts ?</div><div><br></div><div>scheduler_default_filters is set to:</div><div><br></div><div><div>scheduler_default_filters = AggregateInstanceExtraSpecsFil<wbr>ter,AggregateMultiTenancyIsola<wbr>tion,RetryFilter,AvailabilityZ<wbr>oneFilter,RamFilter,<wbr>CoreFilter,AggregateRamFilter,<wbr>AggregateCoreFilter,ComputeFil<wbr>ter,ComputeCapabilitiesFilter,<wbr>ImagePropertiesFilter,ServerGr<wbr>oupAntiAffinityFilter,ServerGr<wbr>oupAffinityFilter</div></div><div><br></div><div><br></div><div>Thanks a lot, Massimo</div><div><br></div><div>[*]</div><div><br></div><div>2016-11-30 15:10:20.233 25140 WARNING nova.scheduler.utils [req-ec8c0bdc-b413-4cab-b925-e<wbr>b8f11212049 840c96b6fb1e4972beaa3d30ade10c<wbr>c7 d27fe2becea94a3e980fb9f66e2f29</div><div>1a - - -] Failed to compute_task_build_instances: Exceeded maximum number of retries. Exceeded max scheduling attempts 5 for instance 314eccd0-fc73-446f-8138-7d8d3c</div><div>8644f7. Last exception: Insufficient compute resources: Free memory 2879.50 MB < requested 8192 MB.</div><div>2016-11-30 15:10:20.233 25140 WARNING nova.scheduler.utils [req-ec8c0bdc-b413-4cab-b925-e<wbr>b8f11212049 840c96b6fb1e4972beaa3d30ade10c<wbr>c7 d27fe2becea94a3e980fb9f66e2f29</div><div>1a - - -] [instance: 314eccd0-fc73-446f-8138-7d8d3c<wbr>8644f7] Setting instance to ERROR state.</div><div><br></div><div><br></div><div>[**]</div><div><br></div><div>2016-11-30 15:10:48.873 25128 WARNING oslo.service.loopingcall [-] Function 'nova.servicegroup.drivers.db.<wbr>DbDriver._report_state' run outlasted interval by 9.08 sec</div><div>2016-11-30 15:10:54.372 25142 WARNING oslo.service.loopingcall [-] Function 'nova.servicegroup.drivers.db.<wbr>DbDriver._report_state' run outlasted interval by 9.33 sec</div><div>2016-11-30 15:10:54.375 25140 WARNING oslo.service.loopingcall [-] Function 'nova.servicegroup.drivers.db.<wbr>DbDriver._report_state' run outlasted interval by 9.32 sec</div><div>2016-11-30 15:10:54.376 25129 WARNING oslo.service.loopingcall [-] Function 'nova.servicegroup.drivers.db.<wbr>DbDriver._report_state' run outlasted interval by 9.30 sec</div><div>2016-11-30 15:10:54.381 25138 WARNING oslo.service.loopingcall [-] Function 'nova.servicegroup.drivers.db.<wbr>DbDriver._report_state' run outlasted interval by 9.24 sec</div><div>2016-11-30 15:10:54.381 25139 WARNING oslo.service.loopingcall [-] Function 'nova.servicegroup.drivers.db.<wbr>DbDriver._report_state' run outlasted interval by 9.28 sec</div><div>2016-11-30 15:10:54.382 25143 WARNING oslo.service.loopingcall [-] Function 'nova.servicegroup.drivers.db.<wbr>DbDriver._report_state' run outlasted interval by 9.24 sec</div><div>2016-11-30 15:10:54.385 25141 WARNING oslo.service.loopingcall [-] Function 'nova.servicegroup.drivers.db.<wbr>DbDriver._report_state' run outlasted interval by 9.11 sec</div><div>2016-11-30 15:11:01.964 25128 WARNING oslo.service.loopingcall [-] Function 'nova.servicegroup.drivers.db.<wbr>DbDriver._report_state' run outlasted interval by 3.09 sec</div><div>2016-11-30 15:11:05.503 25142 WARNING oslo.service.loopingcall [-] Function 'nova.servicegroup.drivers.db.<wbr>DbDriver._report_state' run outlasted interval by 1.13 sec</div><div>2016-11-30 15:11:05.506 25138 WARNING oslo.service.loopingcall [-] Function 'nova.servicegroup.drivers.db.<wbr>DbDriver._report_state' run outlasted interval by 1.12 sec</div><div>2016-11-30 15:11:05.509 25139 WARNING oslo.service.loopingcall [-] Function 'nova.servicegroup.drivers.db.<wbr>DbDriver._report_state' run outlasted interval by 1.13 sec</div><div>2016-11-30 15:11:05.512 25141 WARNING oslo.service.loopingcall [-] Function 'nova.servicegroup.drivers.db.<wbr>DbDriver._report_state' run outlasted interval by 1.13 sec</div><div>2016-11-30 15:11:05.525 25143 WARNING oslo.service.loopingcall [-] Function 'nova.servicegroup.drivers.db.<wbr>DbDriver._report_state' run outlasted interval by 1.14 sec</div><div>2016-11-30 15:11:05.526 25140 WARNING oslo.service.loopingcall [-] Function 'nova.servicegroup.drivers.db.<wbr>DbDriver._report_state' run outlasted interval by 1.15 sec</div><div>2016-11-30 15:11:05.529 25129 WARNING oslo.service.loopingcall [-] Function 'nova.servicegroup.drivers.db.<wbr>DbDriver._report_state' run outlasted interval by 1.15 sec</div></div>
<br></div></div><span class="">______________________________<wbr>_________________<br>
OpenStack-operators mailing list<br>
<a href="mailto:OpenStack-operators@lists.openstack.org" target="_blank">OpenStack-operators@lists.open<wbr>stack.org</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-operators" rel="noreferrer" target="_blank">http://lists.openstack.org/cgi<wbr>-bin/mailman/listinfo/openstac<wbr>k-operators</a><br>
<br></span></blockquote></div><br></div>
</blockquote></div><br></div>