<div dir="ltr"><div>Hi Smooney,</div><div><br></div><div>thank you for your help. I am trying to enable randomization but not working. The instance I have created is still in the same node. Below is my nova configuration (added randomization from your suggestion) from the master node (Template jinja2 based).</div><div><br></div><div style="margin-left:40px"><div style="color:rgb(0,0,0);background-color:rgb(255,255,255);font-weight:normal;font-size:14px;line-height:19px;white-space:pre"><div><span style="color:rgb(0,0,0)">[DEFAULT]</span></div><div><span style="color:rgb(0,0,0)">enabled_apis = osapi_compute,metadata</span></div><div><span style="color:rgb(0,0,0)">transport_url = rabbit://openstack:{{ </span><span style="color:rgb(0,16,128)">rabbitmq_pw</span><span style="color:rgb(0,0,0)"> }}@{{ </span><span style="color:rgb(0,16,128)">controller1_ip_man</span><span style="color:rgb(0,0,0)"> }}:5672,openstack:{{ </span><span style="color:rgb(0,16,128)">rabbitmq_pw</span><span style="color:rgb(0,0,0)"> }}@{{ </span><span style="color:rgb(0,16,128)">controller2_ip_man</span><span style="color:rgb(0,0,0)"> }}:5672,openstack:{{ </span><span style="color:rgb(0,16,128)">rabbitmq_pw</span><span style="color:rgb(0,0,0)"> }}@{{ </span><span style="color:rgb(0,16,128)">controller3_ip_man</span><span style="color:rgb(0,0,0)"> }}:5672</span></div><div><span style="color:rgb(0,0,0)">my_ip = {{ </span><span style="color:rgb(0,16,128)">hostvars</span><span style="color:rgb(0,0,0)">[</span><span style="color:rgb(0,16,128)">inventory_hostname</span><span style="color:rgb(0,0,0)">][</span><span style="color:rgb(163,21,21)">'ansible_ens3f1'</span><span style="color:rgb(0,0,0)">][</span><span style="color:rgb(163,21,21)">'ipv4'</span><span style="color:rgb(0,0,0)">][</span><span style="color:rgb(163,21,21)">'address'</span><span style="color:rgb(0,0,0)">] }}</span></div><div><span style="color:rgb(0,0,0)">use_neutron = True</span></div><div><span style="color:rgb(0,0,0)">firewall_driver = nova.virt.firewall.NoopFirewallDriver</span></div><div><span style="color:rgb(0,0,0)">[api]</span></div><div><span style="color:rgb(0,0,0)">auth_strategy = keystone</span></div><div><span style="color:rgb(0,0,0)">[api_database]</span></div><div><span style="color:rgb(0,0,0)">[barbican]</span></div><div><span style="color:rgb(0,0,0)">[cache]</span></div><div><span style="color:rgb(0,0,0)">backend=oslo_cache.memcache_pool</span></div><div><span style="color:rgb(0,0,0)">enabled=true</span></div><div><span style="color:rgb(0,0,0)">memcache_servers={{ </span><span style="color:rgb(0,16,128)">controller1_ip_man</span><span style="color:rgb(0,0,0)"> }}:11211,{{ </span><span style="color:rgb(0,16,128)">controller2_ip_man</span><span style="color:rgb(0,0,0)"> }}:11211,{{ </span><span style="color:rgb(0,16,128)">controller3_ip_man</span><span style="color:rgb(0,0,0)"> }}:11211</span></div><div><span style="color:rgb(0,0,0)">[cells]</span></div><div><span style="color:rgb(0,0,0)">[cinder]</span></div><div><span style="color:rgb(0,0,0)">[compute]</span></div><div><span style="color:rgb(0,0,0)">[conductor]</span></div><div><span style="color:rgb(0,0,0)">[console]</span></div><div><span style="color:rgb(0,0,0)">[consoleauth]</span></div><div><span style="color:rgb(0,0,0)">[cors]</span></div><div><span style="color:rgb(0,0,0)">[crypto]</span></div><div><span style="color:rgb(0,0,0)">[database]</span></div><div><span style="color:rgb(0,0,0)">[devices]</span></div><div><span style="color:rgb(0,0,0)">[ephemeral_storage_encryption]</span></div><div><span style="color:rgb(0,0,0)">[filter_scheduler]</span></div><div><span style="color:rgb(0,0,0)">[glance]</span></div><div><span style="color:rgb(0,0,0)">api_servers = http://{{ </span><span style="color:rgb(0,16,128)">vip</span><span style="color:rgb(0,0,0)"> }}:9292</span></div><div><span style="color:rgb(0,0,0)">[guestfs]</span></div><div><span style="color:rgb(0,0,0)">[healthcheck]</span></div><div><span style="color:rgb(0,0,0)">[hyperv]</span></div><div><span style="color:rgb(0,0,0)">[ironic]</span></div><div><span style="color:rgb(0,0,0)">[key_manager]</span></div><div><span style="color:rgb(0,0,0)">[keystone]</span></div><div><span style="color:rgb(0,0,0)">[keystone_authtoken]</span></div><div><span style="color:rgb(0,0,0)">auth_url = http://{{ </span><span style="color:rgb(0,16,128)">vip</span><span style="color:rgb(0,0,0)"> }}:5000/v3</span></div><div><span style="color:rgb(0,0,0)">memcached_servers = {{ </span><span style="color:rgb(0,16,128)">controller1_ip_man</span><span style="color:rgb(0,0,0)"> }}:11211,{{ </span><span style="color:rgb(0,16,128)">controller2_ip_man</span><span style="color:rgb(0,0,0)"> }}:11211,{{ </span><span style="color:rgb(0,16,128)">controller3_ip_man</span><span style="color:rgb(0,0,0)"> }}:11211</span></div><div><span style="color:rgb(0,0,0)">auth_type = password</span></div><div><span style="color:rgb(0,0,0)">project_domain_name = default</span></div><div><span style="color:rgb(0,0,0)">user_domain_name = default</span></div><div><span style="color:rgb(0,0,0)">project_name = service</span></div><div><span style="color:rgb(0,0,0)">username = nova</span></div><div><span style="color:rgb(0,0,0)">password = {{ </span><span style="color:rgb(0,16,128)">nova_pw</span><span style="color:rgb(0,0,0)"> }}</span></div><div><span style="color:rgb(0,0,0)">[libvirt]</span></div><div><span style="color:rgb(0,0,0)">virt_type = kvm</span></div><div><span style="color:rgb(0,0,0)">[matchmaker_redis]</span></div><div><span style="color:rgb(0,0,0)">[metrics]</span></div><div><span style="color:rgb(0,0,0)">[mks]</span></div><div><span style="color:rgb(0,0,0)">[neutron]</span></div><div><span style="color:rgb(0,0,0)">url = http://{{ </span><span style="color:rgb(0,16,128)">vip</span><span style="color:rgb(0,0,0)"> }}:9696</span></div><div><span style="color:rgb(0,0,0)">auth_url = http://{{ </span><span style="color:rgb(0,16,128)">vip</span><span style="color:rgb(0,0,0)"> }}:35357</span></div><div><span style="color:rgb(0,0,0)">auth_type = password</span></div><div><span style="color:rgb(0,0,0)">project_domain_name = default</span></div><div><span style="color:rgb(0,0,0)">user_domain_name = default</span></div><div><span style="color:rgb(0,0,0)">region_name = RegionOne</span></div><div><span style="color:rgb(0,0,0)">project_name = service</span></div><div><span style="color:rgb(0,0,0)">username = neutron</span></div><div><span style="color:rgb(0,0,0)">password = {{ </span><span style="color:rgb(0,16,128)">neutron_pw</span><span style="color:rgb(0,0,0)"> }}</span></div><div><span style="color:rgb(0,0,0)">[notifications]</span></div><div><span style="color:rgb(0,0,0)">[osapi_v21]</span></div><div><span style="color:rgb(0,0,0)">[oslo_concurrency]</span></div><div><span style="color:rgb(0,0,0)">lock_path = /var/lib/nova/tmp</span></div><div><span style="color:rgb(0,0,0)">[oslo_messaging_amqp]</span></div><div><span style="color:rgb(0,0,0)">[oslo_messaging_kafka]</span></div><div><span style="color:rgb(0,0,0)">[oslo_messaging_notifications]</span></div><div><span style="color:rgb(0,0,0)">[oslo_messaging_rabbit]</span></div><div><span style="color:rgb(0,0,0)">[oslo_messaging_zmq]</span></div><div><span style="color:rgb(0,0,0)">[oslo_middleware]</span></div><div><span style="color:rgb(0,0,0)">[oslo_policy]</span></div><div><span style="color:rgb(0,0,0)">[pci]</span></div><div><span style="color:rgb(0,0,0)">[placement]</span></div><div><span style="color:rgb(0,0,0)">os_region_name = RegionOne</span></div><div><span style="color:rgb(0,0,0)">project_domain_name = Default</span></div><div><span style="color:rgb(0,0,0)">project_name = service</span></div><div><span style="color:rgb(0,0,0)">auth_type = password</span></div><div><span style="color:rgb(0,0,0)">user_domain_name = Default</span></div><div><span style="color:rgb(0,0,0)">auth_url = http://{{ </span><span style="color:rgb(0,16,128)">vip</span><span style="color:rgb(0,0,0)"> }}:5000/v3</span></div><div><span style="color:rgb(0,0,0)">username = placement</span></div><div><span style="color:rgb(0,0,0)">password = {{ </span><span style="color:rgb(0,16,128)">placement_pw</span><span style="color:rgb(0,0,0)"> }}</span></div><div><span style="color:rgb(0,0,0)">[quota]</span></div><div><span style="color:rgb(0,0,0)">[rdp]</span></div><div><span style="color:rgb(0,0,0)">[remote_debug]</span></div><div><span style="color:rgb(0,0,0)">[scheduler]</span></div><div><span style="color:rgb(0,0,0)">[serial_console]</span></div><div><span style="color:rgb(0,0,0)">[service_user]</span></div><div><span style="color:rgb(0,0,0)">[spice]</span></div><div><span style="color:rgb(0,0,0)">[upgrade_levels]</span></div><div><span style="color:rgb(0,0,0)">[vault]</span></div><div><span style="color:rgb(0,0,0)">[vendordata_dynamic_auth]</span></div><div><span style="color:rgb(0,0,0)">[vmware]</span></div><div><span style="color:rgb(0,0,0)">[vnc]</span></div><div><span style="color:rgb(0,0,0)">enabled = True</span></div><div><span style="color:rgb(0,0,0)">keymap=en-us</span></div><div><span style="color:rgb(0,0,0)">server_listen = {{ </span><span style="color:rgb(0,16,128)">hostvars</span><span style="color:rgb(0,0,0)">[</span><span style="color:rgb(0,16,128)">inventory_hostname</span><span style="color:rgb(0,0,0)">][</span><span style="color:rgb(163,21,21)">'ansible_ens3f1'</span><span style="color:rgb(0,0,0)">][</span><span style="color:rgb(163,21,21)">'ipv4'</span><span style="color:rgb(0,0,0)">][</span><span style="color:rgb(163,21,21)">'address'</span><span style="color:rgb(0,0,0)">] }}</span></div><div><span style="color:rgb(0,0,0)">server_proxyclient_address = {{ </span><span style="color:rgb(0,16,128)">hostvars</span><span style="color:rgb(0,0,0)">[</span><span style="color:rgb(0,16,128)">inventory_hostname</span><span style="color:rgb(0,0,0)">][</span><span style="color:rgb(163,21,21)">'ansible_ens3f1'</span><span style="color:rgb(0,0,0)">][</span><span style="color:rgb(163,21,21)">'ipv4'</span><span style="color:rgb(0,0,0)">][</span><span style="color:rgb(163,21,21)">'address'</span><span style="color:rgb(0,0,0)">] }}</span></div><div><span style="color:rgb(0,0,0)">novncproxy_base_url = https://{{ </span><span style="color:rgb(0,16,128)">vip</span><span style="color:rgb(0,0,0)"> }}:6080/vnc_auto.html</span></div><div><span style="color:rgb(0,0,0)">[workarounds]</span></div><div><span style="color:rgb(0,0,0)">[wsgi]</span></div><div><span style="color:rgb(0,0,0)">[xenserver]</span></div><div><span style="color:rgb(0,0,0)">[xvp]</span></div></div></div><div style="color:rgb(0,0,0);background-color:rgb(255,255,255);font-weight:normal;font-size:14px;line-height:19px;white-space:pre"><div><span style="color:rgb(0,0,0)"><br></span></div><font color="rgb(34, 34, 34)">Thank you,</font></div><div style="color:rgb(0,0,0);background-color:rgb(255,255,255);font-weight:normal;font-size:14px;line-height:19px;white-space:pre"><font color="rgb(34, 34, 34)"><br></font></div><div style="color:rgb(0,0,0);background-color:rgb(255,255,255);font-weight:normal;font-size:14px;line-height:19px;white-space:pre"><font color="rgb(34, 34, 34)">Best Regards,</font></div><div style="color:rgb(0,0,0);background-color:rgb(255,255,255);font-weight:normal;font-size:14px;line-height:19px;white-space:pre"><font color="rgb(34, 34, 34)">Zufar Dhiyaulhaq<br></font></div><br><div class="gmail_quote"><div dir="ltr">On Mon, Nov 26, 2018 at 11:13 PM Sean Mooney <<a href="mailto:smooney@redhat.com">smooney@redhat.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">On Mon, 2018-11-26 at 17:45 +0700, Zufar Dhiyaulhaq wrote:<br>
> Hi,<br>
> <br>
> I am deploying OpenStack with 3 compute node, but I am seeing an abnormal distribution of instance, the instance is<br>
> only deployed in a specific compute node, and not distribute among other compute node. <br>
> <br>
> this is my nova.conf from the compute node. (template jinja2 based)<br>
<br>
hi, the default behavior of nova used to be spread not pack and i belive it still is.<br>
the default behavior with placement however is closer to a packing behavior as<br>
allcoation candiates are retrunidn in an undefined but deterministic order.<br>
<br>
on a busy cloud this does not strictly pack instaces but on a quite cloud it effectivly does<br>
<br>
you can try and enable randomisation of the allocation candiates by setting this config option in <br>
the nova.conf of the shcduler to true.<br>
<a href="https://docs.openstack.org/nova/latest/configuration/config.html#placement.randomize_allocation_candidates" rel="noreferrer" target="_blank">https://docs.openstack.org/nova/latest/configuration/config.html#placement.randomize_allocation_candidates</a><br>
<br>
on that note can you provide the nova.conf for the schduelr is used instead of the compute node nova.conf.<br>
if you have not overriden any of the nova defaults the ram and cpu weigher should spread instances withing<br>
the allocation candiates returned by placement.<br>
<br>
> <br>
> [DEFAULT]<br>
> osapi_compute_listen = {{ hostvars[inventory_hostname]['ansible_ens3f1']['ipv4']['address'] }}<br>
> metadata_listen = {{ hostvars[inventory_hostname]['ansible_ens3f1']['ipv4']['address'] }}<br>
> enabled_apis = osapi_compute,metadata<br>
> transport_url = rabbit://openstack:{{ rabbitmq_pw }}@{{ controller1_ip_man }}:5672,openstack:{{ rabbitmq_pw }}@{{<br>
> controller2_ip_man }}:5672,openstack:{{ rabbitmq_pw }}@{{ controller3_ip_man }}:5672<br>
> my_ip = {{ hostvars[inventory_hostname]['ansible_ens3f1']['ipv4']['address'] }}<br>
> use_neutron = True<br>
> firewall_driver = nova.virt.firewall.NoopFirewallDriver<br>
> [api]<br>
> auth_strategy = keystone<br>
> [api_database]<br>
> connection = mysql+pymysql://nova:{{ nova_dbpw }}@{{ vip }}/nova_api<br>
> [barbican]<br>
> [cache]<br>
> backend=oslo_cache.memcache_pool<br>
> enabled=true<br>
> memcache_servers={{ controller1_ip_man }}:11211,{{ controller2_ip_man }}:11211,{{ controller3_ip_man }}:11211<br>
> [cells]<br>
> [cinder]<br>
> os_region_name = RegionOne<br>
> [compute]<br>
> [conductor]<br>
> [console]<br>
> [consoleauth]<br>
> [cors]<br>
> [crypto]<br>
> [database]<br>
> connection = mysql+pymysql://nova:{{ nova_dbpw }}@{{ vip }}/nova<br>
> [devices]<br>
> [ephemeral_storage_encryption]<br>
> [filter_scheduler]<br>
> [glance]<br>
> api_servers = http://{{ vip }}:9292<br>
> [guestfs]<br>
> [healthcheck]<br>
> [hyperv]<br>
> [ironic]<br>
> [key_manager]<br>
> [keystone]<br>
> [keystone_authtoken]<br>
> auth_url = http://{{ vip }}:5000/v3<br>
> memcached_servers = {{ controller1_ip_man }}:11211,{{ controller2_ip_man }}:11211,{{ controller3_ip_man }}:11211<br>
> auth_type = password<br>
> project_domain_name = default<br>
> user_domain_name = default<br>
> project_name = service<br>
> username = nova<br>
> password = {{ nova_pw }}<br>
> [libvirt]<br>
> [matchmaker_redis]<br>
> [metrics]<br>
> [mks]<br>
> [neutron]<br>
> url = http://{{ vip }}:9696<br>
> auth_url = http://{{ vip }}:35357<br>
> auth_type = password<br>
> project_domain_name = default<br>
> user_domain_name = default<br>
> region_name = RegionOne<br>
> project_name = service<br>
> username = neutron<br>
> password = {{ neutron_pw }}<br>
> service_metadata_proxy = true<br>
> metadata_proxy_shared_secret = {{ metadata_secret }}<br>
> [notifications]<br>
> [osapi_v21]<br>
> [oslo_concurrency]<br>
> lock_path = /var/lib/nova/tmp<br>
> [oslo_messaging_amqp]<br>
> [oslo_messaging_kafka]<br>
> [oslo_messaging_notifications]<br>
> [oslo_messaging_rabbit]<br>
> [oslo_messaging_zmq]<br>
> [oslo_middleware]<br>
> [oslo_policy]<br>
> [pci]<br>
> [placement]<br>
> os_region_name = RegionOne<br>
> project_domain_name = Default<br>
> project_name = service<br>
> auth_type = password<br>
> user_domain_name = Default<br>
> auth_url = http://{{ vip }}:5000/v3<br>
> username = placement<br>
> password = {{ placement_pw }}<br>
> [quota]<br>
> [rdp]<br>
> [remote_debug]<br>
> [scheduler]<br>
> discover_hosts_in_cells_interval = 300<br>
> [serial_console]<br>
> [service_user]<br>
> [spice]<br>
> [upgrade_levels]<br>
> [vault]<br>
> [vendordata_dynamic_auth]<br>
> [vmware]<br>
> [vnc]<br>
> enabled = true<br>
> keymap=en-us<br>
> novncproxy_base_url = https://{{ vip }}:6080/vnc_auto.html<br>
> novncproxy_host = {{ hostvars[inventory_hostname]['ansible_ens3f1']['ipv4']['address'] }}<br>
> [workarounds]<br>
> [wsgi]<br>
> [xenserver]<br>
> [xvp]<br>
> [placement_database]<br>
> connection=mysql+pymysql://nova:{{ nova_dbpw }}@{{ vip }}/nova_placement<br>
> <br>
> what is the problem? I have lookup the openstack-nova-scheduler in the controller node but it's running well with only<br>
> warning<br>
> <br>
>  nova-scheduler[19255]: /usr/lib/python2.7/site-packages/oslo_db/sqlalchemy/enginefacade.py:332: NotSupportedWarning:<br>
> Configuration option(s) ['use_tpool'] not supported<br>
> <br>
> the result I want is the instance is distributed in all compute node.<br>
> Thank you.<br>
> <br>
> _______________________________________________<br>
> Mailing list: <a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack" rel="noreferrer" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack</a><br>
> Post to     : <a href="mailto:openstack@lists.openstack.org" target="_blank">openstack@lists.openstack.org</a><br>
> Unsubscribe : <a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack" rel="noreferrer" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack</a><br>
</blockquote></div><br clear="all"><br></div>