<div dir="ltr"><div dir="ltr"><div>Hi,</div><div><br></div><div>Trove install on OpenStack Pike shows error in logs related to "Manager.publish_exists_event". Has anyone managed to install Trove on Pike without getting this error? Any help would be appreciated. Logs and config included below. </div><div><br></div><div>Thank you!</div><div><br></div><div>Regards,</div><div>Vimal</div><div><br></div><div><br></div><div><br></div><div><br></div><div>Trove Log:</div><div><br></div><div>2018-09-19 16:42:31.337 8681 ERROR oslo_service.periodic_task [-] Error during Manager.publish_exists_event: Unauthorized: The request you have made requires authentication. (HTTP 401) (Request-ID: req-5dece909-c107-491a-91fc-9eaa8c7b8a91)</div><div>2018-09-19 16:42:31.337 8681 ERROR oslo_service.periodic_task Traceback (most recent call last):</div><div>2018-09-19 16:42:31.337 8681 ERROR oslo_service.periodic_task   File "/usr/lib/python2.7/site-packages/oslo_service/periodic_task.py", line 220, in run_periodic_tasks</div><div>2018-09-19 16:42:31.337 8681 ERROR oslo_service.periodic_task     task(self, context)</div><div>2018-09-19 16:42:31.337 8681 ERROR oslo_service.periodic_task   File "/usr/lib/python2.7/site-packages/trove/taskmanager/manager.py", line 433, in publish_exists_event</div><div>2018-09-19 16:42:31.337 8681 ERROR oslo_service.periodic_task     self.admin_context)</div><div>2018-09-19 16:42:31.337 8681 ERROR oslo_service.periodic_task   File "/usr/lib/python2.7/site-packages/trove/extensions/mgmt/instances/models.py", line 176, in publish_exist_events</div><div>2018-09-19 16:42:31.337 8681 ERROR oslo_service.periodic_task     notifications = transformer()</div><div>2018-09-19 16:42:31.337 8681 ERROR oslo_service.periodic_task   File "/usr/lib/python2.7/site-packages/trove/extensions/mgmt/instances/models.py", line 268, in __call__</div><div>2018-09-19 16:42:31.337 8681 ERROR oslo_service.periodic_task     client=self.nova_client)</div><div>2018-09-19 16:42:31.337 8681 ERROR oslo_service.periodic_task   File "/usr/lib/python2.7/site-packages/trove/extensions/mgmt/instances/models.py", line 38, in load_mgmt_instances</div><div>2018-09-19 16:42:31.337 8681 ERROR oslo_service.periodic_task     mgmt_servers = client.servers.list(search_opts={'all_tenants': 1})</div><div>2018-09-19 16:42:31.337 8681 ERROR oslo_service.periodic_task   File "/usr/lib/python2.7/site-packages/novaclient/v2/servers.py", line 884, in list</div><div>2018-09-19 16:42:31.337 8681 ERROR oslo_service.periodic_task     "servers")</div><div>2018-09-19 16:42:31.337 8681 ERROR oslo_service.periodic_task   File "/usr/lib/python2.7/site-packages/novaclient/base.py", line 254, in _list</div><div>2018-09-19 16:42:31.337 8681 ERROR oslo_service.periodic_task     resp, body = self.api.client.get(url)</div><div>2018-09-19 16:42:31.337 8681 ERROR oslo_service.periodic_task   File "/usr/lib/python2.7/site-packages/keystoneauth1/adapter.py", line 288, in get</div><div>2018-09-19 16:42:31.337 8681 ERROR oslo_service.periodic_task     return self.request(url, 'GET', **kwargs)</div><div>2018-09-19 16:42:31.337 8681 ERROR oslo_service.periodic_task   File "/usr/lib/python2.7/site-packages/novaclient/client.py", line 77, in request</div><div>2018-09-19 16:42:31.337 8681 ERROR oslo_service.periodic_task     **kwargs)</div><div>2018-09-19 16:42:31.337 8681 ERROR oslo_service.periodic_task   File "/usr/lib/python2.7/site-packages/keystoneauth1/adapter.py", line 447, in request</div><div>2018-09-19 16:42:31.337 8681 ERROR oslo_service.periodic_task     resp = super(LegacyJsonAdapter, self).request(*args, **kwargs)</div><div>2018-09-19 16:42:31.337 8681 ERROR oslo_service.periodic_task   File "/usr/lib/python2.7/site-packages/keystoneauth1/adapter.py", line 192, in request</div><div>2018-09-19 16:42:31.337 8681 ERROR oslo_service.periodic_task     return self.session.request(url, method, **kwargs)</div><div>2018-09-19 16:42:31.337 8681 ERROR oslo_service.periodic_task   File "/usr/lib/python2.7/site-packages/positional/__init__.py", line 101, in inner</div><div>2018-09-19 16:42:31.337 8681 ERROR oslo_service.periodic_task     return wrapped(*args, **kwargs)</div><div>2018-09-19 16:42:31.337 8681 ERROR oslo_service.periodic_task   File "/usr/lib/python2.7/site-packages/keystoneauth1/session.py", line 578, in request</div><div>2018-09-19 16:42:31.337 8681 ERROR oslo_service.periodic_task     auth_headers = self.get_auth_headers(auth)</div><div>2018-09-19 16:42:31.337 8681 ERROR oslo_service.periodic_task   File "/usr/lib/python2.7/site-packages/keystoneauth1/session.py", line 905, in get_auth_headers</div><div>2018-09-19 16:42:31.337 8681 ERROR oslo_service.periodic_task     return auth.get_headers(self, **kwargs)</div><div>2018-09-19 16:42:31.337 8681 ERROR oslo_service.periodic_task   File "/usr/lib/python2.7/site-packages/keystoneauth1/plugin.py", line 90, in get_headers</div><div>2018-09-19 16:42:31.337 8681 ERROR oslo_service.periodic_task     token = self.get_token(session)</div><div>2018-09-19 16:42:31.337 8681 ERROR oslo_service.periodic_task   File "/usr/lib/python2.7/site-packages/keystoneauth1/identity/base.py", line 89, in get_token</div><div>2018-09-19 16:42:31.337 8681 ERROR oslo_service.periodic_task     return self.get_access(session).auth_token</div><div>2018-09-19 16:42:31.337 8681 ERROR oslo_service.periodic_task   File "/usr/lib/python2.7/site-packages/keystoneauth1/identity/base.py", line 135, in get_access</div><div>2018-09-19 16:42:31.337 8681 ERROR oslo_service.periodic_task     self.auth_ref = self.get_auth_ref(session)</div><div>2018-09-19 16:42:31.337 8681 ERROR oslo_service.periodic_task   File "/usr/lib/python2.7/site-packages/keystoneauth1/identity/generic/base.py", line 198, in get_auth_ref</div><div>2018-09-19 16:42:31.337 8681 ERROR oslo_service.periodic_task     return self._plugin.get_auth_ref(session, **kwargs)</div><div>2018-09-19 16:42:31.337 8681 ERROR oslo_service.periodic_task   File "/usr/lib/python2.7/site-packages/keystoneauth1/identity/v2.py", line 65, in get_auth_ref</div><div>2018-09-19 16:42:31.337 8681 ERROR oslo_service.periodic_task     authenticated=False, log=False)</div><div>2018-09-19 16:42:31.337 8681 ERROR oslo_service.periodic_task   File "/usr/lib/python2.7/site-packages/keystoneauth1/session.py", line 853, in post</div><div>2018-09-19 16:42:31.337 8681 ERROR oslo_service.periodic_task     return self.request(url, 'POST', **kwargs)</div><div>2018-09-19 16:42:31.337 8681 ERROR oslo_service.periodic_task   File "/usr/lib/python2.7/site-packages/positional/__init__.py", line 101, in inner</div><div>2018-09-19 16:42:31.337 8681 ERROR oslo_service.periodic_task     return wrapped(*args, **kwargs)</div><div>2018-09-19 16:42:31.337 8681 ERROR oslo_service.periodic_task   File "/usr/lib/python2.7/site-packages/keystoneauth1/session.py", line 742, in request</div><div>2018-09-19 16:42:31.337 8681 ERROR oslo_service.periodic_task     raise exceptions.from_response(resp, method, url)</div><div>2018-09-19 16:42:31.337 8681 ERROR oslo_service.periodic_task Unauthorized: The request you have made requires authentication. (HTTP 401) (Request-ID: req-5dece909-c107-491a-91fc-9eaa8c7b8a91)</div><div>2018-09-19 16:42:31.337 8681 ERROR oslo_service.periodic_task</div><div><br></div><div><br></div><div>Keystone Log:</div><div><br></div><div>2018-09-19 16:42:31.327 938 DEBUG keystone.middleware.auth [req-5dece909-c107-491a-91fc-9eaa8c7b8a91 - - - - -] There is either no auth token in the request or the certificate issuer is not trusted. No auth context will be set. fill_context /usr/lib/python2.7/site-packages/keystone/middleware/auth.py:203</div><div>2018-09-19 16:42:31.329 938 INFO keystone.common.wsgi [req-5dece909-c107-491a-91fc-9eaa8c7b8a91 - - - - -] POST <a href="http://keystone:35357/v2.0/tokens">http://keystone:35357/v2.0/tokens</a></div><div>2018-09-19 16:42:31.332 938 DEBUG keystone.common.fernet_utils [req-5dece909-c107-491a-91fc-9eaa8c7b8a91 - - - - -] Loaded 2 Fernet keys from /etc/keystone/fernet-keys/, but `[fernet_tokens] max_active_keys = 3`; perhaps there have not been enough key rotations to reach `max_active_keys` yet? load_keys /usr/lib/python2.7/site-packages/keystone/common/fernet_utils.py:306</div><div>2018-09-19 16:42:31.333 938 WARNING keystone.common.wsgi [req-5dece909-c107-491a-91fc-9eaa8c7b8a91 - - - - -] Authorization failed. The request you have made requires authentication. from <a href="http://10.0.0.1">10.0.0.1</a>: Unauthorized: The request you have made requires authentication.</div><div><br></div><div><br></div><div>trove.conf:</div><div><br></div><div>[DEFAULT]</div><div>trove_api_workers = 2</div><div>default_datastore = mysql</div><div>debug = True</div><div>verbose = True</div><div>#use_syslog = True</div><div>bind_host = 0.0.0.0</div><div>bind_port = 8779</div><div>rpc_backend = rabbit</div><div>control_exchange = trove</div><div>db_api_implementation = "trove.db.sqlalchemy.api"</div><div>#trove_auth_url = <a href="http://keystone:35357/v3">http://keystone:35357/v3</a></div><div>trove_auth_url = <a href="http://keystone:35357">http://keystone:35357</a></div><div>nova_compute_url = <a href="http://openstack:8774/v2">http://openstack:8774/v2</a></div><div>neutron_url = <a href="http://openstack:9696/">http://openstack:9696/</a></div><div>notifier_queue_hostname = openstack</div><div>trove_volume_support = True</div><div>block_device_mapping = vdb</div><div>device_path = /dev/vdb</div><div>max_accepted_volume_size = 10</div><div>max_instances_per_tenant = 5</div><div>max_volumes_per_tenant = 100</div><div>max_backups_per_tenant = 5</div><div>volume_time_out=30</div><div>http_get_rate = 200</div><div>http_post_rate = 200</div><div>http_put_rate = 200</div><div>http_delete_rate = 200</div><div>http_mgmt_post_rate = 200</div><div>trove_dns_support = False</div><div>dns_account_id = 123456</div><div>dns_auth_url = <a href="http://127.0.0.1/identity/v2.0">http://127.0.0.1/identity/v2.0</a></div><div>dns_username = user</div><div>dns_passkey = password</div><div>dns_ttl = 3600</div><div>dns_domain_name = '<a href="http://trove.com">trove.com</a>.'</div><div>dns_domain_id = 11111111-1111-1111-1111-111111111111</div><div>dns_driver = trove.dns.designate.driver.DesignateDriver</div><div>dns_instance_entry_factory = trove.dns.designate.driver.DesignateInstanceEntryFactory</div><div>dns_endpoint_url = <a href="http://127.0.0.1/v1/">http://127.0.0.1/v1/</a></div><div>dns_service_type = dns</div><div>network_driver = trove.network.neutron.NeutronDriver</div><div>default_neutron_networks =</div><div>taskmanager_queue = taskmanager</div><div>admin_roles = admin</div><div>agent_heartbeat_time = 10</div><div>agent_call_low_timeout = 5</div><div>agent_call_high_timeout = 150</div><div>reboot_time_out = 60</div><div>api_paste_config = /etc/trove/api-paste.ini</div><div>log_file = /var/log/trove/trove.log</div><div>auth_strategy = keystone</div><div>add_addresses = True</div><div>network_label_regex = .*</div><div>ip_regex = .*</div><div>black_list_regex = </div><div>log_dir = /var/log/trove</div><div>[keystone_authtoken]</div><div>auth_url = <a href="http://keystone:5000">http://keystone:5000</a></div><div>auth_type = password</div><div>project_domain_name = default</div><div>user_domain_name = default</div><div>project_name = service</div><div>username = trove</div><div>password = 2ffa4772223b858064e5</div><div>memcached_servers = controller01:11211,controller02:11211,controller03:11211</div><div>[database]</div><div>connection = mysql+pymysql://trove:2ffa4772223b858064e5@controller03/trove</div><div>idle_timeout = 3600</div><div>[profiler]</div><div>[ssl]</div><div>[oslo_messaging_rabbit]</div><div>rabbit_hosts = openstack</div><div>rabbit_userid = trove</div><div>rabbit_password = 5c5014aa32cf7999d195</div><div>[mysql]</div><div>root_on_create = False</div><div>tcp_ports = 3306</div><div>volume_support = True</div><div>device_path = /dev/vdb</div><div>ignore_users = os_admin, root</div><div>ignore_dbs = mysql, information_schema, performance_schema</div><div>[redis]</div><div>tcp_ports = 6379, 16379</div><div>volume_support = False</div><div>[cassandra]</div><div>tcp_ports = 7000, 7001, 9042, 9160</div><div>volume_support = True</div><div>device_path = /dev/vdb</div><div>[couchbase]</div><div>tcp_ports = 8091, 8092, 4369, 11209-11211, 21100-21199</div><div>volume_support = True</div><div>device_path = /dev/vdb</div><div>[mongodb]</div><div>tcp_ports = 2500, 27017, 27019</div><div>volume_support = True</div><div>device_path = /dev/vdb</div><div>num_config_servers_per_cluster = 1</div><div>num_query_routers_per_cluster = 1</div><div>[vertica]</div><div>tcp_ports = 5433, 5434, 22, 5444, 5450, 4803</div><div>udp_ports = 5433, 4803, 4804, 6453</div><div>volume_support = True</div><div>device_path = /dev/vdb</div><div>cluster_support = True</div><div>cluster_member_count = 3</div><div>api_strategy = trove.common.strategies.cluster.experimental.vertica.api.VerticaAPIStrategy</div><div>[cors]</div><div>[cors.subdomain]</div><div>[oslo_middleware]</div><div><br></div><div><br></div><div>trove-taskmanager.conf:</div><div><br></div><div>[DEFAULT]</div><div>debug = True</div><div>verbose = True</div><div>#use_syslog = True</div><div>rpc_backend = rabbit</div><div>control_exchange = trove</div><div>update_status_on_fail = True</div><div>control_exchange = trove</div><div>db_api_implementation = trove.db.sqlalchemy.api</div><div>#trove_auth_url = <a href="http://keystone:35357/v3">http://keystone:35357/v3</a></div><div>trove_auth_url = <a href="http://keystone:35357">http://keystone:35357</a></div><div>nova_compute_url = <a href="http://openstack:8774/v2">http://openstack:8774/v2</a></div><div>notifier_queue_hostname = openstack</div><div>trove_volume_support = True</div><div>block_device_mapping = vdb</div><div>device_path = /dev/vdb</div><div>mount_point = /var/lib/mysql</div><div>volume_time_out=30</div><div>server_delete_time_out=480</div><div>use_nova_server_config_drive = True</div><div>nova_proxy_admin_user = trove</div><div>nova_proxy_admin_pass = 2ffa4772223b858064e5 </div><div>nova_proxy_admin_tenant_name = service</div><div>taskmanager_manager=trove.taskmanager.manager.Manager</div><div>exists_notification_transformer = trove.extensions.mgmt.instances.models.NovaNotificationTransformer</div><div>exists_notification_ticks = 30</div><div>notification_service_id = mysql:2f3ff068-2bfb-4f70-9a9d-a6bb65bc084b</div><div>trove_dns_support = False</div><div>dns_account_id = 123456</div><div>dns_auth_url = <a href="http://127.0.0.1/identity/v2.0">http://127.0.0.1/identity/v2.0</a></div><div>dns_username = user</div><div>dns_passkey = password</div><div>dns_ttl = 3600</div><div>dns_domain_name = '<a href="http://trove.com">trove.com</a>.'</div><div>dns_domain_id = 11111111-1111-1111-1111-111111111111</div><div>dns_driver = trove.dns.designate.driver.DesignateDriver</div><div>dns_instance_entry_factory = trove.dns.designate.driver.DesignateInstanceEntryFactory</div><div>dns_endpoint_url = <a href="http://127.0.0.1/v1/">http://127.0.0.1/v1/</a></div><div>dns_service_type = dns</div><div>network_driver = trove.network.neutron.NeutronDriver</div><div>network_label_regex = .*</div><div>ip_regex = .*</div><div>black_list_regex =</div><div>default_neutron_networks =</div><div>trove_security_groups_support = True</div><div>trove_security_group_rule_cidr = <a href="http://0.0.0.0/0">0.0.0.0/0</a></div><div>agent_heartbeat_time = 10</div><div>agent_call_low_timeout = 20</div><div>agent_call_high_timeout = 150</div><div>agent_replication_snapshot_timeout = 36000</div><div>use_nova_server_volume = False</div><div>template_path = /etc/trove/templates/</div><div>pydev_debug = disabled</div><div>[database]</div><div>connection = mysql+pymysql://trove:2ffa4772223b858064e5@controller03/trove</div><div>idle_timeout = 3600</div><div>[profiler]</div><div>[oslo_messaging_rabbit]</div><div>rabbit_hosts = openstack</div><div>rabbit_userid = trove</div><div>rabbit_password = 5c5014aa32cf7999d195</div><div>[mysql]</div><div>icmp = True</div><div>tcp_ports = 22, 3306</div><div>volume_support = True</div><div>device_path = /dev/vdb</div><div>[redis]</div><div>tcp_ports = 22, 6379, 16379</div><div>volume_support = False</div><div>[cassandra]</div><div>tcp_ports = 22, 7000, 7001, 7199, 9042, 9160</div><div>volume_support = True</div><div>device_path = /dev/vdb</div><div>[couchbase]</div><div>tcp_ports = 22, 8091, 8092, 4369, 11209-11211, 21100-21199</div><div>volume_support = True</div><div>device_path = /dev/vdb</div><div>[couchdb]</div><div>tcp_ports = 22, 5984</div><div>[db2]</div><div>tcp_ports = 22, 50000</div><div>[mariadb]</div><div>tcp_ports = 22, 3306, 4444, 4567, 4568</div><div>[mongodb]</div><div>volume_support = True</div><div>device_path = /dev/vdb</div><div>tcp_ports = 22, 2500, 27017, 27019</div><div>[percona]</div><div>tcp_ports = 22, 3306</div><div>[postgresql]</div><div>tcp_ports = 22, 5432</div><div>[pxc]</div><div>tcp_ports = 22, 3306, 4444, 4567, 4568</div><div>[vertica]</div><div>tcp_ports = 22, 5433, 5434, 22, 5444, 5450, 4803</div><div>udp_ports = 5433, 4803, 4804, 6453</div><div>volume_support = True</div><div>device_path = /dev/vdb</div><div>mount_point = /var/lib/vertica</div><div>taskmanager_strategy = trove.common.strategies.cluster.experimental.vertica.taskmanager.VerticaTaskManagerStrategy</div><div><br></div><div><br></div><div>trove-conductor.conf:</div><div><br></div><div>[DEFAULT]</div><div>debug = True</div><div>verbose = True</div><div>#use_syslog = True</div><div>#trove_auth_url = <a href="http://keystone:35357/v3">http://keystone:35357/v3</a></div><div>trove_auth_url = <a href="http://keystone:35357">http://keystone:35357</a></div><div>nova_compute_url = <a href="http://openstack:8774/v2">http://openstack:8774/v2</a></div><div>notifier_queue_hostname = openstack</div><div>conductor_manager = trove.conductor.manager.Manager</div><div>control_exchange = trove</div><div>[profiler]</div><div>[database]</div><div>connection = mysql+pymysql://trove:2ffa4772223b858064e5@controller03/trove</div><div>[oslo_messaging_rabbit]</div><div>rabbit_hosts = openstack</div><div>rabbit_userid = trove</div><div>rabbit_password = 5c5014aa32cf7999d195</div><div><br></div><div><br></div></div></div>