
<html><head><meta http-equiv="Content-Type" content="text/html charset=utf-8"></head><body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;" class="">Hi there, <div class=""><br class=""></div><div class="">I’m having an issue enabling Glance scrubber in Icehouse:</div><div class=""><br class=""></div><div class=""><table border="0" cellpadding="0" cellspacing="0" width="100%" class="" style="font-size: 1em; color: black; line-height: 1.4em !important;"><tbody class=""><tr id="syntaxplugin_code_and_gutter" class=""><td class="" style="padding: 0em; vertical-align: top; line-height: 1.4em !important;"><pre class="" style="font-size: 1em; margin: 0px 10px; width: auto; padding: 0px;"><span class="" style="font-family: Consolas, 'Bitstream Vera Sans Mono', 'Courier New', Courier, monospace !important;">$ service openstack-glance-scrubber status</span></pre></td></tr><tr id="syntaxplugin_code_and_gutter" class=""><td class="" style="padding: 0em; vertical-align: top; line-height: 1.4em !important;"><pre class="" style="font-size: 1em; margin: 0px 10px 10px; width: auto; padding: 0px;"><span class="" style="font-family: Consolas, 'Bitstream Vera Sans Mono', 'Courier New', Courier, monospace !important;">openstack-glance-scrubber dead but subsys locked

</span></pre></td></tr></tbody></table><div class="">I’ve tried:</div></div><div class="">- checking the PID, but there are no running processes found:</div><div class=""><table border="0" cellpadding="0" cellspacing="0" width="100%" class="" style="font-size: 1em; color: black; line-height: 1.4em !important;"><tbody class=""><tr id="syntaxplugin_code_and_gutter" class=""><td class="" style="padding: 0em; vertical-align: top; line-height: 1.4em !important;"><pre class="" style="font-size: 1em; margin: 10px 10px 0px; width: auto; padding: 0px;"><span class="" style="font-family: Consolas, 'Bitstream Vera Sans Mono', 'Courier New', Courier, monospace !important;">$ cat /var/run/glance/glance-scrubber.pid</span></pre></td></tr><tr id="syntaxplugin_code_and_gutter" class=""><td class="" style="padding: 0em; vertical-align: top; line-height: 1.4em !important;"><pre class="" style="font-size: 1em; margin: 0px 10px; width: auto; padding: 0px;"><span class="" style="font-family: Consolas, 'Bitstream Vera Sans Mono', 'Courier New', Courier, monospace !important;">2834</span></pre></td></tr><tr id="syntaxplugin_code_and_gutter" class=""><td class="" style="padding: 0em; vertical-align: top; line-height: 1.4em !important;"><pre class="" style="font-size: 1em; margin: 0px 10px; width: auto; padding: 0px;"><span class="" style="font-family: Consolas, 'Bitstream Vera Sans Mono', 'Courier New', Courier, monospace !important;">$ kill -9 2834</span></pre></td></tr><tr id="syntaxplugin_code_and_gutter" class=""><td class="" style="padding: 0em; vertical-align: top; line-height: 1.4em !important;"><pre class="" style="font-size: 1em; margin: 0px 10px 10px; width: auto; padding: 0px;"><span class="" style="font-family: Consolas, 'Bitstream Vera Sans Mono', 'Courier New', Courier, monospace !important;">bash: kill: (2834) - No such process

</span></pre></td></tr></tbody></table><div class=""><div class="">- removing the lockfile and restarting the process, but it goes back to “dead but subsys locked” immediately:</div></div></div><div class=""><br class=""></div><div class=""><table border="0" cellpadding="0" cellspacing="0" width="100%" class="" style="font-size: 1em; color: black; line-height: 1.4em !important;"><tbody class=""><tr id="syntaxplugin_code_and_gutter" class=""><td class="" style="padding: 0em; vertical-align: top; line-height: 1.4em !important;"><pre class="" style="font-size: 1em; margin: 0px 10px; width: auto; padding: 0px;"><span class="" style="font-family: Consolas, 'Bitstream Vera Sans Mono', 'Courier New', Courier, monospace !important;">$ service openstack-glance-scrubber status</span></pre></td></tr><tr id="syntaxplugin_code_and_gutter" class=""><td class="" style="padding: 0em; vertical-align: top; line-height: 1.4em !important;"><pre class="" style="font-size: 1em; margin: 0px 10px 10px; width: auto; padding: 0px;"><span class="" style="font-family: Consolas, 'Bitstream Vera Sans Mono', 'Courier New', Courier, monospace !important;">openstack-glance-scrubber dead but subsys locked

</span></pre></td></tr></tbody></table><div class=""><br class=""></div></div><div class=""><br class=""></div><div class="">My Glance scrubber config is as follows:</div><div class=""><br class=""></div><div class=""><div class="">[DEFAULT]</div><div class=""># Show more verbose log output (sets INFO log level output)</div><div class="">verbose = True</div><div class=""><br class=""></div><div class=""># Show debugging output in logs (sets DEBUG log level output)</div><div class="">debug = False</div><div class=""><br class=""></div><div class=""><br class=""></div><div class=""># Log to this directory</div><div class="">log_dir=/var/log/glance</div><div class=""><br class=""></div><div class=""># Format string to use for log messages with context. (string</div><div class=""># value)</div><div class="">logging_context_format_string=%(asctime)s.%(msecs)03d %(levelname)s %(message)s pid[%(process)s] %(request_id)s %(instance)s</div><div class=""># Format string to use for log messages without context.</div><div class=""># (string value)</div><div class="">logging_default_format_string=%(asctime)s.%(msecs)03d %(levelname)s %(message)s pid[%(process)s]</div><div class=""><br class=""></div><div class=""># Data to append to log format when level is DEBUG. (string</div><div class=""># value)</div><div class="">logging_debug_format_suffix=%(funcName)s %(pathname)s:%(lineno)d</div><div class=""><br class=""></div><div class=""># Prefix each line of exception output with this format.</div><div class=""># (string value)</div><div class="">logging_exception_prefix=%(asctime)s.%(msecs)03d TRACE instance[%(instance)s]</div><div class=""><br class=""></div><div class=""># Should we run our own loop or rely on cron/scheduler to run us</div><div class="">daemon = False</div><div class=""><br class=""></div><div class=""># Loop time between checking the db for new items to schedule for delete</div><div class="">wakeup_time = 300</div><div class=""><br class=""></div><div class=""># Directory that the scrubber will use to remind itself of what to delete</div><div class=""># Make sure this is also set in glance-api.conf</div><div class="">scrubber_datadir = /data/var/lib/glance/scrubber</div><div class=""><br class=""></div><div class=""># Only one server in your deployment should be designated the cleanup host</div><div class="">cleanup_scrubber = False</div><div class=""><br class=""></div><div class=""># pending_delete items older than this time are candidates for cleanup</div><div class="">cleanup_scrubber_time = 86400</div><div class=""><br class=""></div><div class=""># Address to find the registry server for cleanups</div><div class="">registry_host = os-controller.wd5-cedev21.az2.eng.pdx.wd</div><div class=""><br class=""></div><div class=""># Port the registry server is listening on</div><div class="">registry_port = 9191</div><div class=""><br class=""></div><div class=""># ============ Filesystem Store Options ========================</div><div class=""><br class=""></div><div class=""># Directory that the Filesystem backend store</div><div class=""># writes image data to</div><div class="">filesystem_store_datadir = /data/var/lib/glance/images</div></div><div class=""><br class=""></div><div class=""><br class=""></div><div class="">When I attempted to launch “glance-scrubber”, the output to scrubber.log is as follows:</div><div class=""><br class=""></div><div class=""><table border="0" cellpadding="0" cellspacing="0" width="100%" class="" style="font-size: 1em; color: black; line-height: 1.4em !important;"><tbody class=""><tr id="syntaxplugin_code_and_gutter" class=""><td class="" style="padding: 0em; vertical-align: top; line-height: 1.4em !important;"><pre class="" style="font-size: 1em; margin: 10px 10px 0px; width: auto; padding: 0px;"><span class="" style="font-family: Consolas, 'Bitstream Vera Sans Mono', 'Courier New', Courier, monospace !important;">2016-06-27 13:34:36.953 WARNING Deprecated: glance.store.rbd.Store not found in `known_store`. Stores need to be explicitly enabled in the configuration file. pid[3983]</span></pre></td></tr><tr id="syntaxplugin_code_and_gutter" class=""><td class="" style="padding: 0em; vertical-align: top; line-height: 1.4em !important;"><pre class="" style="font-size: 1em; margin: 0px 10px; width: auto; padding: 0px;"><span class="" style="font-family: Consolas, 'Bitstream Vera Sans Mono', 'Courier New', Courier, monospace !important;">2016-06-27 13:34:36.954 WARNING Failed to configure store correctly: Store gridfs could not be configured correctly. Reason: Missing dependencies: pymongo Disabling add method. pid[3983]</span></pre></td></tr><tr id="syntaxplugin_code_and_gutter" class=""><td class="" style="padding: 0em; vertical-align: top; line-height: 1.4em !important;"><pre class="" style="font-size: 1em; margin: 0px 10px; width: auto; padding: 0px;"><span class="" style="font-family: Consolas, 'Bitstream Vera Sans Mono', 'Courier New', Courier, monospace !important;">2016-06-27 13:34:36.955 WARNING Deprecated: glance.store.gridfs.Store not found in `known_store`. Stores need to be explicitly enabled in the configuration file. pid[3983]</span></pre></td></tr><tr id="syntaxplugin_code_and_gutter" class=""><td class="" style="padding: 0em; vertical-align: top; line-height: 1.4em !important;"><pre class="" style="font-size: 1em; margin: 0px 10px; width: auto; padding: 0px;"><span class="" style="font-family: Consolas, 'Bitstream Vera Sans Mono', 'Courier New', Courier, monospace !important;">2016-06-27 13:34:36.993 WARNING Failed to configure store correctly: Store cinder could not be configured correctly. Reason: Cinder storage requires a context. Disabling add method. pid[3983]</span></pre></td></tr><tr id="syntaxplugin_code_and_gutter" class=""><td class="" style="padding: 0em; vertical-align: top; line-height: 1.4em !important;"><pre class="" style="font-size: 1em; margin: 0px 10px; width: auto; padding: 0px;"><span class="" style="font-family: Consolas, 'Bitstream Vera Sans Mono', 'Courier New', Courier, monospace !important;">2016-06-27 13:34:36.994 WARNING Deprecated: glance.store.cinder.Store not found in `known_store`. Stores need to be explicitly enabled in the configuration file. pid[3983]</span></pre></td></tr><tr id="syntaxplugin_code_and_gutter" class=""><td class="" style="padding: 0em; vertical-align: top; line-height: 1.4em !important;"><pre class="" style="font-size: 1em; margin: 0px 10px; width: auto; padding: 0px;"><span class="" style="font-family: Consolas, 'Bitstream Vera Sans Mono', 'Courier New', Courier, monospace !important;">2016-06-27 13:34:37.000 ERROR Could not find swift_store_auth_address in configuration options. pid[3983]</span></pre></td></tr><tr id="syntaxplugin_code_and_gutter" class=""><td class="" style="padding: 0em; vertical-align: top; line-height: 1.4em !important;"><pre class="" style="font-size: 1em; margin: 0px 10px; width: auto; padding: 0px;"><span class="" style="font-family: Consolas, 'Bitstream Vera Sans Mono', 'Courier New', Courier, monospace !important;">2016-06-27 13:34:37.001 WARNING Failed to configure store correctly: Store swift could not be configured correctly. Reason: Could not find swift_store_auth_address in configuration options. Disabling add method. pid[3983]</span></pre></td></tr><tr id="syntaxplugin_code_and_gutter" class=""><td class="" style="padding: 0em; vertical-align: top; line-height: 1.4em !important;"><pre class="" style="font-size: 1em; margin: 0px 10px; width: auto; padding: 0px;"><span class="" style="font-family: Consolas, 'Bitstream Vera Sans Mono', 'Courier New', Courier, monospace !important;">2016-06-27 13:34:37.001 WARNING Deprecated: glance.store.swift.Store not found in `known_store`. Stores need to be explicitly enabled in the configuration file. pid[3983]</span></pre></td></tr><tr id="syntaxplugin_code_and_gutter" class=""><td class="" style="padding: 0em; vertical-align: top; line-height: 1.4em !important;"><pre class="" style="font-size: 1em; margin: 0px 10px; width: auto; padding: 0px;"><span class="" style="font-family: Consolas, 'Bitstream Vera Sans Mono', 'Courier New', Courier, monospace !important;">2016-06-27 13:34:37.004 WARNING Failed to configure store correctly: Store s3 could not be configured correctly. Reason: Could not find s3_store_host in configuration options. Disabling add method. pid[3983]</span></pre></td></tr><tr id="syntaxplugin_code_and_gutter" class=""><td class="" style="padding: 0em; vertical-align: top; line-height: 1.4em !important;"><pre class="" style="font-size: 1em; margin: 0px 10px; width: auto; padding: 0px;"><span class="" style="font-family: Consolas, 'Bitstream Vera Sans Mono', 'Courier New', Courier, monospace !important;">2016-06-27 13:34:37.005 WARNING Deprecated: glance.store.s3.Store not found in `known_store`. Stores need to be explicitly enabled in the configuration file. pid[3983]</span></pre></td></tr><tr id="syntaxplugin_code_and_gutter" class=""><td class="" style="padding: 0em; vertical-align: top; line-height: 1.4em !important;"><pre class="" style="font-size: 1em; margin: 0px 10px 10px; width: auto; padding: 0px;"><span class="" style="font-family: Consolas, 'Bitstream Vera Sans Mono', 'Courier New', Courier, monospace !important;">2016-06-27 13:34:37.007 INFO Initializing scrubber with configuration: {'cleanup_time': 86400, 'registry_host': 'os-controller.wd5-cedev21.az2.eng.pdx.wd', 'cleanup': False, 'scrubber_datadir': '/data/var/lib/glance/scrubber', 'registry_port': 9191} pid[3983]

</span></pre></td></tr></tbody></table><div class="">Despite glance-scrubber not working, there is not a massive discrepancy between active glance images & those stored locally on the filesystem:</div><div class=""><br class=""></div><table border="0" cellpadding="0" cellspacing="0" width="100%" class="" style="font-size: 1em; color: black; line-height: 1.4em !important;"><tbody class=""><tr id="syntaxplugin_code_and_gutter" class=""><td class="" style="padding: 0em; vertical-align: top; line-height: 1.4em !important;"><pre class="" style="font-size: 1em; margin: 10px 10px 0px; width: auto; padding: 0px;"><span class="" style="font-family: Consolas, 'Bitstream Vera Sans Mono', 'Courier New', Courier, monospace !important;">$ ls /data/var/lib/glance/images/ | wc -l</span></pre></td></tr><tr id="syntaxplugin_code_and_gutter" class=""><td class="" style="padding: 0em; vertical-align: top; line-height: 1.4em !important;"><pre class="" style="font-size: 1em; margin: 0px 10px; width: auto; padding: 0px;"><span class="" style="font-family: Consolas, 'Bitstream Vera Sans Mono', 'Courier New', Courier, monospace !important;">1094</span></pre></td></tr><tr id="syntaxplugin_code_and_gutter" class=""><td class="" style="padding: 0em; vertical-align: top; line-height: 1.4em !important;"><pre class="" style="font-size: 1em; margin: 0px 10px; width: auto; padding: 0px;"><span class="" style="font-family: Consolas, 'Bitstream Vera Sans Mono', 'Courier New', Courier, monospace !important;">$ glance image-list --all-tenants | grep active | wc -l</span></pre></td></tr><tr id="syntaxplugin_code_and_gutter" class=""><td class="" style="padding: 0em; vertical-align: top; line-height: 1.4em !important;"><pre class="" style="font-size: 1em; margin: 0px 10px 10px; width: auto; padding: 0px;"><span class="" style="font-family: Consolas, 'Bitstream Vera Sans Mono', 'Courier New', Courier, monospace !important;">1083

</span></pre></td></tr></tbody></table><div class="">My questions are:</div><div class=""><br class=""></div><div class="">- i) Based upon my config and stack trace, does anyone have any ideas on why the Glance scrubber process would be stuck in a "dead but subsys locked” state</div><div class="">- ii) If glance-scrubber is not working, are these images being cleaned up some other way (i.e. through Glance itself)?</div><div class=""><br class=""></div><div class="">Thanks.</div><div class=""><br class=""></div><div class="">-- mickm.</div></div></body></html>