<div dir="ltr"><div class="gmail_quote"><div dir="ltr">On Wed, 22 Jun 2016 at 05:59 Matt Riedemann <<a href="mailto:mriedem@linux.vnet.ibm.com">mriedem@linux.vnet.ibm.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Angus, what should we be looking at from the privsep side for debugging<br>
this?<br></blockquote><div><br></div><div>The line above the screen-n-cpu.txt.gz failure you linked to is:</div><div><a class="inbox-inbox-date" href="http://logs.openstack.org/85/331885/2/check/gate-grenade-dsvm-multinode/415e1bc/logs/new/screen-n-cpu.txt.gz?level=TRACE#_2016-06-21_16_21_30_994" style="font-weight:bold;white-space:pre-wrap;line-height:normal;color:rgb(216,145,0);text-decoration:none">2016-06-21 16:21:30.994</a><span style="color:rgb(216,145,0);font-weight:bold;white-space:pre-wrap;line-height:normal"> 1840 WARNING oslo.privsep.daemon [-] privsep log: /usr/local/bin/nova-rootwrap: Unauthorized command: privsep-helper --config-file /etc/nova/nova.conf --privsep_context os_brick.privileged.default --privsep_sock_path /tmp/tmpV5w2VC/privsep.sock (no filter matched)</span></div><br class="inbox-inbox-Apple-interchange-newline"><div> .. so nova-rootwrap is rejecting the privsep-helper command line because no filter matched.  This indicates the nova compute.filters file has not been updated, or is incorrect.</div><div><br></div><div><br></div><div>As was later pointed out by mtreinish, grenade is attempting to run the newton code against mitaka configs, and this includes using mitaka rootwrap filters.   Unfortunately, the change to add privsep to nova's rootwrap filters wasn't approved until the newton cycle (so that all the os-brick privsep-related changes could be approved together), and so this doesn't Just Work.</div><div><br></div><div>Digging in further, it appears that there *is* a mechanism in grenade to upgrade rootwrap filters between major releases, but this needs to be explicitly updated for each project+release and hasn't been for nova+mitaka->newton.  I'm not sure how this is *meant* to work, since the grenade "theory of upgrade" doesn't mention when configs should be updated - the only mechanism provided is an "exception ... used sparingly."</div><div><span style="line-height:1.5"><br></span></div><div><span style="line-height:1.5">Anyway, I added an upgrade step for nova mitaka->newton that updates rootwrap filters appropriately(*).  Again, I'm not sure what this communicates to deployers compared to cinder (which *did* have the updated rootwrap filter merged in mitaka, but of course that update still needs to be installed at some point).</span></div><div><span style="line-height:1.5">(*) </span><a href="https://review.openstack.org/#/c/332610">https://review.openstack.org/#/c/332610</a></div><div><span style="line-height:1.5"><br></span></div><div><span style="line-height:1.5"> - Gus</span></div></div></div>