<div dir="ltr"><div style="font-size:12.800000190734863px">Hi everyone,</div><div style="font-size:12.800000190734863px"><br></div><div style="font-size:12.800000190734863px">A while ago I reported some issues with Glance where image files went missing from the file system. Since then we implemented a monitoring script that regularly verifies the state of every active image in the Glance database, checking that:</div><div style="font-size:12.800000190734863px">1) it has a corresponding record in the "image_locations" table;</div><div style="font-size:12.800000190734863px">2) it has an image file on the disk;</div><div style="font-size:12.800000190734863px">3) the size of the image file matches size information in the database.</div><div style="font-size:12.800000190734863px"><br></div><div style="font-size:12.800000190734863px">As it turns out, over the last 5 weeks we observed several cases (55 images across 7 different clusters) where an image was successfully uploaded to the database and reached "active" state, although there was no record in the "images_location" table. The impact of such inconsistencies is that any attempt to boot a VM with these images result in obscure 500 errors to clients as Glance fails to retrieve the image from the backend.</div><div style="font-size:12.800000190734863px"><br></div><div style="font-size:12.800000190734863px">It appears that the problem is more likely to manifest itself when a high number of images are being uploaded at the same time -- for instance, we recently had to upload around 1700 images to 2 new clusters in one go and ended up with 23 images missing "image_locations" in one cluster, and 25 in the other.</div><div style="font-size:12.800000190734863px"><br></div><div style="font-size:12.800000190734863px">All these cluster are running Glance Icehouse (2014.1.3-2.el6) on CentOS 6.5, using the "file" backend store.<br></div><div style="font-size:12.800000190734863px"><br></div><div style="font-size:12.800000190734863px">I haven't found any bug reports or anyone complaining of similar issues in the community, so I'm curious to hear if anyone has ever experienced this before.<br></div><div style="font-size:12.800000190734863px"><br></div><div style="font-size:12.800000190734863px">Thanks,</div><div style="font-size:12.800000190734863px"><br></div><div style="font-size:12.800000190734863px">Sergio</div></div>