<div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div>Hello, <br></div><div><br></div><div>I tested today by increasing EVENTLET_THREADPOOL_SIZE size to 100. I wanted to have good results, <br></div><div>but this time I did not get a response after removing 41 volumes. This environment variable did not fix <br></div><div>the cinder-volume stopping.</div><div><br></div><div>Restarting the stopped cinder-volume will delete all volumes that are in deleting state while running the clean_up function. <br></div><div>Only one volume in the deleting state, I force the state of this volume to be available, and then delete it, all volumes will be deleted.<br><br>This result was the same for 3 consecutive times. After removing dozens of volumes, the cinder-volume was down, <br></div><div>and after the restart of the service, 199 volumes were deleted and one volume was manually erased.</div><div><br></div><div>If you have a different approach to solving this problem, please let me know.</div><div><br></div><div>Thanks.<br></div></div></div></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">2019년 2월 11일 (월) 오후 9:40, Arne Wiebalck <<a href="mailto:Arne.Wiebalck@cern.ch">Arne.Wiebalck@cern.ch</a>>님이 작성:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">



<div style="overflow-wrap: break-word;">
Jae,<br>
<div><br>
<blockquote type="cite">
<div>On 11 Feb 2019, at 11:39, Jae Sang Lee <<a href="mailto:hyangii@gmail.com" target="_blank">hyangii@gmail.com</a>> wrote:</div>
<br class="gmail-m_-8912580830092372290Apple-interchange-newline">
<div>
<div dir="ltr">
<div dir="ltr">
<div dir="ltr">
<div dir="ltr">
<div dir="ltr">
<div dir="ltr">
<div dir="ltr">
<div>Arne,<br>
</div>
<div><br>
</div>
<div>I saw the messages like ''moving volume to trash"  in the cinder-volume logs and the peridic task also reports
<br>
</div>
<div>like "Deleted <vol-uuid> from trash for backend '<backends-name>'"</div>
<div><br>
</div>
<div>The patch worked well when clearing a small number of volumes. This happens only when I am deleting a large
<br>
</div>
<div>number of volumes.<br>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</blockquote>
<div><br>
</div>
<div>Hmm, from cinder’s point of view, the deletion should be more or less instantaneous, so it should be able to “delete”</div>
<div>many more volumes before getting stuck.</div>
<div><br>
</div>
<div>The periodic task, however, will go through the volumes one by one, so if you delete many at the same time,</div>
<div>volumes may pile up in the trash (for some time) before the tasks gets round to delete them. This should not affect</div>
<div>c-vol, though.</div>
<div><br>
</div>
<blockquote type="cite">
<div>
<div dir="ltr">
<div dir="ltr">
<div dir="ltr">
<div dir="ltr">
<div dir="ltr">
<div dir="ltr">
<div dir="ltr">I will try to adjust the number of thread pools by adjusting the environment variables with your advices<br>
</div>
<div dir="ltr">
<div><br>
</div>
<div>Do you know why the cinder-volume hang does not occur when create a volume, but only when delete a volume?<br>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</blockquote>
<div><br>
</div>
<div>Deleting a volume ties up a thread for the duration of the deletion (which is synchronous and can hence take very</div>
<div>long for ). If you have too many deletions going on at the same time, you run out of threads and c-vol will eventually</div>
<div>time out. FWIU, creation basically works the same way, but it is almost instantaneous, hence the risk of using up all</div>
<div>threads is simply lower (Gorka may correct me here :-).</div>
<div><br>
</div>
<div>Cheers,</div>
<div> Arne</div>
<br>
<blockquote type="cite">
<div>
<div dir="ltr">
<div dir="ltr">
<div dir="ltr">
<div dir="ltr">
<div dir="ltr">
<div dir="ltr">
<div dir="ltr">
<div><br>
</div>
<div><br>
</div>
<div>Thanks.<br>
</div>
<div><br>
</div>
</div>
</div>
</div>
<br>
<div class="gmail_quote">
<div dir="ltr" class="gmail_attr">2019년 2월 11일 (월) 오후 6:14, Arne Wiebalck <<a href="mailto:Arne.Wiebalck@cern.ch" target="_blank">Arne.Wiebalck@cern.ch</a>>님이 작성:<br>
</div>
<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<div>Jae,
<div><br>
</div>
<div>To make sure deferred deletion is properly working: when you delete individual large volumes</div>
<div>with data in them, do you see that</div>
<div>- the volume is fully “deleted" within a few seconds, ie. not staying in ‘deleting’ for a long time?</div>
<div>- that the volume shows up in trash (with “rbd trash ls”)?</div>
<div>- the periodic task reports it is deleting volumes from the trash?</div>
<div><br>
</div>
<div>Another option to look at is “backend_native_threads_pool_size": this will increase the number</div>
<div>of threads to work on deleting volumes. It is independent from deferred deletion, but can also</div>
<div>help with situations where Cinder has more work to do than it can cope with at the moment.</div>
<div><br>
</div>
<div>Cheers,</div>
<div> Arne</div>
<div><br>
</div>
<div><br>
<div><br>
<blockquote type="cite">
<div>On 11 Feb 2019, at 09:47, Jae Sang Lee <<a href="mailto:hyangii@gmail.com" target="_blank">hyangii@gmail.com</a>> wrote:</div>
<br class="gmail-m_-8912580830092372290gmail-m_4954915783202618609Apple-interchange-newline">
<div>
<div dir="auto">Yes, I added your code to pike release manually.
<div dir="auto"><br>
</div>
<div dir="auto"><br>
</div>
</div>
<br>
<div class="gmail_quote">
<div dir="ltr">2019년 2월 11일 (월) 오후 4:39에 Arne Wiebalck <<a href="mailto:Arne.Wiebalck@cern.ch" target="_blank">Arne.Wiebalck@cern.ch</a>>님이 작성:<br>
</div>
<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
Hi Jae,<br>
<br>
You back ported the deferred deletion patch to Pike?<br>
<br>
Cheers,<br>
 Arne<br>
<br>
> On 11 Feb 2019, at 07:54, Jae Sang Lee <<a href="mailto:hyangii@gmail.com" rel="noreferrer" target="_blank">hyangii@gmail.com</a>> wrote:<br>
> <br>
> Hello,<br>
> <br>
> I recently ran a volume deletion test with deferred deletion enabled on the pike release.<br>
> <br>
> We experienced a cinder-volume hung when we were deleting a large amount of the volume in which the data was actually written(I make 15GB file in every volumes), and we thought deferred deletion would solve it.<br>
> <br>
> However, while deleting 200 volumes, after 50 volumes, the cinder-volume downed as before. In my opinion, the trash_move api does not seem to work properly when removing multiple volumes, just like remove api.<br>
> <br>
> If these test results are my fault, please let me know the correct test method.<br>
> <br>
<br>
--<br>
Arne Wiebalck<br>
CERN IT<br>
<br>
</blockquote>
</div>
</div>
</blockquote>
</div>
<br>
<div>--<br>
Arne Wiebalck<br>
CERN IT </div>
<br>
</div>
</div>
</blockquote>
</div>
</div>
</div>
</div>
</div>
</div>
</blockquote>
</div>
<br>
<div>--<br>
Arne Wiebalck<br>
CERN IT </div>
<br>
</div>

</blockquote></div>