<div dir="ltr">Hello, further news.The problem is not the multipath.conf.......sorry for the mistake.The problem is the first connection from each iscsi initiator (compute node).Seems we must start from a clean configuration where the first 4 paths created at the first login  refer to the same disk names an all nodes.If a node have a dirty configuration and have sdb allocated by an iscsi path for old misconfiguration, it alloccates sdc,sdd,sde,sdf.<br><div>Another node wich start with a clean configuration, allocates sdb,sdc,sdd,sde.So, on the first node, the first  instance allocates sgh,sdd and so on.But If I migrate the instance to the another node, some faulty device appears.If at the first iscsi login all node all cleaned, all seems to work fine.</div><div><br></div><div>Ignazio</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">Il giorno mer 18 nov 2020 alle ore 15:21 Ignazio Cassano <<a href="mailto:ignaziocassano@gmail.com">ignaziocassano@gmail.com</a>> ha scritto:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>Hello I solved modifying the prio from alua to emc, and now multipath is cleaned when I migrate an instance.</div><div>There is another issue:</div><div>when I attach a new volume to the instance and then I detach the new volume, iscsi logout session also for the boot volume and the instance  does non work anymore (it looses the boot volume).</div><div>Regards</div><div>Ignazio<br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">Il giorno mer 18 nov 2020 alle ore 12:26 Ignazio Cassano <<a href="mailto:ignaziocassano@gmail.com" target="_blank">ignaziocassano@gmail.com</a>> ha scritto:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>Hello Everyone,</div><div>I am testing stein with cinder iscsi driver for unity.</div><div>Since I became crazy  on queens, I decided to try with stein.</div><div>At this time I have only one virtual machine with only one iscsi volume.</div><div><br></div><div>It was running on podiscsivc-kvm02 and I migrated it on podiscsivc-kvm01.</div><div><br></div><div>Let me show what multipath -ll displays on podiscsivc-kvm02 after live migration:</div><div><br></div><div>36006016006e04400dce5b45f0ac77301 dm-3 DGC     ,VRAID           <br>size=40G features='1 retain_attached_hw_handler' hwhandler='1 alua' wp=rw<br>|-+- policy='round-robin 0' prio=0 status=active<br>| `- 17:0:0:60 sdm 8:192 failed faulty running<br>`-+- policy='round-robin 0' prio=0 status=enabled<br>  |- 19:0:0:60 sdk 8:160 failed faulty running<br>  `- 21:0:0:60 sdj 8:144 failed faulty running</div><div><br></div><div>And now on destination node  podiscsivc-kvm01:</div><div>36006016006e04400dce5b45f0ac77301 dm-3 DGC     ,VRAID           <br>size=40G features='2 queue_if_no_path retain_attached_hw_handler' hwhandler='1 alua' wp=rw<br>|-+- policy='round-robin 0' prio=50 status=active<br>| |- 17:0:0:14 sdm 8:192 active ready running<br>| `- 15:0:0:14 sdl 8:176 active ready running<br>`-+- policy='round-robin 0' prio=10 status=enabled<br>  |- 21:0:0:14 sdj 8:144 active ready running<br>  `- 19:0:0:14 sdk 8:160 active ready running</div><div><br></div><div>On source node in /var/log/messages I get:</div>Nov 18 10:34:19 podiscsivc-kvm02 multipathd: 36006016006e04400dce5b45f0ac77301: failed in domap for addition of new path sdl<br>Nov 18 10:34:19 podiscsivc-kvm02 multipathd: 36006016006e04400dce5b45f0ac77301: uev_add_path sleep<br>Nov 18 10:34:20 podiscsivc-kvm02 multipathd: 36006016006e04400dce5b45f0ac77301: failed in domap for addition of new path sdl<br>Nov 18 10:34:20 podiscsivc-kvm02 kernel: device-mapper: table: 253:3: multipath: error getting device<br>Nov 18 10:34:20 podiscsivc-kvm02 kernel: device-mapper: ioctl: error adding target to table<br><div>Nov 18 10:34:20 podiscsivc-kvm02 multipathd: 36006016006e04400dce5b45f0ac77301: uev_add_path sleep</div><div><br></div><div>On storage node seems it wotks fine, because the host access migrated from source to destination node.</div><div><br></div><div>Multipath.conf is the following:</div><div><br></div><div>blacklist {<br>    # Skip the files uner /dev that are definitely not FC/iSCSI devices<br>    # Different system may need different customization<br>    devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"<br>    devnode "^hd[a-z][0-9]*"<br>    devnode "^cciss!c[0-9]d[0-9]*[p[0-9]*]"<br><br>    # Skip LUNZ device from VNX/Unity<br>    device {<br>        vendor "DGC"<br>        product "LUNZ"<br>    }<br>}<br><br>defaults {<br>    user_friendly_names no<br>    flush_on_last_del yes<br>    remove_retries 12<br>    skip_kpartx yes<br>}<br><br>devices {<br>    # Device attributed for EMC CLARiiON and VNX/Unity series ALUA<br>    device {<br>        vendor "DGC"<br>        product ".*"<br>        product_blacklist "LUNZ"<br>        path_grouping_policy group_by_prio<br>        path_selector "round-robin 0"<br>        path_checker emc_clariion<br>        features "0"<br>        no_path_retry 12<br>        hardware_handler "1 alua"<br>        prio alua<br>        failback immediate <br>    }<br>}</div><div><br></div><div>Why it leaves  failed faulty running devices ?</div><div>Is it a correct behaviour ?</div><div><div>Every time I migrate my
 single instance from a node to another the number of files under 
/dev/disk/by-path increase of 4 (the number of path used for unity 
storage) on the destination node.</div><font color="#888888"><div><br><br></div></font></div><div>I contacted Dell support and they said it is not an a problem of their cinder driver but ti could be related to nova.</div><div>Please help me !!!</div><div>I must decide if acquire nfs storage or iscsi storage.</div><div>On the cinder compatibility drive matrix most vendors are iscsi.</div><font color="#888888"><div><br><br></div></font></div>
</blockquote></div>
</blockquote></div>