<div dir="ltr"><div>Hello Everyone,</div><div>I am testing stein with cinder iscsi driver for unity.</div><div>Since I became crazy  on queens, I decided to try with stein.</div><div>At this time I have only one virtual machine with only one iscsi volume.</div><div><br></div><div>It was running on podiscsivc-kvm02 and I migrated it on podiscsivc-kvm01.</div><div><br></div><div>Let me show what multipath -ll displays on podiscsivc-kvm02 after live migration:</div><div><br></div><div>36006016006e04400dce5b45f0ac77301 dm-3 DGC     ,VRAID           <br>size=40G features='1 retain_attached_hw_handler' hwhandler='1 alua' wp=rw<br>|-+- policy='round-robin 0' prio=0 status=active<br>| `- 17:0:0:60 sdm 8:192 failed faulty running<br>`-+- policy='round-robin 0' prio=0 status=enabled<br>  |- 19:0:0:60 sdk 8:160 failed faulty running<br>  `- 21:0:0:60 sdj 8:144 failed faulty running</div><div><br></div><div>And now on destination node  podiscsivc-kvm01:</div><div>36006016006e04400dce5b45f0ac77301 dm-3 DGC     ,VRAID           <br>size=40G features='2 queue_if_no_path retain_attached_hw_handler' hwhandler='1 alua' wp=rw<br>|-+- policy='round-robin 0' prio=50 status=active<br>| |- 17:0:0:14 sdm 8:192 active ready running<br>| `- 15:0:0:14 sdl 8:176 active ready running<br>`-+- policy='round-robin 0' prio=10 status=enabled<br>  |- 21:0:0:14 sdj 8:144 active ready running<br>  `- 19:0:0:14 sdk 8:160 active ready running</div><div><br></div><div>On source node in /var/log/messages I get:</div>Nov 18 10:34:19 podiscsivc-kvm02 multipathd: 36006016006e04400dce5b45f0ac77301: failed in domap for addition of new path sdl<br>Nov 18 10:34:19 podiscsivc-kvm02 multipathd: 36006016006e04400dce5b45f0ac77301: uev_add_path sleep<br>Nov 18 10:34:20 podiscsivc-kvm02 multipathd: 36006016006e04400dce5b45f0ac77301: failed in domap for addition of new path sdl<br>Nov 18 10:34:20 podiscsivc-kvm02 kernel: device-mapper: table: 253:3: multipath: error getting device<br>Nov 18 10:34:20 podiscsivc-kvm02 kernel: device-mapper: ioctl: error adding target to table<br><div>Nov 18 10:34:20 podiscsivc-kvm02 multipathd: 36006016006e04400dce5b45f0ac77301: uev_add_path sleep</div><div><br></div><div>On storage node seems it wotks fine, because the host access migrated from source to destination node.</div><div><br></div><div>Multipath.conf is the following:</div><div><br></div><div>blacklist {<br>    # Skip the files uner /dev that are definitely not FC/iSCSI devices<br>    # Different system may need different customization<br>    devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"<br>    devnode "^hd[a-z][0-9]*"<br>    devnode "^cciss!c[0-9]d[0-9]*[p[0-9]*]"<br><br>    # Skip LUNZ device from VNX/Unity<br>    device {<br>        vendor "DGC"<br>        product "LUNZ"<br>    }<br>}<br><br>defaults {<br>    user_friendly_names no<br>    flush_on_last_del yes<br>    remove_retries 12<br>    skip_kpartx yes<br>}<br><br>devices {<br>    # Device attributed for EMC CLARiiON and VNX/Unity series ALUA<br>    device {<br>        vendor "DGC"<br>        product ".*"<br>        product_blacklist "LUNZ"<br>        path_grouping_policy group_by_prio<br>        path_selector "round-robin 0"<br>        path_checker emc_clariion<br>        features "0"<br>        no_path_retry 12<br>        hardware_handler "1 alua"<br>        prio alua<br>        failback immediate <br>    }<br>}</div><div><br></div><div>Why it leaves  failed faulty running devices ?</div><div>Is it a correct behaviour ?</div><div>I contacted Dell support and they said it is not an a problem of their cinder driver but ti could be related to nova.</div><div>Please help me !!!</div><div>I must decide if acquire nfs storage or iscsi storage.</div><div>On the cinder compatibility drive matrix most vendors are iscsi.</div><div><br></div><div>Ignazio<br></div><div><br></div></div>