<font size=2 face="sans-serif">Hello. </font>
<br><font size=2 face="sans-serif">We have an Openstack environment based
on Redhat 6.4 + Havana release. </font>
<br><font size=2 face="sans-serif">We are working with bootable volumes
for instances which are allocated on FC attached V7000. </font>
<br><font size=2 face="sans-serif">On the host dm-multipath is configured.
</font>
<br>
<br><font size=2 face="sans-serif">Once a new bootable volume is created
on OpenStack, the active path for some reason is removed and the following
messages appear in /var/log/messages file:</font>
<br>
<br><font size=2 face="sans-serif">May 20 14:54:12 node21144 kernel: scsi
0:0:0:4: Direct-Access     IBM      2145  
          0000 PQ: 0 ANSI: 6</font>
<br><font size=2 face="sans-serif">May 20 14:54:12 node21144 kernel: sd
0:0:0:4: [sdj] 52428800 512-byte logical blocks: (26.8 GB/25.0 GiB)</font>
<br><font size=2 face="sans-serif">May 20 14:54:12 node21144 kernel: sd
0:0:0:4: [sdj] Write Protect is off</font>
<br><font size=2 face="sans-serif">May 20 14:54:12 node21144 kernel: sd
0:0:0:4: [sdj] Write cache: disabled, read cache: enabled, supports DPO
and FUA</font>
<br><font size=2 face="sans-serif">May 20 14:54:12 node21144 kernel: sd
0:0:0:4: Attached scsi generic sg11 type 0</font>
<br><font size=2 face="sans-serif">May 20 14:54:12 node21144 kernel: sdj:
unknown partition table</font>
<br><font size=2 face="sans-serif">May 20 14:54:12 node21144 kernel: sd
0:0:0:4: [sdj] Attached SCSI disk</font>
<br><font size=2 face="sans-serif">May 20 14:54:12 node21144 multipathd:
sdj: add path (uevent)</font>
<br><font size=2 face="sans-serif">May 20 14:54:12 node21144 kernel: scsi
1:0:1:4: Direct-Access     IBM      2145  
          0000 PQ: 0 ANSI: 6</font>
<br><font size=2 face="sans-serif">May 20 14:54:12 node21144 kernel: sd
1:0:1:4: Attached scsi generic sg12 type 0</font>
<br><font size=2 face="sans-serif">May 20 14:54:12 node21144 kernel: sd
1:0:1:4: [sdk] 52428800 512-byte logical blocks: (26.8 GB/25.0 GiB)</font>
<br><font size=2 face="sans-serif">May 20 14:54:12 node21144 kernel: sd
1:0:1:4: [sdk] Write Protect is off</font>
<br><font size=2 face="sans-serif">May 20 14:54:12 node21144 kernel: sd
1:0:1:4: [sdk] Write cache: disabled, read cache: enabled, supports DPO
and FUA</font>
<br><font size=2 face="sans-serif">May 20 14:54:12 node21144 kernel: sdk:
unknown partition table</font>
<br><font size=2 face="sans-serif">May 20 14:54:12 node21144 kernel: sd
1:0:1:4: [sdk] Attached SCSI disk</font>
<br><font size=2 face="sans-serif">May 20 14:54:12 node21144 multipathd:
sdk: add path (uevent)</font>
<br><font size=2 face="sans-serif">May 20 14:54:12 node21144 multipathd:
mpathz: load table [0 52428800 multipath 1 queue_if_no_path 0 2 1 round-robin
0 1 1 8:144 1 round-robin 0 1 1 8:160 1]</font>
<br><font size=2 face="sans-serif">May 20 14:54:12 node21144 multipathd:
mpathz: event checker started</font>
<br><font size=2 face="sans-serif">May 20 14:54:12 node21144 multipathd:
sdk path added to devmap mpathz</font>
<br><font size=2 color=red face="sans-serif">May 20 14:55:54 node21144
multipathd: sdj: remove path (uevent)</font>
<br><font size=2 color=red face="sans-serif">May 20 14:55:54 node21144
multipathd: mpathz: load table [0 52428800 multipath 1 queue_if_no_path
0 1 1 round-robin 0 1 1 8:160 1]</font>
<br><font size=2 color=red face="sans-serif">May 20 14:55:54 node21144
multipathd: sdj: path removed from map mpathz</font>
<br><font size=2 color=red face="sans-serif">May 20 14:55:54 node21144
kernel: sd 1:0:1:4: [sdk] Result: hostbyte=DID_OK driverbyte=DRIVER_SENSE</font>
<br><font size=2 color=red face="sans-serif">May 20 14:55:54 node21144
kernel: sd 1:0:1:4: [sdk] Sense Key : Illegal Request [current] </font>
<br><font size=2 color=red face="sans-serif">May 20 14:55:54 node21144
kernel: Info fld=0x0</font>
<br><font size=2 color=red face="sans-serif">May 20 14:55:54 node21144
kernel: sd 1:0:1:4: [sdk] Add. Sense: Logical unit not supported</font>
<br><font size=2 color=red face="sans-serif">May 20 14:55:54 node21144
kernel: sd 1:0:1:4: [sdk] CDB: Read(10): 28 00 03 1f ff 80 00 00 08 00</font>
<br><font size=2 color=red face="sans-serif">May 20 14:55:54 node21144
kernel: device-mapper: multipath: Failing path 8:160.</font>
<br><font size=2 color=red face="sans-serif">May 20 14:55:54 node21144
multipathd: 8:160: mark as failed</font>
<br><font size=2 color=red face="sans-serif">May 20 14:55:54 node21144
multipathd: mpathz: Entering recovery mode: max_retries=5</font>
<br><font size=2 color=red face="sans-serif">May 20 14:55:54 node21144
multipathd: mpathz: remaining active paths: 0</font>
<br>
<br><font size=2 face="sans-serif">So the volume creation fails and new
instance can't be provisioned. </font>
<br>
<br><font size=2 face="sans-serif">We checked multipath functionality regardless
to openstack :</font>
<br><font size=2 face="sans-serif">- V7000 volume was created manually
and mapped to the compute node </font>
<br><font size=2 face="sans-serif">- Multipath device was created properly</font>
<br><font size=2 face="sans-serif">- The new volume was mounted to the
new VM and operation system was successfully installed</font>
<br>
<br><font size=2 face="sans-serif">Our conclusion is that the problem is
not related to multipath configuration but to openstack functionality with
multipath. </font>
<br><font size=2 face="sans-serif">Please advise. </font>
<br>
<br><font size=2 face="sans-serif">Thank you. </font>
<br>
<br><font size=2 face="sans-serif">Alexandra Kisin<br>
Servers & Network group, IBM R&D Labs in Israel<br>
Unix & Virtualization Team</font>