合 使用OpenFiler来模拟存储配置RAC中ASM共享盘及多路径（multipath）的测试
Tags： ASM存储multipathOpenFiler共享盘多路径
- 安装
- 基本配置
- 网卡配置
- 添加硬盘
- iscsi target配置
- 创建逻辑卷
- 开启iSCSI Target服务
- LUN Mapping操作
- Network ACL
- /etc/initiators.deny
- RAC节点配置iSCSI
- iSCSI target
- iSCSI initiator
- 安装iSCSI initiator
- iscsiadm
- 多路径multipath
- RAC的2个节点上分别安装multipath软件
- 启动multipath
- 配置多路径软件/etc/multipath.conf
- 编辑/etc/multipath.conf
- 配置multipath设备的权限
- 配置udev规则
- 利用新磁盘创建磁盘组
- 测试磁盘组
- 有关多路径其它理论知识
之前发布了一篇《Oracle_lhr_RAC 12cR1安装》，但是其中的存储并没有使用多路径，而是使用了VMware自身提供的存储。所以，年前最后一件事就是把多路径学习一下，本文介绍了OpenFiler、iSCSI和多路径的配置。
安装OpenFiler
OpenFile是在rPath Linux基础上开发的，它能够作为一个独立的Linux操作系统发行。Openfiler是一款非常好的存储管理操作系统，开源免费，通过web界面对存储磁盘的管理，支持现在流行的网络存储技术IP-SAN和NAS，支持iSCSI、NFS、SMB/CIFS及FTP等协议。
本次安装OpenFiler锁需要的软件如下所示：
| 序号 | 类型 | 内容 |
|---|---|---|
| 1 | openfiler | openfileresa-2.99.1-x86_64-disc1.iso |
安装
详细安装过程小麦苗就不一个一个截图了，网上已经有网友贴出了一步一步的过程，OpenFiler的内存设置为1G大小或再小点也无所谓，磁盘选用IDE磁盘格式，由于后续要配置多路径，所以需要安装2块网卡。安装完成后，重新启动，界面如下所示：
注意，方框中的内容，可以在浏览器中直接打开。可以用root用户登录进行用户的维护，若进行存储的维护则只能使用openfiler用户。openfiler是在远程使用Web界面进行管理的，小麦苗这里的管理地址是https://192.168.59.200:446，其管理的初始用户名是openfiler（小写的），密码是password，可以在登录之后，修改这个密码。
基本配置
网卡配置
配置静态网卡地址：
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 | [root@OFLHR ~]# more /etc/sysconfig/network-scripts/ifcfg-eth0 # Advanced Micro Devices [AMD] 79c970 [PCnet32 LANCE] DEVICE=eth0 BOOTPROTO=static BROADCAST=192.168.59.255 HWADDR=00:0C:29:98:1A:CD IPADDR=192.168.59.200 NETMASK=255.255.255.0 NETWORK=192.168.59.0 ONBOOT=yes [root@OFLHR ~]# more /etc/sysconfig/network-scripts/ifcfg-eth1 DEVICE=eth1 MTU=1500 USERCTL=no ONBOOT=yes BOOTPROTO=static IPADDR=192.168.2.200 NETMASK=255.255.255.0 HWADDR=00:0C:29:98:1A:D7 [root@OFLHR ~]# ip a 1: lo: <LOOPBACK,UP,10000> mtu 16436 qdisc noqueue link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo inet6 ::1/128 scope host valid_lft forever preferred_lft forever 2: eth0: <BROADCAST,MULTICAST,UP,10000> mtu 1500 qdisc pfifo_fast qlen 1000 link/ether 00:0c:29:98:1a:cd brd ff:ff:ff:ff:ff:ff inet 192.168.59.200/24 brd 192.168.59.255 scope global eth0 inet6 fe80::20c:29ff:fe98:1acd/64 scope link valid_lft forever preferred_lft forever 3: eth1: <BROADCAST,MULTICAST,UP,10000> mtu 1500 qdisc pfifo_fast qlen 1000 link/ether 00:0c:29:98:1a:d7 brd ff:ff:ff:ff:ff:ff inet 192.168.2.200/24 brd 192.168.2.255 scope global eth1 inet6 fe80::20c:29ff:fe98:1ad7/64 scope link valid_lft forever preferred_lft forever [root@OFLHR ~]# |
添加硬盘
添加一块100G大小的IDE格式的硬盘作为存储。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 | [root@OFLHR ~]# fdisk -l Disk /dev/sda: 10.7 GB, 10737418240 bytes 255 heads, 63 sectors/track, 1305 cylinders, total 20971520 sectors Units = sectors of 1 * 512 = 512 bytes Sector size (logical/physical): 512 bytes / 512 bytes I/O size (minimum/optimal): 512 bytes / 512 bytes Disk identifier: 0x000adc2c Device Boot Start End Blocks Id System /dev/sda1 * 63 610469 305203+ 83 Linux /dev/sda2 610470 17382329 8385930 83 Linux /dev/sda3 17382330 19486844 1052257+ 82 Linux swap / Solaris Disk /dev/sdb: 107.4 GB, 107374182400 bytes 255 heads, 63 sectors/track, 13054 cylinders, total 209715200 sectors Units = sectors of 1 * 512 = 512 bytes Sector size (logical/physical): 512 bytes / 512 bytes I/O size (minimum/optimal): 512 bytes / 512 bytes Disk identifier: 0x00000000 Disk /dev/sdb doesn't contain a valid partition table [root@OFLHR ~]# |
iscsi target配置
为openfiler服务器配置了两块硬盘，其中10GB的硬盘已经用来安装openfiler操作系统，而200GB的硬盘则会用做数据存储。
创建逻辑卷
登录地址：https://192.168.59.200:446
初始用户名和密码：openfiler/password
在独立存储设备中，LUN（Logical Unit Number）是最重要的基本单位。LUN可以被SAN中的任何主机访问，不管是透过HBA或是iSCSI。就算是软件激活的iSCSI，也可以在不同的操作系统之下，在操作系统启动之后利用软件的iSCSI initiator访问LUN。在OpenFiler之下，LUN被称为Logical Volume（LV），因此在OpenFiler下创建LUN就是创建LV。
当你安装好OpenFiler之后，接下来就是要将OpenFiler下的磁盘分享出来给虚拟机或网络上的其他主机使用了。在标准的SAN之后，这些可以在RAID层面完成，但VG的好处及弹性是RAID无法比较的，下面看看OpenFiler下的VG是如何一步一步创建的。
创建VG的步骤：
（1）进入OpenFiler的接口，并且选择要使用的实体硬盘。
（2）将要加入的实体硬盘格式化成Physical Volume格式。
（3）创建一个VG组，并且将格式化成为PV格式的实体硬盘加入。
（4）加入完毕之后，就成为一个大的VG组，被视为系统的一个大实体硬盘。
（5）在这个VG中添加逻辑分割区LUN，在OpenFiler中称为Logical Volume。
（6）指定LUN的文件格式，如iSCSI、ext3或是NFS，并且格式化。
（7）如果是iSCSI则需要再配置，如果是其他文件格式，就可以用NAS的方式分享出去而
登录后，点击Volumes标签
为openfiler服务器配置了两块硬盘，其中10GB的硬盘已经用来安装openfiler操作系统，而200GB的硬盘则会用做数据存储。
点击create new physical volumes后点击/dev/sdb
点击页面右下角Reset，然后点击Create。分区类型为Physical volume
点击Volume Groups
输入名称，勾选复选框，单击Add volume group
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 | [root@OFLHR ~]# fdisk -l Disk /dev/sda: 10.7 GB, 10737418240 bytes 255 heads, 63 sectors/track, 1305 cylinders, total 20971520 sectors Units = sectors of 1 * 512 = 512 bytes Sector size (logical/physical): 512 bytes / 512 bytes I/O size (minimum/optimal): 512 bytes / 512 bytes Disk identifier: 0x000adc2c Device Boot Start End Blocks Id System /dev/sda1 * 63 610469 305203+ 83 Linux /dev/sda2 610470 17382329 8385930 83 Linux /dev/sda3 17382330 19486844 1052257+ 82 Linux swap / Solaris WARNING: GPT (GUID Partition Table) detected on '/dev/sdb'! The util fdisk doesn't support GPT. Use GNU Parted. Disk /dev/sdb: 107.4 GB, 107374182400 bytes 255 heads, 63 sectors/track, 13054 cylinders, total 209715200 sectors Units = sectors of 1 * 512 = 512 bytes Sector size (logical/physical): 512 bytes / 512 bytes I/O size (minimum/optimal): 512 bytes / 512 bytes Disk identifier: 0x00000000 Device Boot Start End Blocks Id System /dev/sdb1 1 209715199 104857599+ ee GPT [root@OFLHR ~]# pvs PV VG Fmt Attr PSize PFree /dev/sdb1 vmlhr lvm2 a- 95.34g 95.34g [root@OFLHR ~]# |
点击Add Volume
输入内容，调整磁盘大小为10G，卷类型选择block（iSCSI，FC，etc）
依次共创建4个逻辑卷：
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 | [root@OFLHR ~]# vgs VG #PV #LV #SN Attr VSize VFree vmlhr 1 4 0 wz--n- 95.34g 55.34g [root@OFLHR ~]# pvs PV VG Fmt Attr PSize PFree /dev/sdb1 vmlhr lvm2 a- 95.34g 55.34g [root@OFLHR ~]# lvs LV VG Attr LSize Origin Snap% Move Log Copy% Convert lv01 vmlhr -wi-a- 10.00g lv02 vmlhr -wi-a- 10.00g lv03 vmlhr -wi-a- 10.00g lv04 vmlhr -wi-a- 10.00g [root@OFLHR ~]# fdisk -l Disk /dev/sda: 10.7 GB, 10737418240 bytes 255 heads, 63 sectors/track, 1305 cylinders, total 20971520 sectors Units = sectors of 1 * 512 = 512 bytes Sector size (logical/physical): 512 bytes / 512 bytes I/O size (minimum/optimal): 512 bytes / 512 bytes Disk identifier: 0x000adc2c Device Boot Start End Blocks Id System /dev/sda1 * 63 610469 305203+ 83 Linux /dev/sda2 610470 17382329 8385930 83 Linux /dev/sda3 17382330 19486844 1052257+ 82 Linux swap / Solaris WARNING: GPT (GUID Partition Table) detected on '/dev/sdb'! The util fdisk doesn't support GPT. Use GNU Parted. Disk /dev/sdb: 107.4 GB, 107374182400 bytes 255 heads, 63 sectors/track, 13054 cylinders, total 209715200 sectors Units = sectors of 1 * 512 = 512 bytes Sector size (logical/physical): 512 bytes / 512 bytes I/O size (minimum/optimal): 512 bytes / 512 bytes Disk identifier: 0x00000000 Device Boot Start End Blocks Id System /dev/sdb1 1 209715199 104857599+ ee GPT Disk /dev/dm-0: 10.7 GB, 10737418240 bytes 255 heads, 63 sectors/track, 1305 cylinders, total 20971520 sectors Units = sectors of 1 * 512 = 512 bytes Sector size (logical/physical): 512 bytes / 512 bytes I/O size (minimum/optimal): 512 bytes / 512 bytes Disk identifier: 0x00000000 Disk /dev/dm-0 doesn't contain a valid partition table Disk /dev/dm-1: 10.7 GB, 10737418240 bytes 255 heads, 63 sectors/track, 1305 cylinders, total 20971520 sectors Units = sectors of 1 * 512 = 512 bytes Sector size (logical/physical): 512 bytes / 512 bytes I/O size (minimum/optimal): 512 bytes / 512 bytes Disk identifier: 0x00000000 Disk /dev/dm-1 doesn't contain a valid partition table Disk /dev/dm-2: 10.7 GB, 10737418240 bytes 255 heads, 63 sectors/track, 1305 cylinders, total 20971520 sectors Units = sectors of 1 * 512 = 512 bytes Sector size (logical/physical): 512 bytes / 512 bytes I/O size (minimum/optimal): 512 bytes / 512 bytes Disk identifier: 0x00000000 Disk /dev/dm-2 doesn't contain a valid partition table Disk /dev/dm-3: 10.7 GB, 10737418240 bytes 255 heads, 63 sectors/track, 1305 cylinders, total 20971520 sectors Units = sectors of 1 * 512 = 512 bytes Sector size (logical/physical): 512 bytes / 512 bytes I/O size (minimum/optimal): 512 bytes / 512 bytes Disk identifier: 0x00000000 Disk /dev/dm-3 doesn't contain a valid partition table [root@OFLHR ~]# |
开启iSCSI Target服务
点击Services标签栏设置iSCSI Target 为Enable 开启服务Start。
LUN Mapping操作
返回Volumes标签页，点击iSCSI Targets
点击Add
选择LUN Mapping标签 点击Map
Network ACL
由于iSCSI是走IP网络，因此我们要允许网络中的计算机可以透过IP来访问。下面就是OpenFiler中IP网络和同一网段中其他主机的连接方法。
- 进入OpenFiler中的System，并且直接拉到页面的下方。
2．在Network Access Configuration的地方输入这个网络访问的名称，如VM_LHR。
3．输入主机的IP段。注意不可以输入单一主机的IP，这样会都无法访问。我们在这边输入192.168.59.0，表示从192.168.59.1一直到192.168.59.254都能访问。
- 在Netmask中选择255.255.255.0，并且在Type下拉列表框中选择Share，之后即可以单击Update按钮。
选择完之后就更新
至此就可以在这个OpenFiler中看到被授权的网段了。
在iSCSI Targets中，点击 Network ACL 标签
设置Access为Allow 然后点击Update
到此存储的配置已经完成
/etc/initiators.deny
注释掉iqn.2006-01.com.openfiler:tsn.5e423e1e4d90 ALL：
1 2 3 4 5 6 7 8 9 10 11 12 13 | [root@OFLHR ~]# more /etc/initiators.deny # PLEASE DO NOT MODIFY THIS CONFIGURATION FILE! # This configuration file was autogenerated # by Openfiler. Any manual changes will be overwritten # Generated at: Sat Jan 21 1:49:55 CST 2017 #iqn.2006-01.com.openfiler:tsn.5e423e1e4d90 ALL # End of Openfiler configuration [root@OFLHR ~]# |
RAC中配置共享
RAC节点配置iSCSI
iSCSI（Internet Small Computer System Interface）。iSCSI技术由IBM公司研究开发，是一个供硬件设备使用的、可以在IP协议的上层运行的SCSI指令集，这种指令集合可以实现在IP网络上运行SCSI协议，使其能够在诸如高速千兆以太网上进行路由选择。iSCSI技术是一种新储存技术，该技术是将现有SCSI接口与以太网络(Ethernet)技术结合，使服务器可与使用IP网络的储存装置互相交换资料。iSCSI是一种基于 TCP/IP 的协议，用来建立和管理 IP存储设备、主机和客户机等之间的相互连接，并创建存储区域网络（SAN）。
iSCSI target：就是储存设备端，存放磁盘或RAID的设备，目前也能够将Linux主机模拟成iSCSI target了！目的在提供其他主机使用的『磁盘』；
iSCSI initiator：就是能够使用target的用户端，通常是服务器。也就是说，想要连接到iSCSI target的服务器，也必须要安装iSCSI initiator的相关功能后才能够使用iSCSI target提供的磁盘。
iSCSI target
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 | [root@OFLHR ~]# service iscsi-target start Starting iSCSI target service: [ OK ] [root@OFLHR ~]# more /etc/ietd.conf ##### WARNING!!! - This configuration file generated by Openfiler. DO NOT MANUALLY EDIT. ##### Target iqn.2006-01.com.openfiler:tsn.5e423e1e4d90 HeaderDigest None DataDigest None MaxConnections 1 InitialR2T Yes ImmediateData No MaxRecvDataSegmentLength 131072 MaxXmitDataSegmentLength 131072 MaxBurstLength 262144 FirstBurstLength 262144 DefaultTime2Wait 2 DefaultTime2Retain 20 MaxOutstandingR2T 8 DataPDUInOrder Yes DataSequenceInOrder Yes ErrorRecoveryLevel 0 Lun 0 Path=/dev/vmlhr/lv01,Type=blockio,ScsiSN=22llvD-CacO-MOMA,ScsiId=22llvD-CacO-MOMA,IOMode=wt Lun 1 Path=/dev/vmlhr/lv02,Type=blockio,ScsiSN=BgLpy9-u7PH-csDC,ScsiId=BgLpy9-u7PH-csDC,IOMode=wt Lun 2 Path=/dev/vmlhr/lv03,Type=blockio,ScsiSN=38KsSC-REKL-yPgW,ScsiId=38KsSC-REKL-yPgW,IOMode=wt Lun 3 Path=/dev/vmlhr/lv04,Type=blockio,ScsiSN=aN5blo-NyMp-L4Jl,ScsiId=aN5blo-NyMp-L4Jl,IOMode=wt [root@OFLHR ~]# ps -ef|grep iscsi root 937 2 0 01:01 ? 00:00:00 [iscsi_eh] root 946 1 0 01:01 ? 00:00:00 iscsid root 947 1 0 01:01 ? 00:00:00 iscsid root 13827 1217 0 02:43 pts/1 00:00:00 grep iscsi [root@OFLHR ~]# cat /proc/net/iet/volume tid:1 name:iqn.2006-01.com.openfiler:tsn.5e423e1e4d90 lun:0 state:0 iotype:blockio iomode:wt path:/dev/vmlhr/lv01 lun:1 state:0 iotype:blockio iomode:wt path:/dev/vmlhr/lv02 lun:2 state:0 iotype:blockio iomode:wt path:/dev/vmlhr/lv03 lun:3 state:0 iotype:blockio iomode:wt path:/dev/vmlhr/lv04 [root@OFLHR ~]# cat /proc/net/iet/session tid:1 name:iqn.2006-01.com.openfiler:tsn.5e423e1e4d90 [root@OFLHR ~]# |
iSCSI initiator
安装iSCSI initiator
RAC的2个节点分别安装iSCSI initiator。
1 2 3 4 5 | [root@raclhr-12cR1-N1 ~]# rpm -qa|grep iscsi iscsi-initiator-utils-6.2.0.873-10.el6.x86_64 [root@raclhr-12cR1-N1 ~]# |
若未安装可使用yum install iscsi-initiator-utils*进行安装。
iscsiadm
iscsi initiator主要通过iscsiadm命令管理，我们先查看提供服务的iscsi target机器上有哪些target:
