1、准备三个节点
一台做SAN设备
两台做ORACLE RAC节点，每个节点2个网卡
2、分配IP地址
saneth0 10.0.0.1
c1eth0 192.168.33.101 eth0:1 192.168.33.201
c2eth0 192.168.33.102eth0:1 192.168.33.202
给eth0加入虚拟IP使用下面的命令
ifconfig eth0:1 192.168.33.201 netmask 255.255.255.0
ifconfig eth0:1
192.168.33.202 netmask 255.255.255.0
如果配置错误使用下面的命令进行删除
ip addr del 192.168.33.202 dev eth2
3、安装ntp服务器作为集群时钟授时系统，可以安装在ipsan设备上
在san上，编辑/etc/ntp.conf
retrict default nomodify
restrict 127.0.0.1
server 127.127.1.0
fudge
127.127.1.0 stratum 8
driftfile /var/lib/ntp/drift
broadcastdelay
0.008
然后重启ntpd服务
service ntpd restart
在c1、c2主机上去同步时钟即可
crontab -e
*/5 * * * * /usr/sbin/ntpdate xxxxx
每五分钟同步一次
4、修改内核参数在c1、c2上
vim /etc/sysctl.conf
net.ipv4.ip_forward = 1
net.ipv4.conf.default.rp_filter =
1
net.ipv4.conf.default.accept_source_route = 0
kernel.sysrq =
0
kernel.core_uses_pid = 1
net.ipv4.tcp_syncookies = 1
kernel.msgmnb =
65536
kernel.msgmax = 65536
kernel.shmmax = 2147483648
kernel.shmall =
268435456
kernel.shmmni = 4096
kernel.shmall = 2097152
kernel.sem = 250
32000 100 128
fs.file-max = 65536
net.ipv4.ip_local_port_range = 1024
65000
net.core.rmem_default = 262144
net.core.rmem_max =
262144
net.core.wmem_default = 262144
net.core.wmem_max = 262144
5、创建oracle用户和dba、oinstall用户组
groupadd oinstall
groupadd dba
useradd -m -g oinstall -G dba oracle
6、编辑/etc/hosts文件
vim /etc/hosts
127.0.0.1localhost
192.168.33.101c1
192.168.33.201c1-vip
10.0.0.2c1-priv
192.168.33.102c2
192.168.33.202c2-vip
10.0.0.3c2-priv
10.0.0.1san
在c1、c2上都复制这些内容
7、所有节点都要配置hangcheck-timer:用于监视 Linux 内核是否挂起
vim /etc/modprobe.conf
options hangcheck-timer hangcheck_tick=30
hangcheck_margin=180
vim /etc/rc.local
modprobe hangcheck-timer
检查hangcheck-timer模块是否已经加载:
lsmod | grep hangcheck_timer
8、配置oracle用户双机（多机）互信
su – oracle
ssh-keygen -t rsa
ssh-keygen -t dsa
cd .ssh
cat *.pub
> authorized_keys
然后每个节点都进行
cat *.pub > authorized_keys的追加
9、配置ipsan
在san主机上
yum -y install scsi-target-utils
yum -y install
iscsi-initiator-utils
vim /etc/tgt/targets.conf
backing-store /dev/sdb1
vender_id
IET
product_id V1
backing-store
/dev/sdc1
vender_id
IET
product_id V2
backing-store
/dev/sdd1
vender_id
IET
product_id V3
backing-store
/dev/sde1
vender_id
IET
product_id V4
backing-store
/vote/disk1.img
vender_id
IET
product_id V5
backing-store
/vote/disk2.img
vender_id
IET
product_id V6
service tgtd restart
chkconfig tgtd on
10、导入ipsan的公共存储
yum
install iscsi-initiator-utils -y
service
iscsid start
iscsiadm
-m discovery -t st -p san
service
iscsi start
chkconfig
iscsid on
chkconfig
iscsi on
11、安装依赖包c1、c2
yum
install binutilscompat-libstdc++elfutils-libelfelfutils-libelf-develglibcglibc-commonglibc-develglibc-headersgccgcc-c++libaiolibaio-devel
libgcclibstdc++libstdc++-develmakesysstatunixODBCunixODBC-devel-y
12、安装oracleasm包c1、c2
rpm
-ivh oracleasm-2.6.18-164.el5-2.0.5-1.el5.x86_64.rpm
oracleasmlib-2.0.4-1.el5.x86_64.rpm
oracleasm-support-2.1.7-1.el5.x86_64.rpm
13、安装cluster
cd
/mnt/clusterware/cluvfy/
./runcluvfy.sh
stage -pre crsinst -nc1,c2 -verbose
cd
/mnt/clusterware/
./runInstaller-ignoreSysPrereqs
在Specify
Home Details页面
手工修改crs安装终点:
/u01/crs_1
在Specify
Cluster Configuration页面
指定两个节点
c1c1-privc1-vip
c2c2-privc2-vip
在Specify
Network Interface Usage页面
eth0192.168.33.0Public
eth010.0.0.0Private
在Specify
Oracle Cluster Registry(OCR) Location页面
指定
External
Redundancy
Specify
OCR Location: /dev/raw/raw1
在Specify
Voting Disk Location页面
指定
External
Redundancy
Voting
Disk Location: /dev/raw/raw2
14、安装cluster后续工作
在c1运行
/u01/app/oracle/oraInventory/orainstRoot.sh
在c2运行
/u01/app/oracle/oraInventory/orainstRoot.sh
在两个节点上修改两个脚本来避免bug出现
vim
/u01/crs_1/bin/vipca
LD_ASSUME_KERNEL=2.4.19
export
LD_ASSUME_KERNEL
fi
unset
LD_ASSUME_KERNEL
vim
/u01/crs_1/bin/srvctl
export
LD_ASSUME_KERNEL
unset LD_ASSUME_KERNEL
在c1运行
/u01/crs_1/root.sh
在c2运行
/u01/crs_1/root.sh
在最后一个节点运行/u01/crs_1/root.sh会报错
Running
vipca(silent) for configuring nodeapps
Error 0(Native:
listNetInterfaces:[3])
[Error 0(Native: listNetInterfaces:[3])]
需要手工设置oracle的IP:
cd
/u01/crs_1/bin
——————————————————————-
./oifcfg
iflist
eth0 192.168.33.0
eth0 192.168.33.0
./oifcfg
setif -global eth0/192.168.33.0:public
./oifcfg setif -global
eth0:1/192.168.33.0:cluster_interconnect
./oifcfg
getif
eth0 192.168.33.0 global public
eth0:1 192.168.33.0 global
cluster_interconnect
运行vipca
/u01/crs_1/bin/vipca
在Step2指定IP
c1c1-vip192.168.1.201255.255.255.0
c2c2-vip192.168.1.202255.255.255.0
如果启动时发现ons服务无法启动，可以暂时忽略，重启主机后可以启动它。
如果碰到CRS-0184错误
可以尝试重启CRS守护进程/etc/rc.d/init.d/init.crs
start
如果有问题可以尝试查看/var/log/messages查看系统级错误
两个脚本都运行完就安装完cluster了
然后使用crs_stat
-t查看下状态，如果都是ONLINE状态就是正常。
15、安装Oracle数据库引擎
在Select
Installation Type页面
选择
Enterprise Edition
在Specify
Home Details页面
填写Path:
/u01/app/oracle/product/10.2.0/db_1
在Specify
Hardware Cluster Installation Mode
勾选两个节点c1，c2
在Select
Configuration Option页面
选择
Install database Software only
安装完毕后，先后在c1和c2上运行
/u01/app/oracle/product/10.2.0/db_1/root.sh脚本
16、安装ASM数据库实例
在c1上配置oracleasm
/etc/init.d/oracleasm
configure
先在c1上创建oracleasm磁盘
/etc/init.d/oracleasm
createdisk D1 /dev/sdb1
/etc/init.d/oracleasm
createdisk D2 /dev/sdc1
/etc/init.d/oracleasm
createdisk D3 /dev/sdd1
/etc/init.d/oracleasm
createdisk D4 /dev/sde1
在c2上配置oracleasm
/etc/init.d/oracleasm configure
在c2上扫描oracleasm的变化
/etc/init.d/oracleasm
scandisks
在c1用dbca创建ASM实例
选择D1,
D2, D3, D4，选择Normal模式
17、在ASM上创建数据库
启动dbca
略
