Exadata database and grid home manuel sıralı patch geçme EXADATA(Aug2017 – 11.2.0.4.170814)


Oracle Versiyon: 11.2.0.4.8

OS : Oracle Linux 6 (Linux x86-64)

patch number:26610265

patch: Oracle Database Patch For EXADATA(Aug2017 – 11.2.0.4.170814)


Yazının devamında Exadata X3-2 Full rac için database ve grid home a 11.2.0.4.170814 patch inin manuel rolling olarak geçilmesi anlatılmıştır. Exadata genel patch bilgileri için Doc ID 888828.1 incelenebilir.

Öncelikle patch geçilecek database ve grid home daki Opatch en güncel seviyeye getirilir. En güncel opatch versiyonu için oracle supporttan Doc ID 274526.1 yi takip edebilirsiniz.

Burada dikkat etmeniz gereken nokta database versiyonunuza uygun opatch i indirmeniz.

NOT: Patch geçmeden önce patch dosyası içerisinden çıkan readme dosyasını dikkatli şekilde okuyunuz. Bilinen hatalar (known issues) alanını öncelikle kontrol ediniz.

Daha sonra versiyonumuza uygun olarak indiriğimiz opatch dosyasını database ve grid home altına kopyalıyoruz. Full exadata üzerinde çalıştığımız için tek tek uğraşmamak adına bu işlemleri dcli ile yapacağız. Öncelikle bir ftp programıyla tüm nodelara indirdiğimiz opatch dosyasını kopyalıyoruz. biz /u02/source/patch/ dizini altına kopyaladık.

Opatch Güncelleme

  1. dcli ile tüm nodelarda zipli dosyayı açıyoruz.
  2. Eski OPatch klasörümüzü sonuna tarih ekleyerek yedekliyoruz.
  3. Yeni opatch klasörümüzü oracle home altına kopyalıyoruz.
  4. Grid  home altında da kopyalama işlemini gerçekleştiriyoruz.
cd /opt/oracle.SupportTools/onecommand/

 dcli -g dbs_group -l oracle "unzip /u02/source/patch/p6880880_112000_Linux-x86-64.zip -d /u02/source/" 
 dcli -g dbs_group -l oracle "mv /u01/app/oracle/product/11.2.0.4/dbhome_1/OPatch /u01/app/oracle/product/11.2.0.4/dbhome_1/Opatch_14_10_2017"
 dcli -g dbs_group -l oracle "cp -R /u02/source/OPatch /u01/app/oracle/product/11.2.0.4/dbhome_1/"
 dcli -g dbs_group -l oracle "cp -R /u02/source/OPatch /u01/app/11.2.0.4/grid/"

kontrol için aşağıdaki komutu çalıştırabiliriz.

dcli -g dbs_group -l oracle "/u01/app/oracle/product/11.2.0.4/dbhome_1/OPatch/opatch version"
dcli -g dbs_group -l oracle "/u01/app/11.2.0.4/grid/OPatch/opatch version"

Patch Dosyasını Kopyalama

bir ftp programıyla tüm nodelara indirdiğimiz patch dosyasını kopyalıyoruz. ardından.

  1. md5sum ile dosyanın düzgün kopyalandığını kontrol ediyoruz.
  2. patch dosyasını unzip ediyoruz.
  3. kontrol ediyoruz.
dcli -g dbs_group -l oracle "md5sum /u02/source/patch/p26610265_112040_Linux-x86-64.zip"

dcli -g dbs_group -l oracle "unzip /u02/source/patch/p26610265_112040_Linux-x86-64.zip -d /u02/source/patch/11204_170814/" 
 
dcli -g dbs_group -l oracle "ls -lrt /u02/source/patch/11204_170814/"

PREPATCH

Enterprise manager agent’ı  stop edilir.

dcli -g dbs_group -l oracle "/u01/agent/agent_13.2.0.0.0/bin/emctl stop agent"

Oracle userı ile db home üzerinden çalışan tüm prosesler stop edilir. Bunun için servisleri açarken kullanılacak bir status.txt dosyası üretilir.  aşağıdaki scripti 1. node olan exadatanoe1 üzerinde çalıştırıyoruz.

/u01/app/oracle/product/11.2.0.4/dbhome_1/bin/srvctl stop home -o /u01/app/oracle/product/11.2.0.4/dbhome_1 -s /u02/source/status.txt -n exadatanoe1

Sonrasında aşağıdaki scripti çalıştırarak grid proseslerini durdurarak grid home u patch geçmeye hazır hale getiriyoruz.

/u01/app/11.2.0.4/grid/crs/install/rootcrs.pl -unlock

grid proseslerinin kapandığını kontrol etmek için diskmon prosesini grepleyebiliriz.

ps -ef | grep diskmon

PATCH

Grid PATCH

Unzip edilen patch dosyasının içine girilerek. Grid home ownerı ile aşağıdaki scriptler çalıştırılır. Bizde grid home userı oracle

 

cd /u02/source/patch/11204_170814/

/u01/app/11.2.0.4/grid/OPatch/opatch napply -oh /u01/app/11.2.0.4/grid -local /u02/source/patch/11204_170814/26610265/26609769

/u01/app/11.2.0.4/grid/OPatch/opatch napply -oh /u01/app/11.2.0.4/grid -local /u02/source/patch/11204_170814/26610265/26609929

/u01/app/11.2.0.4/grid/OPatch/opatch napply -oh /u01/app/11.2.0.4/grid -local /u02/source/patch/11204_170814/26610265/22502505

aşağıdaki komut ile kontrol edilebilir. Örnek çıktısı aşağıdaki gibi olmalıdır.

/u01/app/11.2.0.4/grid/OPatch/opatch lsinventory -detail -oh /u01/app/11.2.0.4/grid | grep 11.2.0.4.170814
Patch description: "OCW Patch Set Update : 11.2.0.4.170814 (26609929)"
Patch description: "DATABASE PATCH FOR EXADATA (Aug 2017 - 11.2.0.4.170814) : (26609769)"

Database PATCH

Database home owner ile aşağıdaki script çalıştırılır.

/u02/source/patch/11204_170814/26610265/26609929/custom/server/26609929/custom/scripts/prepatch.sh -dbhome /u01/app/oracle/product/11.2.0.4/dbhome_1

Burada bizim önceden geçtiğimiz bir one of patch ile çakışma yaşandığını gördük. Öncelikle böyle bir conflict durumu ile karşılaşırsanız conflict olan patch i aşağıdaki gibi kaldırabilirsiniz.

opatch rollback -id 19995869

Sonrasında yine database home owner ile aşağıdaki komutlar çalıştırılarak patch geçilir.

/u01/app/oracle/product/11.2.0.4/dbhome_1/OPatch/opatch napply -oh /u01/app/oracle/product/11.2.0.4/dbhome_1 -local /u02/source/patch/11204_170814/26610265/26609769

/u01/app/oracle/product/11.2.0.4/dbhome_1/OPatch/opatch napply -oh /u01/app/oracle/product/11.2.0.4/dbhome_1 -local /u02/source/patch/11204_170814/26610265/26609929/custom/server/26609929

POST PATCH

patch işlemi tamamlandıktan sonra aşağıdaki script çalıştırılır. oracle user ile

/u02/source/patch/11204_170814/26610265/26609929/custom/server/26609929/custom/scripts/postpatch.sh -dbhome /u01/app/oracle/product/11.2.0.4/dbhome_1

Root user ile aşağıdaki scriptler çalıştırılır. Bu scriptler grid proseslerini de ayağa kaldırıyor.

/u01/app/11.2.0.4/grid/rdbms/install/rootadd_rdbms.sh
/u01/app/11.2.0.4/grid/crs/install/rootcrs.pl -patch

Oracle user ile aşağıdaki script çalıştırılarak patch öncesi node üzerinde çalışan prosesler tekrar start edilir.

/u01/app/oracle/product/11.2.0.4/dbhome_1/bin/srvctl start home -o /u01/app/oracle/product/11.2.0.4/dbhome_1 -s /u02/source/status.txt -n exadatanoe1

Sonrasında aynı işlemler diğer db nodelar üzerinde tekrarlanır. tüm node lar bittiğinde em agent da yeniden açılır.

dcli -g dbs_group -l oracle "/u01/agent/agent_13.2.0.0.0/bin/emctl start agent"

ROLLBACK

patch geçisinde en başta yapılan stop işlemleri tekrarlanır. (srvctl stop home ve rootcrs.pl -unlock).

Grid home rollback

###ROLLBACK######
/u01/app/11.2.0.4/grid/OPatch/opatch rollback -local -id 26609769 -oh /u01/app/11.2.0.4/grid 
 
/u01/app/11.2.0.4/grid/OPatch/opatch rollback -local -id 26609929 -oh /u01/app/11.2.0.4/grid 
 
/u01/app/11.2.0.4/grid/OPatch/opatch rollback -local -id 22502505 -oh /u01/app/11.2.0.4/grid 
###ROLLBACK######

Database home rollback

#### ROLLBACK #####
/u01/app/oracle/product/11.2.0.4/dbhome_1/OPatch/opatch rollback -local -id 26609769 -oh /u01/app/oracle/product/11.2.0.4/dbhome_1

/u01/app/oracle/product/11.2.0.4/dbhome_1/OPatch/opatch rollback -local -id 26609929 -oh /u01/app/oracle/product/11.2.0.4/dbhome_1
####ROLLBACK #####

 

postpach scripti tekrar çalıştırılır.

/u02/source/patch/11204_170814/26610265/26609929/custom/server/26609929/custom/scripts/postpatch.sh -dbhome /u01/app/oracle/product/11.2.0.4/dbhome_1

patch sonrası çalıştırılan start scriptleri tekrarlanır. (rootcrs.pl -patch , srvctl start home )

CELL-02578 CELL-05503 exadata cell validate mail Hatası

Exadata Cell node üzerinde smtp configürasyonunu test ederken aşağıdaki gibi bir hata ile karşılaştık.

CellCLI> alter cell validate mail 

CELL-02578: An error was detected in the SMTP configuration: CELL-05503: An error was detected during notification. The text of the associated internal error is: Invalid Addresses. 
The notification recipient is BTVeritabani@tahsincan.com.tr. 

Cell üzerindeki mail konfigürasyonumuz aşağıdaki gibiydi. Ve address doğru görünüyordu.

smtpFrom: exadatacell2
 smtpFromAddr: exadatacell2@tahsincan.com.tr
 smtpPort: 25
 smtpServer: mail.tahsincan.com.tr
 smtpToAddr: BTVeritabani@tahsincan.com.tr
 smtpUseSSL: FALSE

Bunun üzerine aşağıdaki yöntem ile smtp sunucumuza bağlanarak ayarlarda belirtilen adresler ile mail atıp atamadığımızı control ettik. Aşağıda yapılan testi farklı durumlarda da smtp sunucunuzdaki relay haklarınızı kontrol etmek için yapabilirsiniz.

[root@exadatacell2celadm01 log]# curl telnet://mail.tahsincan.com.tr:25
 220 ESG Service is ready.
 ehlo x
 250-Websense email protection service
 250-SIZE 26214400
 250-STARTTLS
 250-AUTH PLAIN LOGIN
 250-ENHANCEDSTATUSCODES
 250 8BITMIME
 mail from:exadatacell2@tahsincan.com.tr
 250 2.1.0 Ok
 rcpt to:tahsincan@tahsincan.com.tr421 4.4.2 mail.tahsincan.com.tr Error: timeout exceeded
 [root@exadatacell2celadm01 log]# rcpt to:tahsincan@tahsincan.com.tr
 -bash: rcpt: command not found
 [root@exadatacell2celadm01 log]#
 [root@exadatacell2celadm01 log]#
 [root@exadatacell2celadm01 log]# curl telnet://mail.tahsincan.com.tr:25
 220 ESG Service is ready.
 ehlo
 501 Syntax: EHLO hostname
 mail from:exadatacell2@tahsincan.com.tr
 250 2.1.0 Ok
 rcpt to:tahsincan@tahsincan.com.tr
 554 5.7.1 Error: need authentication from xxx.xxx.xxx.xxx
 421 4.4.2 mail.tahsincan.com.tr Error: timeout exceeded

Error: need authentication from xxx.xxx.xxx.xxx hatası bize exadata cell node ip mizin, smtp sunucumuzda relay izni olmadığını gösteriyor.

Smtp suncuda ilgili ip ye relay izni verdikten sonra kontrol ettiğimizde mailin başarılı bir şekilde atıldığını görüyoruz.

CellCLI> alter cell validate mail
Cell exadatacell2celadm01 successfully altered

 

Exadata db node üzerinde yeni disk oluşturma

Exadata db nodelar üzerindeki fisiksel diskler ilk kurulumda bir logical volume e atanmış olarak geliyor. Bu nedenle disk eklerken ve büyütürken linux logical volume yönetme komutlarını kullanacağız. Öncelikle mevcut sistem durumuna bakmak için aşağıdaki komutları kullanabiliriz.

Exadata X6-2 quarter rac üzerinde komutların çıktıları aşağıdaki gibidir. pvdisplay komutu ile fiziksel diskleri görebiliriz.

root@exadata_node1 ~]#pvdisplay
 --- Physical volume ---
 PV Name /dev/sda2
 VG Name VGExaDb
 PV Size 114.00 GiB / not usable 4.00 MiB
 Allocatable yes
 PE Size 4.00 MiB
 Total PE 29184
 Free PE 7424
 Allocated PE 21760
 PV UUID mExRS4-yLkj-8mq6-LTug-d4xZ-fwHl-2kYob3

 --- Physical volume ---
 PV Name /dev/sda3
 VG Name VGExaDb
 PV Size 1.52 TiB / not usable 1.95 MiB
 Allocatable yes
 PE Size 4.00 MiB
 Total PE 399124
 Free PE 347924
 Allocated PE 51200
 PV UUID HWptgO-6DEq-P2Tf-IJlK-tHyH-wnzn-8NoO8F

vgdisplay komutu ile bu fiziksel diskler üzerinde tanımlanmış logical volume grupları görebiliriz. Mevcut sistemde VGExaDb isminmde bir adet volume grubumuz var. Free PE alanında gördüğümüz VGExaDb  volume grubumuzun üzere de 1.3 TB boş alan var. Bu alan gerektiği anlarda mevcut disklerin snapshotlarını alabilmemiz veya yeni disk ekleyebilmemiz için boş olarak geliyor.

root@exadata_node1 ~]#vgdisplay
 --- Volume group ---
 VG Name VGExaDb
 System ID
 Format lvm2
 Metadata Areas 2
 Metadata Sequence No 17
 VG Access read/write
 VG Status resizable
 MAX LV 0
 Cur LV 6
 Open LV 4
 Max PV 0
 Cur PV 2
 Act PV 2
 VG Size 1.63 TiB
 PE Size 4.00 MiB
 Total PE 428308
 Alloc PE / Size 72960 / 285.00 GiB
 Free PE / Size 355348 / 1.36 TiB
 VG UUID V4rqmL-Efaq-ASFt-jo6a-46Cs-VS9B-uTaUPr

lvdisplay komutu ile de volume gruplarımız üzerindeki lofical volumeleri listeleyebiliriz. tek bir logical volume listelemek için lvdisplay LV Path olarak da çalıştırabiliriz. Liste uzun olduğundan sadece LVDbOra1 için çıktıyı paylaşıyorum.

root@exadata_node1 ~]#lvdisplay /dev/VGExaDb/LVDbOra1
 --- Logical volume ---
 LV Path /dev/VGExaDb/LVDbOra1
 LV Name LVDbOra1
 VG Name VGExaDb
 LV UUID W6gknw-WoKo-LuzB-G1Ov-aIBP-uNlZ-L9yeo9
 LV Write Access read/write
 LV Creation host, time exadata_node1.kkbdomain.com, 2017-03-07 14:30:19 +0300
 LV Status available
 # open 1
 LV Size 100.00 GiB
 Current LE 25600
 Segments 1
 Allocation inherit
 Read ahead sectors auto
 - currently set to 256
 Block device 251:3

Sistemde bu kontrolleri yaptıktan sonra adım adım yeni diskimizi oluşturabiliriz. Bunun için kullanacağımız komut lvm lvcreate komutu. Bu komuta -n parametresi ile logical volume ismini -l parametresi ile size bilgisini ve volume grup bilgisini ileteceğiz. Biz mevcut sistemimizde bir adet /u02 oluşturduğumuz için örnekte yeni diskimizi /u03 olarak oluşturacağız.

lvm lvcreate -n LVDbOra3 -L100G VGExaDb

,

Oluşturduğumuz logical volume’u aşağıdaki gibi kontrol edebiliriz.

/u01 diskgrubumuz ext4 olarak formatlandığı için yeni disk grubumuzu da ext4 olarak formatlayacağız.

formatladığımız diske label atamak için e2label komutunu kullanacağız.

e2label /dev/VGExaDb/LVDbOra3 DBORA3

Sunucu reboot olduğunda yeni diskimizin otomatik mount olması için gerekli bilgileri fstab a yazmamız gerekiyor. Burada her ihtimale karşı fstabın bir yedeğini alabilirsiniz. eklenecek satır LABEL=DBORA3 /u03 ext4 defaults,nodev 1 1

root@exadata_node1 ~]#vi /etc/fstab

Root dizini altında bir adet /u03 dizini oluşturarak diskimizi buraya mount ediyoruz. Ve /u01 diskinin owner’ı root:oinstall olduğu için yeni diskimizin owner’ını da bu şekilde düzenliyoruz.

mkdir /u03

mount -t ext4 /dev/VGExaDb/LVDbOra3 /u03 
ya da 
mount -a

chgrp oinstall /u03

İşlemler bir db node üzerinde tamamlandığında diğer nodelar üzerinde de aynı işlemleri tekrarlamamız gerekiyor. Eklediğimiz bu yeni disklerde farklı versiyonlarda oracle home lar kullanarak ihtiyaca göre birbirinden yalıtabiliriz.

 

 

Exadata parça değişimi için asm etkilenmeden cell node kapatıp açma

Exadata cell sunucu üzerinde bir parça değişimi ya da restart  işlemlerinin , ASM’i etkilemeden yapılması için öncelikle ASM üzerinde disk_repair_time parametresi kontrol edilmelidir.

Bunun için ASM ortamına bağlanıp aşağıdaki komut ile değer kontrol edilmelidir.

[oracle@exadata_dbnode1~]$ sqlplus / as sysasm

SQL*Plus: Release 11.2.0.4.0 Production on Mon Feb 27 11:25:49 2017
Copyright (c) 1982, 2013, Oracle. All rights reserved.

Connected to:
Oracle Database 11g Enterprise Edition Release 11.2.0.4.0 - 64bit Production
With the Real Application Clusters and Automatic Storage Management options

SQL> select dg.name,a.value from v$asm_diskgroup dg, v$asm_attribute a where dg.group_number=a.group_number and a.name='disk_repair_time';

NAME VALUE
------------------------------
DATA_DM 3.6H
DBFS_DG 3.6H
RECO_DM 3.6H

Bizim sistemimizde bu değer 3.6 saat görünüyor. Yani bi bakım işlemi esnasında cell server 3.6 saat kapalı kalsa bile asm diskleri drop edip yeniden rebalance başlatmıyor. 3.6 saat içerisinde CELL üzerindeki diskler tekrar online olduğunda sadece resync işlemi yaparak çalışmaya devam ediyor.

Eğer bakım işleminiz daha uzun sürecekse bu değeri aşağıdaki komut ile arttırabilirsiniz.

SQL> ALTER DISKGROUP DATA_DM SET ATTRIBUTE 'DISK_REPAIR_TIME'='8.5H';

Bakım işlemine başlanmadan önce kesinlikle aşağıdaki komut ile disklerin offline duruma çekilebilir olup olmadıklarını kontrol etmeliyiz. Aşağıdaki komut tüm diskler için yes olarak dönmelidir.

[root@exadata_celnode3 tmp]# cellcli -e list griddisk attributes name,asmmodestatus,asmdeactivationoutcome
 DATA_DM_CD_00_exadata_celnode3 ONLINE Yes
 DATA_DM_CD_01_exadata_celnode3 ONLINE Yes
 DATA_DM_CD_02_exadata_celnode3 ONLINE Yes
 DATA_DM_CD_03_exadata_celnode3 ONLINE Yes
 DATA_DM_CD_04_exadata_celnode3 ONLINE Yes
 DATA_DM_CD_05_exadata_celnode3 ONLINE Yes
 DATA_DM_CD_06_exadata_celnode3 ONLINE Yes
 DATA_DM_CD_07_exadata_celnode3 ONLINE Yes
 DATA_DM_CD_08_exadata_celnode3 ONLINE Yes
 DATA_DM_CD_09_exadata_celnode3 ONLINE Yes
 DATA_DM_CD_10_exadata_celnode3 ONLINE Yes
 DATA_DM_CD_11_exadata_celnode3 ONLINE Yes
 DBFS_DG_CD_02_exadata_celnode3 ONLINE Yes
 DBFS_DG_CD_03_exadata_celnode3 ONLINE Yes
 DBFS_DG_CD_04_exadata_celnode3 ONLINE Yes
 DBFS_DG_CD_05_exadata_celnode3 ONLINE Yes
 DBFS_DG_CD_06_exadata_celnode3 ONLINE Yes
 DBFS_DG_CD_07_exadata_celnode3 ONLINE Yes
 DBFS_DG_CD_08_exadata_celnode3 ONLINE Yes
 DBFS_DG_CD_09_exadata_celnode3 ONLINE Yes
 DBFS_DG_CD_10_exadata_celnode3 ONLINE Yes
 DBFS_DG_CD_11_exadata_celnode3 ONLINE Yes
 RECO_DM_CD_00_exadata_celnode3 ONLINE Yes
 RECO_DM_CD_01_exadata_celnode3 ONLINE Yes
 RECO_DM_CD_02_exadata_celnode3 ONLINE Yes
 RECO_DM_CD_03_exadata_celnode3 ONLINE Yes
 RECO_DM_CD_04_exadata_celnode3 ONLINE Yes
 RECO_DM_CD_05_exadata_celnode3 ONLINE Yes
 RECO_DM_CD_06_exadata_celnode3 ONLINE Yes
 RECO_DM_CD_07_exadata_celnode3 ONLINE Yes
 RECO_DM_CD_08_exadata_celnode3 ONLINE Yes
 RECO_DM_CD_09_exadata_celnode3 ONLINE Yes
 RECO_DM_CD_10_exadata_celnode3 ONLINE Yes
 RECO_DM_CD_11_exadata_celnode3 ONLINE Yes

Eğer disklerden birinde bile asmdeactivationoutcome=yes dönmezse işleme başlamadan önce bu diskin miror’ı ile yedeklemesinin düzgün olduğu kontrol edilmeli ve bir problem varsa düzeltilmelidir.

Yedekleme tamamlandığında komut tekrar çekilerek, tüm değerlerin yes olarak döndüğü kontrol edildikten sonra, diskleri offline duruma çekebiliriz.  Bu işlem disklerdeki aktiviteye göre 10 dakikaya kadar sürebilir.  Bakım yapılacak cell kapatılmadan önce tüm disklerin inactive duruma geçtiğini kontrol etmek çok önemlidir.  Diskleri cell üzerinde inactive etmek ASM de disklerin otomatik olarak offline olmasını sağlayacaktır. Bakım yapacağımız sunucuda Diskleri offline duruma çekmek için aşağıdaki komutu cellcli üzerinde çalıştırmamız gerekiyor.

cellcli -e alter griddisk all inactive

Aşağıdaki komut ile Disklerin asmmodestatus = offline ya da UNUSED  olduğu ve asmdeactivationoutcome=yes olarak döndüğü teyit edilir.

[root@exadata_celnode3 tmp]# cellcli -e list griddisk attributes name,asmmodestatus,asmdeactivationoutcome
 DATA_DM_CD_00_exadata_celnode3 OFFLINE Yes
 DATA_DM_CD_01_exadata_celnode3 OFFLINE Yes
 DATA_DM_CD_02_exadata_celnode3 OFFLINE Yes
 DATA_DM_CD_03_exadata_celnode3 OFFLINE Yes
 DATA_DM_CD_04_exadata_celnode3 OFFLINE Yes
 DATA_DM_CD_05_exadata_celnode3 OFFLINE Yes
 DATA_DM_CD_06_exadata_celnode3 OFFLINE Yes
 DATA_DM_CD_07_exadata_celnode3 OFFLINE Yes
 DATA_DM_CD_08_exadata_celnode3 OFFLINE Yes
 DATA_DM_CD_09_exadata_celnode3 OFFLINE Yes
 DATA_DM_CD_10_exadata_celnode3 OFFLINE Yes
 DATA_DM_CD_11_exadata_celnode3 OFFLINE Yes
 DBFS_DG_CD_02_exadata_celnode3 OFFLINE Yes
 DBFS_DG_CD_03_exadata_celnode3 OFFLINE Yes
 DBFS_DG_CD_04_exadata_celnode3 OFFLINE Yes
 DBFS_DG_CD_05_exadata_celnode3 OFFLINE Yes
 DBFS_DG_CD_06_exadata_celnode3 OFFLINE Yes
 DBFS_DG_CD_07_exadata_celnode3 OFFLINE Yes
 DBFS_DG_CD_08_exadata_celnode3 OFFLINE Yes
 DBFS_DG_CD_09_exadata_celnode3 OFFLINE Yes
 DBFS_DG_CD_10_exadata_celnode3 OFFLINE Yes
 DBFS_DG_CD_11_exadata_celnode3 OFFLINE Yes
 RECO_DM_CD_00_exadata_celnode3 OFFLINE Yes
 RECO_DM_CD_01_exadata_celnode3 OFFLINE Yes
 RECO_DM_CD_02_exadata_celnode3 OFFLINE Yes
 RECO_DM_CD_03_exadata_celnode3 OFFLINE Yes
 RECO_DM_CD_04_exadata_celnode3 OFFLINE Yes
 RECO_DM_CD_05_exadata_celnode3 OFFLINE Yes
 RECO_DM_CD_06_exadata_celnode3 OFFLINE Yes
 RECO_DM_CD_07_exadata_celnode3 OFFLINE Yes
 RECO_DM_CD_08_exadata_celnode3 OFFLINE Yes
 RECO_DM_CD_09_exadata_celnode3 OFFLINE Yes
 RECO_DM_CD_10_exadata_celnode3 OFFLINE Yes
 RECO_DM_CD_11_exadata_celnode3 OFFLINE Yes

asmmodestatus=offline olduktan sonra Griddisklerin inactive olduğu kontrol edilir.

 [root@exadata_celnode3 tmp]# cellcli -e list griddisk
 DATA_DM_CD_00_exadata_celnode3 inactive
 DATA_DM_CD_01_exadata_celnode3 inactive
 DATA_DM_CD_02_exadata_celnode3 inactive
 DATA_DM_CD_03_exadata_celnode3 inactive
 DATA_DM_CD_04_exadata_celnode3 inactive
 DATA_DM_CD_05_exadata_celnode3 inactive
 DATA_DM_CD_06_exadata_celnode3 inactive
 DATA_DM_CD_07_exadata_celnode3 inactive
 DATA_DM_CD_08_exadata_celnode3 inactive
 DATA_DM_CD_09_exadata_celnode3 inactive
 DATA_DM_CD_10_exadata_celnode3 inactive
 DATA_DM_CD_11_exadata_celnode3 inactive
 DBFS_DG_CD_02_exadata_celnode3 inactive
 DBFS_DG_CD_03_exadata_celnode3 inactive
 DBFS_DG_CD_04_exadata_celnode3 inactive
 DBFS_DG_CD_05_exadata_celnode3 inactive
 DBFS_DG_CD_06_exadata_celnode3 inactive
 DBFS_DG_CD_07_exadata_celnode3 inactive
 DBFS_DG_CD_08_exadata_celnode3 inactive
 DBFS_DG_CD_09_exadata_celnode3 inactive
 DBFS_DG_CD_10_exadata_celnode3 inactive
 DBFS_DG_CD_11_exadata_celnode3 inactive
 RECO_DM_CD_00_exadata_celnode3 inactive
 RECO_DM_CD_01_exadata_celnode3 inactive
 RECO_DM_CD_02_exadata_celnode3 inactive
 RECO_DM_CD_03_exadata_celnode3 inactive
 RECO_DM_CD_04_exadata_celnode3 inactive
 RECO_DM_CD_05_exadata_celnode3 inactive
 RECO_DM_CD_06_exadata_celnode3 inactive
 RECO_DM_CD_07_exadata_celnode3 inactive
 RECO_DM_CD_08_exadata_celnode3 inactive
 RECO_DM_CD_09_exadata_celnode3 inactive
 RECO_DM_CD_10_exadata_celnode3 inactive
 RECO_DM_CD_11_exadata_celnode3 inactive

Tüm disklerin inactive olduğu teyit edildikten sonra cell sunucu aşağıdaki komut ile shutdown edilir edilir. Sistem shutdown edilirken tüm storage servisleri otomatik olarak kapatılır.

#shutdown -h now

The system is going down for system halt NOW!

Bakım işlemleri yapıldıktan sonra sunucu power düğmesinden veya ilom üzerinden açılır. Sunucu açılırken konsol  ekranını takip etmek için ilom üzerinden consola bağlanabiliriz. Bunun için ilom sunucuya root user ile ssh üzerinden login olduktan sonra aşağıdaki komutu çalıştırmamız gerekir.

start /sp/console

Sunucu açıldıktan sonra aşağıdaki komut ile diskler tekrar aktive edilir.

cellcli -e alter griddisk all active

Komut çalıştırıldıktan sonra disklerin active duruma geçip geçmedikleri kontrol edilir.

[root@exadata_celnode3 tmp]# cellcli -e list griddisk
 DATA_DM_CD_00_exadata_celnode3 active
 DATA_DM_CD_01_exadata_celnode3 active
 DATA_DM_CD_02_exadata_celnode3 active
 DATA_DM_CD_03_exadata_celnode3 active
 DATA_DM_CD_04_exadata_celnode3 active
 DATA_DM_CD_05_exadata_celnode3 active
 DATA_DM_CD_06_exadata_celnode3 active
 DATA_DM_CD_07_exadata_celnode3 active
 DATA_DM_CD_08_exadata_celnode3 active
 DATA_DM_CD_09_exadata_celnode3 active
 DATA_DM_CD_10_exadata_celnode3 active
 DATA_DM_CD_11_exadata_celnode3 active
 DBFS_DG_CD_02_exadata_celnode3 active
 DBFS_DG_CD_03_exadata_celnode3 active
 DBFS_DG_CD_04_exadata_celnode3 active
 DBFS_DG_CD_05_exadata_celnode3 active
 DBFS_DG_CD_06_exadata_celnode3 active
 DBFS_DG_CD_07_exadata_celnode3 active
 DBFS_DG_CD_08_exadata_celnode3 active
 DBFS_DG_CD_09_exadata_celnode3 active
 DBFS_DG_CD_10_exadata_celnode3 active
 DBFS_DG_CD_11_exadata_celnode3 active
 RECO_DM_CD_00_exadata_celnode3 active
 RECO_DM_CD_01_exadata_celnode3 active
 RECO_DM_CD_02_exadata_celnode3 active
 RECO_DM_CD_03_exadata_celnode3 active
 RECO_DM_CD_04_exadata_celnode3 active
 RECO_DM_CD_05_exadata_celnode3 active
 RECO_DM_CD_06_exadata_celnode3 active
 RECO_DM_CD_07_exadata_celnode3 active
 RECO_DM_CD_08_exadata_celnode3 active
 RECO_DM_CD_09_exadata_celnode3 active
 RECO_DM_CD_10_exadata_celnode3 active
 RECO_DM_CD_11_exadata_celnode3 active

Tüm disklerin online duruma geçip geçmedikleri aşağıdaki komut ile takip edilir. Yoğun kullanılan sistemlerde diskler uzun süre SYNCING işlemi yapabilir. SYNCING işlemi tamamlandığında disklerin otomatik olarak ONLINE duruma geçmesi gerekir.

[root@exadata_celnode1 tmp]# cellcli -e list griddisk attributes name,asmmodestatus
 DATA_DM_CD_00_exadata_celnode3 SYNCING
 DATA_DM_CD_01_exadata_celnode3 SYNCING
 DATA_DM_CD_02_exadata_celnode3 SYNCING
 DATA_DM_CD_03_exadata_celnode3 SYNCING
 DATA_DM_CD_04_exadata_celnode3 SYNCING
 DATA_DM_CD_05_exadata_celnode3 SYNCING
 DATA_DM_CD_06_exadata_celnode3 SYNCING
 DATA_DM_CD_07_exadata_celnode3 SYNCING
 DATA_DM_CD_08_exadata_celnode3 SYNCING
 DATA_DM_CD_09_exadata_celnode3 SYNCING
 DATA_DM_CD_10_exadata_celnode3 SYNCING
 DATA_DM_CD_11_exadata_celnode3 SYNCING
 DBFS_DG_CD_02_exadata_celnode3 SYNCING
 DBFS_DG_CD_03_exadata_celnode3 SYNCING
 DBFS_DG_CD_04_exadata_celnode3 SYNCING
 DBFS_DG_CD_05_exadata_celnode3 SYNCING
 DBFS_DG_CD_06_exadata_celnode3 SYNCING
 DBFS_DG_CD_07_exadata_celnode3 SYNCING
 DBFS_DG_CD_08_exadata_celnode3 SYNCING
 DBFS_DG_CD_09_exadata_celnode3 SYNCING
 DBFS_DG_CD_10_exadata_celnode3 SYNCING
 DBFS_DG_CD_11_exadata_celnode3 SYNCING
 RECO_DM_CD_00_exadata_celnode3 SYNCING
 RECO_DM_CD_01_exadata_celnode3 SYNCING
 RECO_DM_CD_02_exadata_celnode3 SYNCING
 RECO_DM_CD_03_exadata_celnode3 SYNCING
 RECO_DM_CD_04_exadata_celnode3 SYNCING
 RECO_DM_CD_05_exadata_celnode3 SYNCING
 RECO_DM_CD_06_exadata_celnode3 SYNCING
 RECO_DM_CD_07_exadata_celnode3 SYNCING
 RECO_DM_CD_08_exadata_celnode3 SYNCING
 RECO_DM_CD_09_exadata_celnode3 SYNCING
 RECO_DM_CD_10_exadata_celnode3 SYNCING
 RECO_DM_CD_11_exadata_celnode3 SYNCING

SYNCING operasyonu, rebalance işlemi yapmamaktadır. Sadece disk offline olduğu süreçte miror da yazılan blokları online olan disklere yazmaktadır.

Eğer bakım işlemi rolling olarak yapılacaksa bir sonraki cell  sunucusuna geçmeden önce SYNCING işleminin tamamlandığı ve asmdeactivationoutcome parametresinin yes olduğu kontrol edilmelidir. SYNCING işlemi devam ederken asmdeactivationoutcome çıktısı “Cannot de-activate due to other offline disks in the diskgroup” şeklinde gelir.

Örnek ekran görüntüsü:

[root@exadata_celnode3 tmp]# cellcli -e list griddisk attributes name where asmdeactivationoutcome != 'Yes'
 DATA_DM_CD_00_exadata_celnode3 "Cannot de-activate due to other offline disks in the diskgroup"
 DATA_DM_CD_01_exadata_celnode3 "Cannot de-activate due to other offline disks in the diskgroup"
 DATA_DM_CD_02_exadata_celnode3 "Cannot de-activate due to other offline disks in the diskgroup"
 DATA_DM_CD_03_exadata_celnode3 "Cannot de-activate due to other offline disks in the diskgroup"
 DATA_DM_CD_04_exadata_celnode3 "Cannot de-activate due to other offline disks in the diskgroup"
 DATA_DM_CD_05_exadata_celnode3 "Cannot de-activate due to other offline disks in the diskgroup"
 DATA_DM_CD_06_exadata_celnode3 "Cannot de-activate due to other offline disks in the diskgroup"
 DATA_DM_CD_07_exadata_celnode3 "Cannot de-activate due to other offline disks in the diskgroup"
 DATA_DM_CD_08_exadata_celnode3 "Cannot de-activate due to other offline disks in the diskgroup"
 DATA_DM_CD_09_exadata_celnode3 "Cannot de-activate due to other offline disks in the diskgroup"
 DATA_DM_CD_10_exadata_celnode3 "Cannot de-activate due to other offline disks in the diskgroup"
 DATA_DM_CD_11_exadata_celnode3 "Cannot de-activate due to other offline disks in the diskgroup"
 DBFS_DG_CD_02_exadata_celnode3 "Cannot de-activate due to other offline disks in the diskgroup"
 DBFS_DG_CD_03_exadata_celnode3 "Cannot de-activate due to other offline disks in the diskgroup"
 DBFS_DG_CD_04_exadata_celnode3 "Cannot de-activate due to other offline disks in the diskgroup"
 DBFS_DG_CD_05_exadata_celnode3 "Cannot de-activate due to other offline disks in the diskgroup"
 DBFS_DG_CD_06_exadata_celnode3 "Cannot de-activate due to other offline disks in the diskgroup"
 DBFS_DG_CD_07_exadata_celnode3 "Cannot de-activate due to other offline disks in the diskgroup"
 DBFS_DG_CD_08_exadata_celnode3 "Cannot de-activate due to other offline disks in the diskgroup"
 DBFS_DG_CD_09_exadata_celnode3 "Cannot de-activate due to other offline disks in the diskgroup"
 DBFS_DG_CD_10_exadata_celnode3 "Cannot de-activate due to other offline disks in the diskgroup"
 DBFS_DG_CD_11_exadata_celnode3 "Cannot de-activate due to other offline disks in the diskgroup"
 RECO_DM_CD_00_exadata_celnode3 "Cannot de-activate due to other offline disks in the diskgroup"
 RECO_DM_CD_01_exadata_celnode3 "Cannot de-activate due to other offline disks in the diskgroup"
 RECO_DM_CD_02_exadata_celnode3 "Cannot de-activate due to other offline disks in the diskgroup"
 RECO_DM_CD_03_exadata_celnode3 "Cannot de-activate due to other offline disks in the diskgroup"
 RECO_DM_CD_04_exadata_celnode3 "Cannot de-activate due to other offline disks in the diskgroup"
 RECO_DM_CD_05_exadata_celnode3 "Cannot de-activate due to other offline disks in the diskgroup"
 RECO_DM_CD_06_exadata_celnode3 "Cannot de-activate due to other offline disks in the diskgroup"
 RECO_DM_CD_07_exadata_celnode3 "Cannot de-activate due to other offline disks in the diskgroup"
 RECO_DM_CD_08_exadata_celnode3 "Cannot de-activate due to other offline disks in the diskgroup"
 RECO_DM_CD_09_exadata_celnode3 "Cannot de-activate due to other offline disks in the diskgroup"
 RECO_DM_CD_10_exadata_celnode3 "Cannot de-activate due to other offline disks in the diskgroup"
 RECO_DM_CD_11_exadata_celnode3 "Cannot de-activate due to other offline disks in the diskgroup"

Detaylı bilgi için Oracle Support üzerinde Doc ID 1188080.1 incelenebilir.

 

Exadata db node üzerinde, e-mail alert ve asr tanımlarının yapılması

Db node için image versiyon 12.1.2 ve sonrasi ise dbmcli ile ‘list dbserver detail’ komutunu çalıştırarak, mevcut parametreleri kontrol edebilirsiniz. İlgili parametreler henüz ayarlanmadıysa bu komut ile görünmezler. Imageinfo komutu ile mevcut imaj versionunuzu görebilirsiniz.

[root@exadata_dbnode1 ~]# imageinfo

Kernel version: 2.6.39-400.243.1.el6uek.x86_64 #1 SMP Wed Nov 26 09:15:35 PST 2014 x86_64
Image version: 12.1.2.1.0.141206.1
Image status: success

Burada  ayarlanması gereken parametreler:

notificationMethod:     mail,snmp / /bir hata yada uyarı olduğunda hem mail ile uyarı yollar, hem de asr (automatic service request) servera sr açmak üzere bilgi yollar. Bu parametreyi  set etmek için:

dbmcli -e alter dbserver notificationMethod=\'mail,snmp\'

notificationPolicy: critical,warning,clear // burada uyarı verilecek olayların seviyeleri belirlenir. Bu parametreyi set etmek için.

dbmcli -e alter dbserver notificationPolicy='critical,warning,clear'

smtpFrom: exadata_dbnode1 // atılan maillerde görünecek isim. set etmek için:

dbmcli -e alter dbserver smtpFrom=\'exadata_dbnode1\'

smtpFromAddr: exadata_dbnode1@mehmettahsincan.com // atılan maillerde görünecek adres

dbmcli -e alter dbserver smtpFromAddr=\'exadata_dbnode1@mehmettahsincan.com\'

smtpPort: 25 // mail serverınızın portu. / bu bilgileri mail server  yöneticinizden alabilirsiniz. biz örnekte ssl kullanmadığımızdan portumuz ’25’. Bu parametreyi set etmek için

dbmcli -e alter dbserver smtpPort='25'

smtpServer:             mail.mehmettahsincan.com // mail server adresimiz. Bu parametreyi set etmek için.

dbmcli -e alter dbserver smtpServer='mail.mehmettahsincan.com'

smtpUseSSL: FALSE // mail için ssl kullanıp kullanmayacağımızı belirler aşağıdaki şekilde set edilir.

dbmcli -e alter dbserver smtpUseSSL='false'

snmpSubscriber:  // bu  parametre ile bir hata olduğunda otomatik sr açılmasını sağlayan asr serverımızın bilgilerini gireceğiz. Bu bilgileri asr server’ınızın ip ve port bilgileri ile doldurmanız gerekir.

dbmcli -e alter dbserver snmpSubcriber=((host='<ASR Manager host name orIP>',port=162,community=public,type=asr))

Ayarları yapılmış bir dbnode üzerinden örnek görüntü.

[root@exadata_dbnode1 ~]# dbmcli
DBMCLI: Release - Production on Fri Feb 10 14:46:01 EET 2017

Copyright (c) 2007, 2014, Oracle. All rights reserved.

DBMCLI> list dbserver detail
 name: exadata_dbnode1
 bbuStatus: normal
 coreCount: 18
 cpuCount: 36
 diagHistoryDays: 7
 fanCount: 16/16
 fanStatus: normal
 id: xxxxxx
 interconnectCount: 2
 interconnect1: ib0
 interconnect2: ib1
 ipaddress1: xxx.xxx.xxx.xxx/xxx
 ipaddress2: xxx.xxx.xxx.xxx/xxx
 kernelVersion: 2.6.39-400.243.1.el6uek.x86_64
 locatorLEDStatus: off
 makeModel: Oracle Corporation ORACLE SERVER X5-2
 metricHistoryDays: 7
 msVersion: OSS_12.1.2.1.0_LINUX.X64_141206.1
 notificationMethod: mail,snmp
 notificationPolicy: critical,warning,clear
 powerCount: 2/2
 powerStatus: normal
 releaseImageStatus: success
 releaseVersion: 12.1.2.1.0.141206.1
 releaseTrackingBug: xxxxx
 smtpFrom: exadata_dbnode1
 smtpFromAddr: exadata_dbnode1@mehmettahsincan.com
 smtpPort: 25
 smtpServer: mail.mehmettahsincan.com
 smtpToAddr: tahsincan@mehmettahsincan.com
 smtpUseSSL: FALSE
 snmpSubscriber: host=testasrsrv.mehmettahsincan.com,port=162,community=public,type=ASR
 status: online
 temperatureReading: 25.0
 temperatureStatus: normal
 upTime: 110 days, 23:44
 msStatus: running

Bu ayarlamaları yaptıktan sonra aşağıdaki komut ile test maili gönderebiliriz.

[root@exadata_dbnode1 ~]# dbmcli
DBMCLI: Release - Production on Fri Feb 10 15:13:39 EET 2017

Copyright (c) 2007, 2014, Oracle. All rights reserved.

DBMCLI>

DBMCLI> alter dbserver validate mail
DBServer exadata_dbnode1 successfully altered

 

Bu adımdan sonra, belirtilen mail adreslerine,  aşağıdaki gibi bir mail gelmesi gerekiyor.

DB Server exadata_dbnode1 Test Message

This test e-mail message from Oracle DB Server exadata_dbnode1 indicates successful configuration of your e-mail address and mail server.

Aynı şekilde asr ayarlarımızı da kontrol edebiliyoruz.

[root@exadata_dbnode1 ~]# dbmcli
DBMCLI: Release - Production on Fri Feb 10 15:13:39 EET 2017

Copyright (c) 2007, 2014, Oracle. All rights reserved.

DBMCLI>

DBMCLI> alter dbserver validate snmp type=asr
DBServer exadata_dbnode1 successfully altered

Oracle support hesabınızla Doc ID 1450112.1 id li  sayfadan indireceğiniz asrexachk tool’u ile de konfigürasyonlarınızı kontrol edebilirsiniz.

 

[root@exadata_dbnode1 ~]# /home/tahsinc/asrexachk

ASRExachk 3.2
Tue Feb 14 10:52:57 +03 2017
Hostname: exadata_dbnode1 
Device Type: Exadata Database Machine X5-2 xxxxxxx
Serial Number: xxxxxxxxx
Server Type: ORACLE-SERVER-X5-2
OS Type: LINUX
ASR Manager IP: xxx.xxx.xxx.xxx
SNMP Trap Destinations: ((host=testasrsrv.mehmettahsincan.com,port=162,community=public,type=ASR))
Exadata Node Image: Image version: 12.1.2.1.0.141206.1

#########ASR Validation#########
Linux DB Node IP Interface Check
 Validating ASR Manager IP to Interface bondeth0
 Validating ASR Manager IP to Interface eth0
 Validating ASR Manager IP to Interface eth5
 Validating ASR Manager IP to Interface ib0
 Validating ASR Manager IP to Interface ib1
 Validating ASR Manager IP to Interface lo

Management IP Interface check completed
 ASR is supported on this Management Interface configuration

Checking the BMC Status
 BMC Communication is Currently running

Checking for Pre-Existing Errors

Checking for HDD Faults
 No HDD Faults Found

Checking for FMA Faults
 No FMA faults found

Checking for ILOM Hardware Faults
 No Hardware ILOM Faults

DB Node validation Progress

 Checking for ASR/Exadata Process Running
Checking for Type of ASR

Validating ASR Configuration with Validate SNMP

DB OS Validation
 OS Test event sent to xxx.xxx.xxx.xxx
 #########Warning#########
 ASRExachk has determined that there was a failure during the SNMP Trap Verification.
 The failure will not inhibit the ability for ASR to create a SR but can cause delay
 Diagnostic time due to System Identifier missing.
 To fix this error, please open a Service Request with the Oracle Exadata Team

DB ILOM Validation
 ILOM Test event sent to xxx.xxx.xxx.xxx from xxx.xxx.xxx.xxx



Validation Complete
 Based on the Status, the email account registered to the ASR Manager
 should receive 2 emails. One from the OS Hostname, and the
 second from the ILOM Hostname
 If 2 emails has not been received, please work with the ASR Backline
 Team for further troubleshooting of the issue

[root@exadata_dbnode1 ~]#

 

Çıktıda da belirtildiği gibi işlem sonucunda ASR manager hesabına iki email gitmesi gerekiyor.

Yukarıda anlattığımız işlemlerde tanımları sadece bir db node üzerinde gerçekleştirdik. FULL rack bir sistemde aynı işlemleri 8 kere yapmamak için dcli üzerinde  bir grup belirleyerek, Çalıştırdığımız komutların bu grup üzerinde çalışmasını sağlayabiliriz.

Bunun için öncelikle

/opt/oracle.SupportTools/onecommand/ dizini altında istediğimiz cluster node’ları ekleyerek bir grup tanımı oluşturabiliriz.

[root@exadata_dbnode1 ~]# cd /opt/oracle.SupportTools/onecommand/
[root@exadata_dbnode1  onecommand]# vi dbs_group

dbs_group dosyasının içini aşağıdaki şekilde db node hostanemeler ile dolduruyoruz.

exadata_dbnode1
exadata_dbnode2
exadata_dbnode3
exadata_dbnode4
exadata_dbnode5
exadata_dbnode6
exadata_dbnode7
exadata_dbnode8

Dosyamızı oluşturduktan sonra aşağıdaki formatta parametrelerimizi bir kerede tüm dbnode’lar için tanımlayabiliriz.

[root@exadata_dbnode1 onecommand]# dcli -g dbs_group -l root "dbmcli -e alter dbserver notificationMethod=\'mail,snmp\'"
exadata_dbnode1 : DBServer exadata_dbnode1 successfully altered
exadata_dbnode2 : DBServer exadata_dbnode2 successfully altered

işlemi daha sonra aşağıdaki komut ile tüm node’lar üzerinde kontrol edebiliriz.

[root@exadata_dbnode1 onecommand]# dcli -g dbs_group -l root "dbmcli -e list dbserver attributes notificationMethod"
exadata_dbnode1 : mail,snmp
exadata_dbnode2 : mail,snmp

 

12.1.2 öncesi image versiyonları için dbmcli bulunmadığından bu versiyondan önce, asr konfigürasyonları için daha farklı bir yol izliyoruz. Aşağıdaki komutu tek tek ilgili nodelarda node iplerini belirterek çalıştırarak set ediyoruz.

/opt/oracle.cellos/compmon/exadata_mon_hw_asr.pl -set_snmp_subscribers"(type=asr,host=testasrsrv.mehmettahsincan.com,fromip=db_node_1_ip,port=162,community=public)
/opt/oracle.cellos/compmon/exadata_mon_hw_asr.pl -set_snmp_subscribers"(type=asr,host=testasrsrv.mehmettahsincan.com,fromip=db_node_2_ip,port=162,community=public)
/opt/oracle.cellos/compmon/exadata_mon_hw_asr.pl -set_snmp_subscribers"(type=asr,host=testasrsrv.mehmettahsincan.com,fromip=db_node_3_ip,port=162,community=public)
/opt/oracle.cellos/compmon/exadata_mon_hw_asr.pl -set_snmp_subscribers"(type=asr,host=testasrsrv.mehmettahsincan.com,fromip=db_node_4_ip,port=162,community=public)
/opt/oracle.cellos/compmon/exadata_mon_hw_asr.pl -set_snmp_subscribers"(type=asr,host=testasrsrv.mehmettahsincan.com,fromip=db_node_5_ip,port=162,community=public)
/opt/oracle.cellos/compmon/exadata_mon_hw_asr.pl -set_snmp_subscribers"(type=asr,host=testasrsrv.mehmettahsincan.com,fromip=db_node_6_ip,port=162,community=public)
/opt/oracle.cellos/compmon/exadata_mon_hw_asr.pl -set_snmp_subscribers"(type=asr,host=testasrsrv.mehmettahsincan.com,fromip=db_node_7_ip,port=162,community=public)
/opt/oracle.cellos/compmon/exadata_mon_hw_asr.pl -set_snmp_subscribers"(type=asr,host=testasrsrv.mehmettahsincan.com,fromip=db_node_8_ip,port=162,community=public)