編寫目的
本文檔面向GBase 8a產品的售後人員、用戶使用人員、以及廣大GBase 8a感興趣的技術人員,以便用於指導其更好的完成GBase8a MPP Cluster 安裝部署工作,對硬體配置、網絡環境、作業系統及軟體配置等系統實施過程中的注意事項等有更加全面和正確的理解。
適用對象
GBase 8a產品的售後人員、用戶使用人員、以及廣大GBase 8a感興趣的技術人員。
環境依賴
作業系統建議配置為:Red Hat Linux、Cent OS、SUSE 、中標麒麟等同版本作業系統。
建議安裝系統時,選擇「桌面」或「軟體開發工作站」方式安裝。
GBASE集群必須的RPM包列表,請參考《GBase 8a MPP Cluster 安裝手冊》中的相關內容。
此外,還需要作業系統安裝並啟動以下服務:
使用root用戶進行上述服務的啟動和設置,命令方式如下:
文件系統配置建議
● 建議設置文件系統格式為xfs;
● 一個RAID上只建立一個文件系統,建議將容量最大的RAID掛載在/opt下;
● block size、inode size均採用ext4(Suse作業系統為xfs)格式的默認值,不需修改,即block size大小為4kb;
● 用於作業系統安裝的磁碟容量建議不低於200GB;
● /boot劃分不低於300M
● 作業系統安裝時,建議不單獨為/tmp、/var等路徑劃分獨立的邏輯卷;
作業系統參數設置
1. 網絡及內核參數設置
進行linux作業系統的網絡及內核參數的優化設置,設置方式為通過在/etc/sysctl.conf文件中添加或修改配置項。
以作業系統建議配置為例(Suse作業系統11):
在Suse作業系統中,GBASE集群節點還須設置min_free_bytes內核參數,設置方式在/etc/sysctl.conf文件中添加或修改如下配置值:
也可通過下屬方式修改:
min_free_kbytes參數建議為物理內存的5%~10%,最大8G。
GBASE集群安裝時,也會自動優化設置如下作業系統內核參數(RedHat6.4作業系統):
2. 磁碟調度策略設置
資料庫屬於I/O密集型應用,GBASE建議集群節點設置數據存儲所在的磁碟I/O調度策略為deadline;磁碟I/O調度策略修改方式:
如果現場數據存儲磁碟使用SSD,建議I/O調度策略為loop。
3. ulimit設置
Suse作業系統11下,默認對進程的虛擬內存以及物理內存的使用有限制。通過ulimit -a查看如下:
其中max memory size是物理內存的使用限制,在RedHat6.4作業系統下,該配置為unlimited;Suse作業系統下也建議設置為unlimited;
virtual memory是進程能夠使用的虛擬內存大小,在RedHat6.4作業系統下,該配置為unlimited;Suse作業系統默認進程能夠使用的虛擬內存大小與實際物理內存一致,建議修改為unlimited;
使用root用戶修改/etc/security/limits.conf配置文件來完成ulimit配置:
其中as指的是虛擬內存;
其中rss指的是物理內存。
4. 透明頁管理設置
建議關閉透明頁管理功能,使用root用戶修改/sys/kernel /mm/ transparent _hugepage/ enabled配置文件,命令如下:
5. 打開文件最大數設置
GBase資料庫為列存資料庫,需要增大打開文件最大數,避免該參數設置值過小導致的資料庫報錯。使用root用戶執行命令:
6. NUMA參數關閉
在高壓力下,當系統內存相對緊張的時候,內存申請觸發內存頻繁回收整理的機制嚴重影響了系統整體性能(長期處於內核態sys很高),通過關閉numa參數可以避免這種情況,具體方法如下:
查看各cpu間的distance:numactl --hardware
如各CPU的distance > 20 (通訊耗時),則建議開啟NUMA參數;
判斷是否開啟:cat /proc/sys/vm/zone_reclaim_mode
0:關閉,1:開啟
關閉方式:
7. max user processes
umlimit的max user processes設置成了1024導致無法創建新的線程,gbased崩潰。RedHat linux 6.4 之後,max_user_cesses參數的設置方法發生變化,默認集群安裝時進行的ulimit設置無法對gbase用戶生效。
修改方式:
8. swappiness
修改swappiness參數為1,目的是避免過多使用系統swap分區。
修改方法:編輯/etc/sysctl.conf 修改vm.swappiness = 1
9. cpuspeed
禁用cpuspeed服務,防止cpu降頻。
修改方法:chkconfig cpuspeed off
環境配置
1. 關閉防火牆
查看防火牆是否開啟(RedHat 6.4、Centos作業系統,使用root用戶操作)
關閉防火牆
Suse作業系統下,關閉防火牆(使用root用戶操作):
RedHat6.4軟體工作站安裝模式下關閉iptables和ip6tables需要執行chkconfig libvirtd of
2. 關閉SELinux設置
RedHat6.4及Centos作業系統下的SELinux配置:
查看SELinux的狀態是否處於disabled狀態:
關閉SELinux,編輯/etc/selinux/config文件:
需要重啟作業系統後,selinux配置才能生效。
Suse作業系統默認禁用了SELinux模式,Suse作業系統關閉Selinux的方式為:
3. 卸載openais
GBASE集群伺服器不允許安裝openais服務,RedHat6.4、Centos系統下卸載命令為:
4. 配置機器名
● 機器名設置之後不再修改;
● 機器名命名需符合命名規範要求,如JF-GBASE-01;
5. 設置root密碼
設置所有集群節點的root用戶的密碼一致(集群安裝時需要);
6. 設置伺服器字符集
檢查作業系統的字符集設置,是否為zh_cn.utf-8:
修改作業系統字符集: