GBase 8a MPP Cluster 安裝部署——作業系統配置建議

2020-12-17 GBASE資料庫

編寫目的

本文檔面向GBase 8a產品的售後人員、用戶使用人員、以及廣大GBase 8a感興趣的技術人員,以便用於指導其更好的完成GBase8a MPP Cluster 安裝部署工作,對硬體配置、網絡環境、作業系統及軟體配置等系統實施過程中的注意事項等有更加全面和正確的理解。

適用對象

GBase 8a產品的售後人員、用戶使用人員、以及廣大GBase 8a感興趣的技術人員。

環境依賴

作業系統建議配置為:Red Hat Linux、Cent OS、SUSE 、中標麒麟等同版本作業系統。

建議安裝系統時,選擇「桌面」或「軟體開發工作站」方式安裝。

GBASE集群必須的RPM包列表,請參考《GBase 8a MPP Cluster 安裝手冊》中的相關內容。

此外,還需要作業系統安裝並啟動以下服務:

使用root用戶進行上述服務的啟動和設置,命令方式如下:

文件系統配置建議

● 建議設置文件系統格式為xfs;

● 一個RAID上只建立一個文件系統,建議將容量最大的RAID掛載在/opt下;

● block size、inode size均採用ext4(Suse作業系統為xfs)格式的默認值,不需修改,即block size大小為4kb;

● 用於作業系統安裝的磁碟容量建議不低於200GB;

● /boot劃分不低於300M

● 作業系統安裝時,建議不單獨為/tmp、/var等路徑劃分獨立的邏輯卷;

作業系統參數設置

1. 網絡及內核參數設置

進行linux作業系統的網絡及內核參數的優化設置,設置方式為通過在/etc/sysctl.conf文件中添加或修改配置項。

以作業系統建議配置為例(Suse作業系統11):

在Suse作業系統中,GBASE集群節點還須設置min_free_bytes內核參數,設置方式在/etc/sysctl.conf文件中添加或修改如下配置值:

也可通過下屬方式修改:

min_free_kbytes參數建議為物理內存的5%~10%,最大8G。

GBASE集群安裝時,也會自動優化設置如下作業系統內核參數(RedHat6.4作業系統):

2. 磁碟調度策略設置

資料庫屬於I/O密集型應用,GBASE建議集群節點設置數據存儲所在的磁碟I/O調度策略為deadline;磁碟I/O調度策略修改方式:

如果現場數據存儲磁碟使用SSD,建議I/O調度策略為loop。

3. ulimit設置

Suse作業系統11下,默認對進程的虛擬內存以及物理內存的使用有限制。通過ulimit -a查看如下:

其中max memory size是物理內存的使用限制,在RedHat6.4作業系統下,該配置為unlimited;Suse作業系統下也建議設置為unlimited;

virtual memory是進程能夠使用的虛擬內存大小,在RedHat6.4作業系統下,該配置為unlimited;Suse作業系統默認進程能夠使用的虛擬內存大小與實際物理內存一致,建議修改為unlimited;

使用root用戶修改/etc/security/limits.conf配置文件來完成ulimit配置:

其中as指的是虛擬內存;

其中rss指的是物理內存。

4. 透明頁管理設置

建議關閉透明頁管理功能,使用root用戶修改/sys/kernel /mm/ transparent _hugepage/ enabled配置文件,命令如下:

5. 打開文件最大數設置

GBase資料庫為列存資料庫,需要增大打開文件最大數,避免該參數設置值過小導致的資料庫報錯。使用root用戶執行命令:

6. NUMA參數關閉

在高壓力下,當系統內存相對緊張的時候,內存申請觸發內存頻繁回收整理的機制嚴重影響了系統整體性能(長期處於內核態sys很高),通過關閉numa參數可以避免這種情況,具體方法如下:

查看各cpu間的distance:numactl --hardware

如各CPU的distance > 20 (通訊耗時),則建議開啟NUMA參數;

判斷是否開啟:cat /proc/sys/vm/zone_reclaim_mode

0:關閉,1:開啟

關閉方式:

7. max user processes

umlimit的max user processes設置成了1024導致無法創建新的線程,gbased崩潰。RedHat linux 6.4 之後,max_user_cesses參數的設置方法發生變化,默認集群安裝時進行的ulimit設置無法對gbase用戶生效。

修改方式:

8. swappiness

修改swappiness參數為1,目的是避免過多使用系統swap分區。

修改方法:編輯/etc/sysctl.conf 修改vm.swappiness = 1

9. cpuspeed

禁用cpuspeed服務,防止cpu降頻。

修改方法:chkconfig cpuspeed off

環境配置

1. 關閉防火牆

查看防火牆是否開啟(RedHat 6.4、Centos作業系統,使用root用戶操作)

關閉防火牆

Suse作業系統下,關閉防火牆(使用root用戶操作):

RedHat6.4軟體工作站安裝模式下關閉iptables和ip6tables需要執行chkconfig libvirtd of

2. 關閉SELinux設置

RedHat6.4及Centos作業系統下的SELinux配置:

查看SELinux的狀態是否處於disabled狀態:

關閉SELinux,編輯/etc/selinux/config文件:

需要重啟作業系統後,selinux配置才能生效。

Suse作業系統默認禁用了SELinux模式,Suse作業系統關閉Selinux的方式為:

3. 卸載openais

GBASE集群伺服器不允許安裝openais服務,RedHat6.4、Centos系統下卸載命令為:

4. 配置機器名

● 機器名設置之後不再修改;

● 機器名命名需符合命名規範要求,如JF-GBASE-01;

5. 設置root密碼

設置所有集群節點的root用戶的密碼一致(集群安裝時需要);

6. 設置伺服器字符集

檢查作業系統的字符集設置,是否為zh_cn.utf-8:

修改作業系統字符集:

相關焦點

  • 《蹲坑學K8S》之23-1:安裝部署Istio
    =$PATH:/usr/local/istio-1.8.0/bin/ [root@k8s-master ~]# source /etc/profile二、安裝 Istio安裝前準備部署好Kubernetes群集以後,還有部署以下組件以及功能模塊。
  • Kind + Docker 一鍵部署K8s集群
    docker學習和實踐都很容易,但是K8S的由於集群化,部署需要較多的機器,環境搭建學習實踐比較費勁這一度影響了K8S技術的普及。所以業界也除了一些簡易版的K8s集群環境,比如K3S(5 less than k8s),本文蟲蟲給大家介紹也是這樣一個項目Kind,一鍵部署的單機K8S環境,可以用於學習、本地開發和CI環境。
  • 如何部署一個Kubernetes集群
    但是這些機器需要滿足以下幾個條件:要求64位Linux作業系統,且內核版本要求3.10及以上,能滿足安裝Docker項目所需的要求; 機器之間要保持網絡互通,這是未來容器之間網絡互通的前提條件; 要有外網訪問權限,因為部署的過程中需要拉取相應的鏡像,要求能夠訪問到gcr.io、quay.io這兩個dockerregistry,因為有小部分鏡像需要從這裡拉取; 單機可用資源建議2核CPU
  • unix是什麼作業系統_unix作業系統怎麼安裝
    打開APP unix是什麼作業系統_unix作業系統怎麼安裝 網絡整理 發表於 2020-09-02 16:01:57   Unix除了作為網絡作業系統之外,還可以作為單機作業系統使用。Unix作為一種開發平臺和臺式作業系統獲得了廣泛使用,目前主要用於工程應用和科學計算等領域。
  • 國產作業系統中標麒麟Linux安裝方法
    以下介紹國產中標麒麟Linux桌面作業系統的安裝方法,中標麒麟桌面版提供了非常簡捷的安裝方式,五步就可以完成中標麒麟Linux的安裝。1.首先,進入「中標麒麟」系統引導區,系統提示三個選項:從硬碟引導、安裝和修復系統。
  • influxdb詳細安裝配置教程 influxdb怎麼安裝配置
    influxdb的部署及使用均比較簡單,但是集群(官方版集群已閉源)及高可用方案較少,所以後續測試完幾種方案後再推送給大家參考。1、 安裝在官網選擇對應版本的庫進行安裝,例如當前最新文檔版本為1.8,部署在centos7 上wget https://dl.influxdata.com/influxdb/releases
  • deepin深度桌面作業系統安裝入門
    一,簡介在所有Linux桌面作業系統中,deepin是集成軟體最多,最好用,對小白比較友好的,最方便的,集成了國內常用的QQ,網易雲音樂,視頻播放,WPSword,excel,ppt處理軟體,金山pdf等常用軟體,能完全滿足日常辦公需求
  • 《蹲坑學kubernetes》之四:了解Kubernetes安裝部署方式
    >使用kubeadm方式安裝k8s二進位方式部署在實際應用中,針對Kubernetes的不同應用目的,選擇安裝部署的方式也不一樣。常見的安裝部署方式有很多,在這裡主要了解以下三種:一、安裝 MinikubeMinikube是由Kubernetes社區維護的單機版的Kubernetes集群,支持MacOS, Linux, and Windows等多種作業系統平臺,使用最新的官方stable版本,並支持Kubernetes的大部分功能
  • 預防微軟 Windows "斷供中國",教你安裝"黑蘋果" MacOS 作業系統
    MacOS 是蘋果開發圖形界面作業系統,是用戶量僅次於微軟 Windows 的第二大作業系統,用戶量大,軟體生態完善,是 Windows 作業系統最佳的替代品。黑蘋果:自從蘋果採用Intel的處理器,OSX被黑客破解後可以安裝在Intel CPU與部分AMDCPU的機器上。從而出現了一大批非蘋果設備而使用蘋果作業系統的機器,被稱為黑蘋果(Hackintosh)。
  • 理解軟體升級的限制,如何安裝Windows Server 2012 R2作業系統
    今天介紹理解軟體升級的限制,如何安裝Windows Server 2012 R2作業系統。小夥伴們可能不一定了解,Windows Server 2012 R2作業系統有多種安裝方式,分別適用於不同的環境,選擇合適的安裝方式可以提高工作效率。
  • 計算機知識:Windows作業系統原版鏡像和Ghost系統有什麼區別?
    安裝Windows作業系統時首先碰到的問題就是如何選擇眼花繚亂的多種版本鏡像文件,在原版鏡像方面,強烈建議大家選擇微軟官方網站下載,如今這個網際網路深入人心的時代,安裝微軟官網後的作業系統購買正版的密鑰後,此時你作業系統才能談得上是真正的「正版作業系統」。
  • 擁抱自主可控Linux,如何在中標麒麟上部署低代碼開發平臺?
    (支持Linux的活字格企業級低代碼開發平臺)系統選型與基礎配置為了充分滿足企業級應用開發過程中,不同應用場景、合規性要求以及 IT 技術背景對部署方式的要求,低代碼開發平臺的部署方式非常靈活,全面支持私有化和雲部署
  • 不懂Redis Cluster原理,我被同事diss了!
    這個數組的長度為 16384/8=2048 個字節,由於每個字節包含 8 個 bit 位(二進位位),所以共包含 16384 個 bit,也就是 16384 個二進位位。每個節點用 bit 來標識自己是否擁有某個槽的數據。如圖 4 所示,假設這個圖表示節點 A 所管理槽的情況。
  • 用於Kubernetes的Linux作業系統指南
    大部分人都熟悉運行通用類型Linux作業系統,例如Ubuntu、Debian、CentOS、RHEL或是Fedora。這是在Kubernetes集群中運行通用作業系統的主要優勢之一,你的系統管理員將熟悉如何安裝、更新和加固你的Linux發行版。可以使用現有的工具集來啟動伺服器,安裝作業系統,並將其配置為基本的安全級別。
  • Portal入門:第二章 Portal安裝部署方案介紹
    這一章給大家介紹一套基礎的Portal 10.8的安裝部署規劃通過這個章節的學習,大家可以在Portal安裝部署之前對伺服器或虛擬機做一個初步的規劃,因為Portal安裝部署其實對伺服器或者虛擬機是有一定的配置要求的,如果安裝環境達不到要求,在安裝過程中出錯的機率是很大的。
  • 如何安裝Ubuntu Kylin新版作業系統?
    前段時間跟大家分享了Deepin國產作業系統V20版本的安裝、上手體驗、功能介紹等文章,相信看過之前文章的朋友們,對deepin也有了一些了解了吧。今天跟大家分享國產作業系統中的另外一款——優麒麟作業系統。
  • 安裝優麒麟(ubuntukylin)作業系統詳解
    優麒麟(ubuntukylin)作業系統是一個基於Ubuntu,針對國內用戶定製一款作業系統。系統中通過預裝符合國內作業系統的軟體。讓用戶的適應性增強。近期發布的優麒麟 20.04 版本是一個長期支持(LTS)的版本,官方提供5年的技術支持。
  • Tomcat伺服器安裝、配置及驗證
    Tomcat伺服器安裝前,需要本地電腦上安裝有Java JDK,關於JDK的安裝請參考:Tomcat 7.0的安裝配置及驗證步驟:1、到tomcat.apache.org官網上,下載Tomcat對應的版本,這裡選擇Tomcat 7,如下圖所示:2、根據作業系統的版本(我這裡是Windows 64bit),選擇對應的安裝包,如下圖所示:3、下載
  • 安裝優麒麟作業系統
    上期教程講解了安裝國產uos作業系統的安裝方法,這期教程我們來講解一下安裝國產優麒麟作業系統的安裝方法。第一步:打開瀏覽器,打開百度,輸入優麒麟,進入官網,點擊下載,在這裡找見你的體系結構,x86等於32位,×64等64位。
  • 利用Hyper-V虛擬機,3步教你安裝國產作業系統,流暢度堪比MacOS
    細算起來,目前國內已經有不下15種國產作業系統了,比如大家聽過最多的深度Deepin,當然還有中興新起點、中標麒麟等等。在留言中,有不少用戶會問老毛桃如何安裝國產作業系統。那麼你呢?對國產作業系統感興趣嗎?