Scale Out將是未來的企業架構

2020-12-13 CSDN技術社區

從企業IT架構體系上來看,特別是對於Web2.0網站來說,必須考慮的就是可擴展性:隨著使用人數的增多,能夠及時的擴展IT系統的能力。解決這個問題,通常有兩種解決方式:Scale up和Scale out,兩種擴容的方式分別從兩個維度來解決資料庫壓力。

Scale Out(橫向擴展):從字面意思來看,Scale Out是使用靠增加處理器來提升運算能力和增加獨立伺服器來增加運算能力。就是指企業可以根據需求增加不同的伺服器和存儲應用,依靠多部伺服器、存儲協同運算,借負載平衡及容錯等功能來提高運算能力及可靠度。

Scale Up(縱向擴展):指企業後端大型伺服器以增加處理器等運算資源進行升級以獲得對應用性能的要求,但是更大更強的伺服器同時也是更昂貴的,往往成本會大於部署大量相對便宜的伺服器來實現性能的提升,這當中的代表當屬IBM zSeries大型機。而且伺服器性能所能提高的程度也有一定的上限。

Scale Up劣勢漸現

目前來看,一般來講Scale out要比Scale up便宜。各大搜尋引擎普遍採用普通x86伺服器+Linux組成的scale out架構,其它主流web服務也大多採用這種架構,例如Yahoo、Taobao、新浪等,而一些ERP廠商入用友近兩年來也開始大量放棄價格昂貴的RISC架構。

從數據存儲的角度來看,曾經當我們需要構架一個不斷增長的大型數據中心時,Scale up存儲系統幾乎是最好的,唯一的的選擇。但是這也意味著當加入昂貴的存儲設備時,業務需要中斷且更難以管理。當然,Scale up存儲系統前端處理能力和後端的磁碟數量還可以不斷擴展,但總體來說,都是在一個固定的存儲系統架構上去升級擴展,當擴展到一定程度,就很難繼續擴展下去,尤其是前端控制器的數量。也因此導致了當後端磁碟不斷增多,而前端控制器無法擴展的情況下產生的性能瓶頸。

Scale Out將是未來的企業架構

現在,有了scale out存儲系統,一切似乎變得簡單多了。部署工作大大簡化,儲存架構達到上億級。另外Scale up架構每加一個結點進來,性能和容量同時增長,不會影響原有使用。用戶按需採購存儲,一旦容量不夠了,再購置一臺接到原有存儲上就可以了。

所以未來的企業架構應該使用向外擴展(Scale Out)來實現可擴展性,同時可以讓使用者得以保留通過增加伺服器以提升系統能力的後路。

從存儲來看,未來的企業需要的是一個能夠應對非結構化數據激增帶來的巨大挑戰的架構,橫向擴展存儲系統的基礎是NAS空間,可以添加若干並行工作的節點並作為一個節點進行管理,從而實現吞吐量和容量的獨立擴展。在單一系統映像下,這些系統可以擴展到多個PB級存儲,從而使它們成為理想的整合平臺。

同時,橫向擴展存儲池可對底層存儲進行虛擬化,創建可隨業務需求變化而動態調整的資源,帶寬、處理能力和存儲容量可以單獨調整和實時擴展。這種資源創建概念對當前持續不斷增加的企業基礎設施獲得更高的可用性和可靠性至關重要。橫向擴展存儲有利於最大程度地降低管理成本、數據中心空間、電源和冷卻需求。共享資源池可提供更高的利用率,極大地減少浪費。橫向擴展存儲的經濟價值體現在改進擴展能力、加速配置、提升性能和簡化管理、提高存儲利用率等方面。

橫向擴展存儲系統克服了物理機架和模塊的限制,可作為單一系統,通過增加控制器或是容量節點來實現性能和容量的獨立升級,提高IT投入的回報率。同時,線性擴展能力為業務的長期高性價比提供保障。解決了傳統單一系統,模塊化系統需要物理磁碟級別的管理、數據布局和性能調優的弊端。橫向擴展平臺不僅能夠提升性能而且還可以降低操作成本,使單一系統在單一全局域名下,簡單地擴展到若干PB容量範圍,成為管理猛增數據的理想存儲平臺。

2011年,由於企業IT用戶對其存儲系統的擴展性、靈活性和性能需求的增長,橫向擴展的存儲產品和方案不斷湧現。EMC、HDS和NetApp都已經推出擴展性更好的X86的解決方案,如:EMC的VMAX平臺(SAN)和Isilon 產品(多協議);HDS的USP-V (SAN)、VSP introduction (SAN)和 HNAS (BlueArc-based NAS 系統);以及NetApp的GX (now ONTAP 8 Cluster Mode) NAS系統;而國內廠商華賽也在去年推出自己的平面擴展產品HS的OceanSpace 5000。同時,IBM的DS8000系列所構成的系統也具有橫向擴展的特徵。

在開源軟體方面,也有許多橫向擴展存儲解決方案,比如Lustre, PVFS2, GlusterFS等集群文件系統,HDFS, KFS, MFS,FastDFS, TaobaoFS等分布式文件系統。

橫向擴展的瓶頸問題

現實的問題,如果要實現Scale out架構必然要面對分布式計算的問題,而目前基於分布式計算的解決方案已經有很多,比如Hadoop、Mapr等等,但問題也在於,基於分布式計算的性能優化一直是企業未能大量採用的瓶頸之一。

其次,Scale Out方案還需要對原先是用的軟體進行大量的重寫工作,以保證系統能在分布式伺服器上運行(Scale Up方案則對現有軟體幾乎沒有改動要求)。這一步往往是每個公司的開發人員的噩夢。

再者,Scale Out方案始終面臨著數據集中的問題,即拆分過的數據在伺服器邏輯體系中仍然是各自相對集中的而非無限隨意拆分。如果大量的邏輯放在傳統的資料庫伺服器一端,資料庫伺服器將會使得系統失去Scale out的能力和可能。因此,要保證Scale out的能力就必須保證資料庫只處理實質性的數據提交和不可避免的數據查詢,這也是以MongoDB、Redis等全新的NoSQL解決方案日漸受到青睞的原因。

對於分布式計算的技術問題,國外有一些開源的項目,我們可以借鑑,在一定程度上可以去努力解決。與此同時,我們還需要考慮到我們自身網站的數據的特點。像聯機遊戲、IM、BSP這些數據,通常每個用戶都可以抽象成一個數據對象,可以獨立存儲在任何一個地方,數據之間關聯度不大,這種情況比較適合採用 Scale Out的方式。但對於另外一些數據,比如電子商務網站的買賣信息,它們之間的關聯度大,這時候往往查詢需要耗費很多的資源;還有一些事物型的應用,保證數據的完整性是更為重要的,在這個時候,採用Scale Out的方式不一定適合。從整體上看,採用Scale out的方式是web2.0網站的主流,適應了網站數據不斷且不太好預計增長的主要需求,而Scale up這種方式更為適合業務數據具有較強關聯性且數據增長可預期的企業。

相關焦點

  • Scale-out NAS對比scale-up NAS(下)
    Scale-out NAS 優點  橫向擴展(scale-out)的NAS系統的優勢在於可以根據需要進行容量和性能上的擴展,這遠遠超出了傳統意義上縱向擴展(scale-up)的NAS系統的限制。Scale-out NAS系統通常將數據分布在多個存儲控制器中,通過集群架構來確保系統的高可用性。
  • Scale OUT還是Scale UP?
    從企業IT架構體系上來看,對於web2.0網站來說,必須考慮的就是可擴展性:隨著使用人數的增多,能夠及時的擴展IT系統的能力。解決這個問題,通常有兩種解決方式:Scale up和Scale out,兩種擴容的方式分別從兩個維度來解決資料庫壓力。所謂Scale up就是向上擴容,Scale out就是平面型的擴容。
  • 企業存儲架構選Scale-up還是Scale-out?
    過去20年的數據交付中,在企業環境中集中使用的是統一存儲基礎架構。這些架構採用了大規模的SAN和NAS產品,具有較高的彈性和可用性,能夠擴展到TB級,甚至能夠擴展到更高的PB級存儲。Scale-UP架構    向上擴展有著明顯的問題,如果你在同一硬體上,如果沒有有效的多租戶管理工具,在管理許多不同的工作負載的時候可能就會相互影響。
  • 哪種Scale out架構能更有效滿足分布式計算?
    近些年,隨著「分布式」計算的越來越火熱,Scale out分布式應用架構也如雨後春筍般不斷湧現,大到Big Data平臺架構,小到前端應用App的架構,似乎都要基於Scale out 的架構才算是與時俱進的先進架構。
  • 大數據十大發展方向:Scale-out成主流
    而如何發現數據中的價值已經成為企業用戶密切關注的話題,於是大數據分析領域成為了人們密切關注的問,畢竟,這個直接關係到數據的利用情況。    隨著大數據行業IT基礎設施的不斷完善,大數據分析技術將迎來快速發展,不同的挖掘技術,挖掘方法將是人們未來比較重視的領域,畢竟,這個領域直接關係到數據價值的最終體現方式。
  • 華為FusionServer Pro V5通過SAP HANA Scale Out一體機解決方案認證
    [中國,深圳,2019年12月30日] 近日,華為FusionServer Pro 2488H V5機架伺服器及華為KunLun 9008 V5 關鍵業務伺服器,通過SAP HANA BWoH/BW4H/DM及S4H應用場景Scale-out擴展一體機解決方案認證,同時基於鯤鵬處理器的高端全快閃記憶體存儲OceanStor Dorado V6 All-Flash
  • Oracle TimesTen Scaleout為內存資料庫樹立新性能標準
    北京,2018 年 9月6日 —甲骨文近日推出了世界上速度最快的聯機事務處理 (OLTP) 資料庫 Oracle TimesTen Scaleout,助力全球企業機構管理日益增長的資料庫事務負載。Oracle TimesTen Scaleout 依託成熟的企業架構構建,具有大規模擴容能力、超高的事務處理吞吐量以及極快的響應速度。
  • Scale-Out擴展有極限 存儲架構如何選?
    談到存儲架構,Scale-Out是目前談的比較多的話題,其能夠給我們提供容量,並且方便我們部署。但是是否意味著其沒有缺點呢?    Scale-Out(橫向擴展存儲系統架構)能夠為一個組織提供數據存儲的容量需求的快速增加,但是問題是,數據中心怎麼向外擴展?當你的數據中心運行在一個房間的時候,你如何擴展數據中心,建立一個新的數據中心?
  • AI晶片架構的爭論真有意義嗎?
    僅僅是因為你選擇了Nvidia GPU採用的硬體架構或者是Google TPU的脈動陣列架構嗎?還是你發明了一種新的架構?當然不是。架構的選擇和設計應該服務於整個系統和項目,需要對很多因素做Trade-off和Optimiztion。從技術角度來看,如果把一個晶片應用分成,算法/軟體,硬體架構,電路實現,幾個從高到低的基本層次。那麼高層次上的優化,對於整個系統的效果往往比低層次高一個數量級。
  • 關於AI晶片架構的爭論,GPU好還是TPU好?
    這些架構並不新鮮,都是體系結構領域研究多年的內容。僅僅是因為你選擇了Nvidia GPU採用的硬體架構或者是Google TPU的脈動陣列架構嗎?還是你發明了一種新的架構?當然不是。架構的選擇和設計應該服務於整個系統和項目,需要對很多因素做Trade-off和Optimiztion。從技術角度來看,如果把一個晶片應用分成,算法/軟體,硬體架構,電路實現,幾個從高到低的基本層次。那麼高層次上的優化,對於整個系統的效果往往比低層次高一個數量級。
  • 企業架構和頂層設計 - 企業架構_CIO時代網 - CIO時代—新技術、新...
    雖然地球上地區衝突、霸權主義、恐怖主義仍不時出現,和平發展與全人類命運共同體的理念已經得到了普遍的共識而成為時代潮流的主基調,將企業置於整個人類活動來看,它原就是社會運作下所產生的一種機制,正如《第五項修煉》作者彼得.聖吉(Peter Senge)所言,企業是當今最有力量改變世界,創造公平正義社會的組織力量,所以,對於企業而言,在這樣一個巨變中的世界局面,是危機,也是轉機
  • 聯邦企業架構框架 - 企業架構_CIO時代網 - CIO時代—新技術、新...
    NIST模型分為五層,旨在組織、計劃、建立一個集成化的信息和信息技術架構,它將業務和外界需求分解細化到信息技術架構中。 CIO委員會針對聯邦企業架構框架採用了與NIST模型相似的層級架構,它定義了業務、業務運作所需的信息與技術支撐、以及為響應業務變化需求所實施的新技術的這一過渡過程。
  • 漫談高端存儲陣列架構
    我們知道,物理硬碟的存取速度取決於機械馬達旋轉的速度,考慮到可靠性、散熱、能耗、噪音等因素,轉速不可能做的太高,目前硬碟速度一般在5000RPM-20000RPM之間,因此單盤的存取速度(帶寬)總是很小,陣列需要有效的將多個物理帶寬整合。
  • 用雲的思想構建Scale Out數據中心網絡
    傳統設備匯聚的網絡架構,其核心交換機的最大容量當前約為50Tbps,如果不改變網絡架構,要滿足未來的需求核心交換機就要達到100~200Tbps的容量,以電互連為基礎的技術要提升Serdes速度、提升更大的單機容量非常困難,而且單點故障的影響將變得越來越巨大,成本也越來越高昂,難以為繼。
  • 高效電源管理架構加速量子計算機商用化
    這些量子計算機的設計架構規模較小,只擁有少量的量子位。0vNednc但IBM、谷歌、微軟等大型企業以及一些初創企業都有一個終極目標,就是在不久的將來創建更大規模的可商用量子計算機。0vNednc量子計算機更像是異構多核計算機的組成部分,在其中經典處理器會與FPGA、GPU以及量子協處理器等多個加速器進行交互。圖1顯示了量子計算機系統堆疊的層級結構。
  • Humanscale亮相2019芝加哥國際家具展
    未來,Humanscale所有座椅均將提供全新無鉻皮革系列選擇。屆時,Humanscale將成為首個提供專有無鉻皮革的品牌。它滿足了使用者對於高級行政座椅功能多樣性日益增長的需求,並提升了品牌在企業高管層中的影響力。Summa高級行政座椅不但適合於角落辦公室,也適用於會議室以及家庭辦公空間,它採用自動斜倚機制,可以根據使用者自身體重,自動為用戶調整倚靠支持,提供無縫承託和舒適體驗。在2019年第四季度,Summa高級行政座椅將推出7種無鉻皮革椅面,1種皮革椅背及3種木質椅背可供選擇。
  • Humanscale國際家具展,致敬經典永恆的產品設計
    兼顧功能性、簡約和耐用性的人體工程學產品將於展會大放異彩Humanscale將亮相2019年芝加哥國際家具展(NeoCon),推出一系列高性能人體工學家具設計,可用於各類辦公解決方案,詮釋品牌對於簡潔、性能、耐用及嚴選用料的不懈追求。
  • 組織架構,企業的作戰地圖
    如果把企業發展比作打仗,CEO是元帥,KPI是戰爭目標,企業的使命就是戰爭的意義,組織架構圖就是企業的作戰地圖。作戰地圖標明誰率領多少部隊,從哪些地方去攻取什麼目標。戰事不同,需要的作戰方案不同。作戰計劃和地圖一定是軍隊的機密,企業的組織架構圖也代表了公司一定的機密。
  • Grayscale以太坊信託將按照9比1比例拆股
    數字資產管理公司Grayscale周三宣布,將於12月17日將其投資產品Grayscale以太坊信託按照9比1比例拆股,這可能使該投資產品對個人投資者更有吸引力。Grayscale在官方新聞稿中宣布,該投資產品的持有者將在目前持有的基礎上再獲得8股。想要獲得這一資格,投資者需要在12月14日前持有該投資產品。Grayscale表示,Grayscale以太坊信託基金目前擁有29,502,100股,每股價值為0.09284789 ETH。
  • 體育中心:The Lakers plan to scale
    The Lakers plan to scale back LeBron's minutes in the last 17 games, with the team likely out of playoff contention… https://t.co/gA3hDOLfGf