雲原生需要什麼樣的存儲,QingStor這麼說

2020-12-16 DOIT

2020年,基礎架構領域什麼最火?熟悉IT架構的人一定會說:雲原生最火!為什麼越來越多的企業在努力擁抱雲原生呢?雲原生作為新的存儲架構對存儲帶來了什麼挑戰?要如何應對這一挑戰呢?

青雲Qingcloud作為國內頗有技術範兒的雲廠商,擁有專業的分布式存儲QingStor和容器平臺KubeSphere 。在2020中國數據與存儲峰會現場上,QingStor研發負責人王煜回顧了支撐雲原生架構的存儲所需要的諸多技術方案,也提出了對於雲原生存儲的三點看法,分享了已經落地的雲原生分布式存儲案例。

雲原生帶來的存儲挑戰

在許多人看來,雲原生能改變企業內部開發運維的流程,甚至能改變了一些團隊的組織方式,雲原生有望讓IT進入一個理想化的狀態,所謂IT理想化狀態是指,開發團隊只需關注業務邏輯本身,減少對於運維相關工作的關注,提高開發效率,提高業務創新效率。

雲計算的發展正是在一步一步的接近這一理想狀態,IaaS虛擬化提升了運維效率,PaaS讓開發人員不需要關注太多基礎架構層面的內容。而現在,關於應用開發、架構管理、運維的種種問題都寄希望於雲原生架構,有賴於容器平臺來解決。

2020年,K8s已經成為容器編排領域的標準,隨著企業期望將更多關鍵性的應用遷移到K8s平臺上,K8s上有越來越多的有狀態應用,如何部署有狀態應用成為K8s的焦點。

有狀態應用的部署涉及兩方面問題:首先是服務間的拓撲依賴關係問題,K8s通過推出有狀態類型的API對象來解決這個問題。其次,企業數據落地存儲的問題,遺憾的是,K8s平臺不包含存儲的服務,一些替代性方案或是可靠性欠佳或是無法支持持久化存儲。

雲原生架構下的存儲進化

為了提供能支撐雲原生架構的存儲,業內出現了多種方案,比如, K8s發展出了新的PVC和PV機制,讓開發人員僅要關注PVC,運維人員負責創建PV的人,把開發和運維解耦。

最近,在容器存儲領域出現了一個叫CAS的理念,它是一種指導如何實現好的存儲產品的理念,具體包含三點:

第一點,存儲組件本身是否可以進行容器化部署,並利用K8s本身的特性來運維管理存儲集群。

第二點,能否夠給K8s內部的不同容器提供不同的卷配置的能力,例如QoS、ACL、塊大小、副本數量等。

第三點,架構上能否解耦。

目前,市場上已經有了遵循CAS理念的開源存儲產品了,但QingStor研發部在測試中發現了一些問題,比如有的方案從架構層面上來看,這些存儲產品並不是一個典型的分布式存儲架構,不具備分布式存儲的特性,性能很難滿足核心應用場景的需求。

QingStor對於雲原生存儲的思考

QingStor也正在思考如何設計產品,雲原生架構到底需要什麼樣的存儲,如何實現一款好用的雲原生架構下的存儲呢?王煜總結了四點:

第一點,要使用聲明式來描述存儲資源需求,這是K8s也提倡的操作。

第二點,存儲的卷是否可以在短時間大量的創建和銷毀,這是全新的挑戰。由於容器數量比虛擬化平臺的虛擬機數量大得多,短時間內快速的啟動大量的容器對於存儲的壓力很大。

第三點,是否能夠進行容器粒度的卷管理。

第四點,存儲的組件要能容器化部署,從而實現自動化運維。

雲計算對分布式存儲本身提出的要求,在雲原生的場景下會更加凸顯,比如,數據跟隨的能力,數據保護機制、彈性擴容的能力,以及海量並行下的性能問題,這都是雲原生架構下對分布式存儲能力提出的挑戰。

王煜表示,企業在選擇雲原生存儲架構時候應該注意以下三點:

第一點,要用分布式存儲。幾乎所有的專業存儲廠商都可以提供對接容器平臺的能力,但是只有分布式存儲才能非常完美匹配雲原生應用場景。

第二點,雲原生存儲應該具備足夠的穩定性以及擴展能力。

第三點,存儲組件要能容器化部署,要能利用容器平臺本身的集成管理和調度能力。

QingStor的雲原生存儲實踐

作為可以在企業私有雲環境下進行獨立交付的分布式存儲產品線,QingStor 旗下有四款產品,分別是為極致性能而設計的NeonSAN,為海量非結構化數據而設計的對象存儲,為通用場景而設計的文件存儲,以及一個提供多種接口的融合存儲

QingStor NeonSAN是一款為核心業務設計的分布式存儲,採用了比較多新的技術,比如在軟體架構層面針對SSD和NVMe進行設計,通過RDMA網絡進行數據副本間的複製,並且支持NVMe-oF的存儲訪問協議。同時,QingStor NeonSAN虛擬卷和物理硬碟採用了直接映射的架構, IO路徑棧極短,充分釋放了底層物理硬碟的性能。 

在性能測試中,QingStor NeonSAN的IOPS大幅領先 OpenEBS, Longhorn,Ceph-rook。在方案成熟度上,QingStor NeonSAN目前已有大量生產落地的案例。

QingStor NeonSAN目前已經在企業客戶中有大規模生產環境的部署,最典型的使用場景就是公有雲平臺上的雲硬碟。私有雲也有很多落地案例,覆蓋了包括金融、製造、能源、醫療、政府等行業。

QingStor NeonSAN在雲原生架構體系下做了很多針對性的優化。

首先,QingStor NeonSAN可以完整支持 Kubernetes CSI存儲插件,平臺可以針對存儲做許多操作,比如創建、銷毀、克隆、備份卷等,不需要運維人員提前創建容器所需的存儲,開發人員通過聲明式描述存儲需求即可,存儲空間的創建和綁定過程是和應用的創建過程同步完成的。

其次,QingStor NeonSAN實現了存儲組件自身的容器化部署,充分的利用K8s本身能力,比如,當K8s 監測到集群狀態發生變化時,會觸發 Operator來自動化完成運維管理的操作。把存儲運維的操作變成了代碼併集成到了K8s平臺上。

這一能力使得存儲擴容時間大大縮短,過去需要運維人員手動參與擴容,過程通常是以小時計,但是通過採用雲原生架構的方式進行自動化運維後,整個擴容時間降低到了分鐘級。

今年 9 月份,青雲QingCloud 發布了容器存儲一體機,軟體架構是QingStor NeonSAN 與KubeSphere 容器平臺共同組成的,KubeSphere是青雲QingCloud基於K8s 開發的開源容器平臺,目前在雲原生社區收穫了廣泛的關注和好評。

QingStor希望通過一體機的方式,幫助企業快速擁抱雲原生架構,落地雲原生應用。

容器一體機極易上手,能做到開箱即用,性能優異,而且能穩定運行,容器一體機在雲原生場景中進行了測試。

第一個測試是批量創建100個pod和 pv卷,總耗時是 70秒,耗時遠低於同類的容器存儲解決方案。第二個測試是使用FIO對單個pod進行壓力測試,結果顯示可以達到10萬以上IOPS,以及亞毫秒的訪問時延。

QingStor NeonSAN基於第二代英特爾至強可擴展平臺打造的,可確保在計算、存儲、網絡、軟體等多層面為企業客戶帶來性能強勁、安全可靠、簡單易用的軟體定義存儲解決方案,顯著降低系統部署的複雜度和TCO,與企業現有重要業務快速無縫銜接。

除此之外, QingStor NeonSAN適配英特爾® 傲騰(Optane™) 固態盤和英特爾®高速緩存加速軟體(Intel Cache Acceleration Sotware)等多項新技術,實現超高吞吐與極低延時,並且和英特爾共同對整體方案進行了性能優化,能夠充分應對企業應用的嚴苛挑戰。

總結

QingStor產品家族在雲原生場景下,進行了很多針對性的研究和優化,能夠非常好地幫助企業快速落地雲原生架構和應用,並實現全棧國產自主可控的能力,為企業生產數據保駕護航的同時,最大程度發掘數據的價值。

未經允許不得轉載:DOIT » 雲原生需要什麼樣的存儲,QingStor這麼說

相關焦點

  • 雲原生需要什麼樣的存儲 QingStor這麼說
    青雲Qingcloud  作為國內頗有技術範兒的雲廠商,擁有專業的分布式存儲QingStor和容器平臺KubeSphere 。在2020中國數據與存儲峰會現場上,QingStor研發負責人王煜回顧了支撐雲原生架構的存儲所需要的諸多技術方案,也提出了對於雲原生存儲的三點看法,分享了已經落地的雲原生分布式存儲案例。
  • 亮相2020中國數據與存儲峰會QingStor以存儲進化加速企業落地雲原生
    峰會上,QingStor存儲產品線研發負責人王煜、QingStor存儲產品線產品經理馮相東分別帶來了以《雲原生架構下的存儲進化》、《企業核心業務資料庫雲化轉型》為題的主題演講,深度詮釋雲原生時代的存儲進化方向,解析企業核心業務雲化轉型與資料庫變革的重要性,幫助企業客戶解決雲原生架構下海量數據存儲難題,加快落地雲原生,推進數位化轉型。
  • 從QingStor NeonSAN看存儲架構的演進
    其中,存儲的一路演進,正是為適應雲時代業務市場下的需求。傳統的集中式SAN存儲,最常見的是雙控架構,兩個控制器互為冗餘,需要有專有的硬體做支持。當容量擴展時,需要購買專有的JBOD。由於控制器數量不支持擴展,控制器本身的計算能力很容易成為系統的性能瓶頸。另外,當兩個控制器中任意一個發生故障時,整個系統的服務能力會明顯降低,數據安全風險也會急劇增加。
  • 別再雲裡霧裡,或許我們可以這樣理解雲原生
    2015年,《遷移到雲原生架構》定義了雲原生架構的特徵:12因素、微服務、自敏捷架構、基於API協作、扛脆弱性。同年,雲原生計算基金會(CNCF)成立,並將雲計算定義為容器化封裝+自動化管理+面向微服務。2017年,Matt Stine將雲原生架構歸納為模塊化、可觀察、可部署、可測試、可替換、可處理6特質。
  • 如何解決落地雲原生難題?青雲科技KubeSphere給出答案
    在多雲時代的當今,「雲原生」逐漸走向了技術舞臺的中央。  「這是雲原生最好的時代,也是不得不雲原生的時代。」KubeSphere容器平臺產品負責人於爽表示。  通過近幾年的發展,雲原生已經成為解決企業業務落地適應數位化、網際網路化趨勢時,一個很實用、很有效的解決架構。
  • 雲原生技術的初學者指引
    當我們初接觸雲原生技術時,可能會覺得它有些複雜和混亂。不過,我們可以先來了解一個開放,活力的軟體社區,即雲原生計算基金會(CNCF)。它為數不清的雲原生技術項目提供了持續不斷的支持和貢獻。而且,CNCF有一張涵蓋了全部雲原生解決方案的全景圖,許多耳熟能詳的項目方案都包括在這張圖內。
  • 雲原生體系下的技海浮沉與理論探索
    可以這麼說,一座城市的良心就體現在下水道上,不論這座城市有多少高樓大廈,建設得有多麼宏偉,只要是下雨天,雨水就變成了城市良心的檢驗者。如果由城市建設來類比雲原生體系的建設,那麼雲原生的良心又應該是什麼?誰是雲原生的暴風雨?誰又是雲原生良心的檢驗者?
  • 華為雲原生基礎設施加速基因測序
    然而,基因測序工程,動輒需要數萬/數十萬個基因測序及模型建立,需要大量的計算和存儲資源,常見的基因轉換、拼接、對比、注釋全流程,用一臺高性能伺服器運行耗時30多個小時,數萬乃至十萬級的基因測序任務,對網絡、存儲、算力,以及業務響應的及時性、可靠性、安全性有極高的要求。
  • 讀懂雲原生背後的價值
    而為遙望網絡帶來這種驚豔效果的則是青雲QingCloud 的雲原生解決方案。輕量化的容器,龐大的未來雲原生是近兩年IT行業探討最多的話題之一,容器、微服務、DevOps、Serverless等成為企業落地雲原生的關鍵手段,也是不同雲廠商紛紛布局的方向。
  • 加速企業數位化創新 阿里雲宣布成立雲原生實戰聯盟
    探討企業級雲原生如何助力企業數據上雲,以及雲原生數據智能與 AI 如何助力企業實時決策;並面向全行業成立雲原生實戰聯盟,推動全行業的雲原生實踐進程。阿里雲資料庫產品事業部總經理佔超群面對數據量井噴、實時化、業務融合多樣化等挑戰,雲計算時代的資料庫需要進行融合創新和變革,企業需要更加智能化、一體化、敏捷化的資料庫平臺。
  • 1QingStor NeonSAN躋身塊存儲市場前四 媲美中高端全閃陣列
    QingStor NeonSAN完全區別於傳統的集中式架構,分布式存儲架構設計打破傳統了SAN存儲在擴展性與可靠性方面的局限,並且可以與雲原生應用無縫對接。基於全閃設計的QingStor NeonSAN可以滿足企業最核心的業務,性能可以媲美全閃的中高端存儲。根據IDC的數據顯示,中國存儲市場整體保持向好,其中SDS分布式存儲市場表現突出。
  • 全閃分布式存儲深入企業核心業務,QingStor NeonSAN強勢增長 ​
    從"小型機+集中式存儲"過渡到"x86+分布式存儲",越來越多的企業有了新的選擇,也帶來了更多的可能性。不過這種過渡,在不同的行業或某個行業內的不同細分領域,其進展速度和深度也不盡相同。以金融行業為例,它主要包括銀行、保險、證券,還有蓬勃發展的網際網路金融。眾所周知,網際網路金融業務本身就紮根在雲上,所以"x86+分布式存儲"幾乎可以說是標配。
  • 5G和雲原生時代,技術的下半場從哪裡開始
    所以從 5G 的業務層面,我們關注的是,什麼業務需要更大的帶寬,什麼業務需要更低的延時。說到雲原生,它確實是現在特別火的一個話題。在去年的雙 11,我們說最大的變化是所有的核心系統都上雲,而今年雙 11 我們對外講的是所有核心系統開始雲原生化。
  • 順豐「快遞+」的雲原生「密碼」
    因為流程及標準比較多,開發過程不透明,所以在開發過程中,需要實時進行監督把控。第三,更高效的交付。由於大量工作需要人工完成,工時等信息需要Excel收集。從需求到代碼開發,再到上線的周期被無線拉長,其中接口測試和安全測試,依賴人工操作,平均耗時1-3天,導致應用上線的速度變得異常緩慢。第四,更嚴格的安全管控。
  • 進入雲原生、分布式的時代,什麼才是資料庫的正確打開方式
    就像Gartner分析師在報告中所說的那樣:「阿里雲擁有豐富的資料庫種類覆蓋度和完善的產品布局,為用戶提供了多種關係型、分析型和非關係型資料庫產品,還提供了混合雲環境部署,同時集成了備份、數據遷移與同步等能力,並且阿里雲有非常強大的技術實力與創新能力。」
  • 雲原生、存算一體、持久化,阿里雲內存資料庫Tair出世不凡
    據預測,到2022年50%以上的業務需要採用實時處理數據方法來支撐業務的在線化運營。另外,新增數據中非結構性數據佔比會大大提升,佔比將會高達80%以上,同比增速超過50%。應對這些以非結構化數據為主、實時在線的數據處理需求,傳統資料庫明顯力不從心,而內存資料庫成為越來越多人的選擇。
  • 阿里雲全面布局雲原生資料庫產品體系,點亮企業數據上雲之路
    【天極網IT新聞頻道】9月18日雲棲大會,阿里雲智能資料庫產品事業部負責人、達摩院資料庫與存儲實驗室負責人、阿里巴巴集團副總裁李飛飛正式推出雲原生分布式資料庫PolarDB-X、雲原生數據倉庫AnalyticDB、雲原生數據湖分析Data Lake Analytics(DLA)、雲原生多模資料庫Lindorm等多款產品的發布與升級。
  • 阿里雲宣布推出業內首個雲原生企業級數據湖解決方案
    10月23日,數據湖高峰論壇在京召開,阿里雲宣布推出業內首個雲原生企業級數據湖解決方案,提供EB級數據存儲、分析能力,可一站式實現湖存儲、湖加速、湖管理、湖計算,幫助企業對數據深入挖掘與分析,洞察其中蘊含的價值,更適合於人工智慧、物聯網、自動駕駛等擁有海量數據場景的新興行業。
  • 最近超火的雲原生基礎架構金山雲準備怎麼玩
    要想解決這個問題,需要讓應用無狀態化。這裡的無狀態並不是指應用不處理數據,而是在設計時就面向失敗和面向恢復設計,例如將狀態外部化,存儲到外部存儲中,同時應用需要能夠快速重啟,快速彈性伸縮。最好能保證在外部系統故障情況下依然可用。加速迭代流程如果產品的進化速度太慢,不能根據用戶的反饋快速迭代,就會引起用戶不滿。
  • 共話實戰 深剖企業那些年為何如此青睞雲原生
    以容器、微服務及動態編排為代表的雲原生技術,不僅天然適合解決傳統應用升級緩慢、架構臃腫、不能快速迭代等問題,還逐漸成為賦能企業業務創新的重要推動力,正是看到雲原生技術的這些優勢,大多數企業最終選擇以雲原生化的方式完成核心系統上雲。對於企業而言,雲原生是實現數位化創新的捷徑。時至今日,雖然關於雲原生的定義仍說法不一,但云原生卻已大規模落地全行業。