新一代彈性雲計算平臺 Cloudxy 發布 0.1 版

2020-12-17 開源中國

從年初到現在,經過大半年的奮戰,康華(博客)在工作之餘,帶領西郵興趣小組的同學進行彈性雲存儲項目的開發,目前終於完成了第一個版本,取名cloudxy,其中的xy意味著,任何感興趣者都可以加入進來,或許因為您的加入,這個xy就有了未知的擴展。
 Cloudxy立足於實現虛擬子網(乙太網)的彈性雲計算平臺, 該項目主要包含有兩個子項目:
 HLFS - 虛擬機分布式鏡像存儲 (類似於亞馬遜EBS,首先發布出來)
 ECM - 虛擬環境管理系統 (後續發布)
 原始碼位於:http://code.google.com/p/cloudxy/
 郵件列表為:cloudxy@googlegroups.com
------------------------------------------------------------------------------------
關於HLFS,康華寫的相關文檔在:

    FAQ — http://code.google.com/p/cloudxy/wiki/HlfsFAQ
    DESGIN — http://code.google.com/p/cloudxy/wiki/HlfsDesign
    User-Manual — http://code.google.com/p/cloudxy/wiki/HlfsUserManual
    Code - http://cloudxy.googlecode.com/svn/trunk/hlfs/

-----------------------------------------------------------------------------------------
  關於HLFS,請優先閱讀HlfS FAQ

    hlfs (hdfs log structrue filesystem 的縮寫)是一個在hadoop hdfs 文件系統之上實現的log structrue filesystem - like 系統。但要注意它並非一個實現完整posix語義的文件系統(支持目錄操作、link等),而是僅僅實現了單一文件的基本管理(open,write,read,close)的系統,所以把它稱為存儲系統(block-level)可能更加合適。

hlfs 能做什麼?

    由於hlfs自身特色(高可用性、寫透、快照、分布式、用戶態),適合於做虛擬機鏡像存儲(類似亞馬遜EBS)、在線網盤(金山快盤等)等虛擬塊設備的存儲架構。甚至發散一下思維,它也可以做為pnfs類似系統的後臺存儲等等。

    注, 其實我們的這次發布中有一個在nbd基礎上實現的網盤,完全可以做為一個在線網盤使用。

hlfs 來源自哪裡?

    hlfs 項目來自於我們當前正在研發的彈性雲平臺:基於erlang實現的一套虛擬機、虛擬網絡管理系統,該系統有點像EC2,不過最終重點放在了管理虛擬子網(二層)上。這個項目也是一個開源項目,目前還處於開發初期。hlfs是該項目中的一個子項目,預先開源出來。

hlfs 如何實現的?

    簡單的講,hdfs 的實現特點決定了它完全可以當做一個高可用性、幾乎無限大的網絡磁碟使用,

但不幸的是,它只能追加寫入,無法隨機寫入(其實正是這種取捨保證了hdfs反熵、故障切換等簡單可靠的特點),對於在線應用隨機訪問而言(如虛擬機磁碟鏡像)無法直接使用。所以我們藉助log structrure filesystem的特色,使用追加方式的元數據管理技術,在hdfs這個大磁碟上實現隨機數據讀寫功能。 具體的實現方法見設計描述 http://code.google.com/p/cloudxy/wiki/HlfsDesign?ts=1322292067&updated=HlfsDesign。

hlfs 有哪些特點?

    hlfs 繼承了hadoop dfs 和 log structrue filesystem的諸多優點,同時也繼承了其缺點。

優點:

    高可用性 —— 繼承dfs
    高擴展性(可上大規模)、自動不停機擴容 —— 繼承dfs
    負載均衡 —— 繼承dfs
    用戶態實現(便於調試、故障易隔離) ——繼承dfs
    穩定性、可管理性高 —— 得益於dfs成熟、普及
    寫速度優化 —— 繼承lfs 和 dfs
    支持運行態數據快照(便於數據汙染後,執行回滾) —— 繼承lfs

缺點:

    需要數據合併(merge或者rewrite,已清除的舊數據回收存儲空間)—— 遺傳自lfs
    響應速度打折(副本一致性是通過pipeline式串行實現保證,所以寫速度受一定影響) —— 遺傳自dfs

為什麼開源?

    集體智慧永遠大於個人或者小團體智慧,因此希望能有更多朋友參與進來,貢獻智慧,一同進步。
    飲水思源,從來都是用別人開源軟體,好歹也應該嘗試加入潮流。

hlfs roadmap ?

    目前0.1版本實現了基本概念原型,系統支持隨機讀寫。未來將進一步實現:

    checkpoint機制 ——
    block cache機制、異步回寫機制 —— 目前都是寫透讀透,安全性高,但性能差。
    預讀readahead —— 讀性能優化主要靠readahead和提高cache命中率。
    異步實現hlfs driver for tapdisk —— 目前實現是用同步IO模型實現之。
    hdfs一致性的改進(或者說特化)

hlfs 項目中包含那些組件 ?

    libhlfs 庫
    tools ——
        mkfs.hlfs 格式化工具
        hlfs-seg-usaage-calc 段使用統計工具
        hlfs-seg-clean 段清理工具(只能用於離線狀態使用)
    hlfs driver for tapdisk2
        hlfs driver tapdisk2的一個driver
        tapdisk_ops 外部控制工具
    採用nbd架構的虛擬磁碟實現
        ndb-server
        nbd-client
        nbd-ops 外部控制工具

hlfs 和同類項目有什麼區別 ?

    sheepdog——牧羊犬項目的目的和hlfs最為相似,都是奔著EBS服務而生。hlfs先從xen虛擬化實現入手,sheepdog從kvm入手 (不過這都不重要,兩者都是面向block-level的)。牧羊犬項目的實現,頗具創意——其採用對等網(無單點)結構實現後臺存儲服務,頗有Dynamo的影子在其中;hlfs的後臺存儲沒有自己實現,而是建設於hadoop dfs之上,可以說是站在巨人肩膀上 —— 我們也曾經思考過獨立開發分布存儲系統,不過考慮工作量、以及更重要的是,考慮到我們設想是在最終理想的雲環境中離線任務和在線應用是無差別的混合部署。而hadoop是離線應用的基石之一。所以希望整個系統都能遵循以hdfs為最下層存儲基礎,其他各種服務(如VM服務鏡像存儲服務、如key value存儲服務、SQL \NO SQL等數據服務)都建立在其上的「分層策略」。基於此考慮,我們選擇了hdfs做後臺存儲。
    moose ——有些公司採用moose實現虛擬機鏡像存儲(存放鏡像文件)。moose系統做鏡像存儲來說有點「大材小用」,或者尾大不掉的感覺。它是一個實在的文件系統,而不是block-level級別的存儲系統,相比而言元數據管理稍微重點。moose系統存儲鏡像,就需要使用fuse模式掛載到本地系統,也就是說數據流要經過內核態轉發,相比hlfs只存在於用戶態,所以數據流更精簡,另外就是錯誤不至於影響內核錯誤;另外moose系統的反熵過程比較慢,較為影響當前寫操作;不能實現隨時快照功能。
    Drbd ——DRDB可看成網絡RAID。能解磁碟冗餘、跨機器問題。但不能提供thin provisoning,也不能動態負載均衡。

相關焦點

  • 新基建下的雲計算與開源社區新發展雲論壇成功舉辦
    孫文龍介紹到,在今年複雜的國際環境和嚴峻的疫情防控形勢下,中國電子技術標準化研究院的雲計算標準化和開源社區建設工作仍取得階段性的進展:在標準研製方面,報批了兩項國家標準、一項行業標準,持續推進下一代雲計算、雲邊協同等新標準化方向,促進信息技術創新應用以及產業生態的健全,並開展開源軟體標準體系的頂層設計和研究。
  • 科大訊飛發布新一代「語音雲」平臺
    日前,科大訊飛正式啟動了新一代「語音雲」平臺發布暨語音開發者大會(詳情請點擊:2012.voicecloud.cn)。據悉,此次發布的新一代「語音雲」平臺將是一個具有自然語言理解、個性化語音識別、個性化語音合成、聲紋識別、口語評測能力等特性的新一代「語音雲」平臺。
  • 值得看AIoT雲平臺Worthcloud2.0發布,賦能智能家居新生態
    深圳2019年7月9日 /美通社/ -- 2019年7月9日,廣州建博會期間,萬佳安物聯集團旗下值得看雲計算有限公司自主研發的AIoT雲平臺Worthcloud2.0在廣州香格裡拉正式對外發布。
  • PyTorch 1.0 正式版發布了!
    同時放出了 PyTorch 1.0 預覽版。近日,在 NeurIPS 2018 大會上,Facebook 官方宣布 PyTorch 1.0 正式版發布了。,「我們在 PyTorch1.0 發布前解決了幾大問題,包括可重用、性能、程式語言和可擴展性。」
  • GraalVM 社區版 1.0 RC7,新一代高性能跨語言虛擬機
    GraalVM 社區版 1.0 RC7 已發布。
  • Spring Cloud Open Service Broker 3.1.0 正式發布
    Spring Cloud Open Service Broker 3.1.0 正式發布了,現已完成對 Open Service Broker API v2.15 的支持。
  • Spring Cloud Open Service Broker 3.0.0 發布,API 重大轉變
    Spring Cloud Open Service Broker 3.0.0 已發布。
  • 引領雲網絡邁入新裡程碑,騰訊雲發布下一代超大網絡平臺VPC3.0
    12月20日,在騰訊2020 Techo Park開發者大會網絡分論壇上,騰訊雲發布面向雲原生的下一代超大網絡平臺VPC3.0,引領雲網絡邁入了新的裡程碑。據了解,VPC3.0全面提升VPC能力,單VPC最大可承載300萬雲主機和容器節點。
  • GraalVM 社區版 1.0 RC15 發布,新一代高性能跨語言虛擬機
    GraalVM 社區版 1.0 RC15 已發布。
  • pacebox-springboot 1.0.9 發布,Java 生態框架
    pacebox-springboot 融合封裝已發布,旨在提供快速開發腳手架、打造更好的開源生態環境。希望有志同道合的朋友一起維護該軟體、打造一款快速應用開發級生態框架。
  • 【重磅】Docker企業級管理平臺開放下載,免費使用
    雲幫是一款基於容器技術的(應用管理/Docker管理/高效運維)PaaS平臺。社區版針對個人、企業完全免費,您可以自由的下載與傳播,但需要遵循我們的社區版協議。  雲幫從哪裡來? 雲幫是北京好雨科技有限公司結合容器技術整合的一套管理平臺。從2015年3月開始,歷經18個月,雲幫已經幫助30餘家傳統企業完成由傳統IT架構向容器技術架構的遷移。
  • Spring Cloud 2020.0.0 正式發布,移除大量模塊
    踩著 2020 的尾巴 Spring Cloud 2020 (代號"Ilford",伊爾福德)版本正式發布,目前已可以從 maven
  • 雲計算廠商UCloud發布快傑雲主機3+1系列、直播雲3.0等產品
    10月23日,雲計算廠商Ucloud優刻得在2020用戶大會上發布了新一代「快傑」雲主機3+1系列。其中,快傑S型達到3.0GHz基礎主頻、4.0GHz睿頻;快傑PRO型,主頻達3.5GHz。大會還發布了快傑Lite型預覽版,採用Ampere Altra CPU(ARM架構)。
  • 開源雲計算市場份額正在上升 - OSCHINA - 中文開源技術交流社區
    雲計算具備轉變政府機構接入IT服務方式的潛力,而開源是政府早期配置的幾種雲採用的基礎技術。
  • 盤點:雲計算術語大全
    本文通過對現有的雲計算資料進行梳理,列出了60多條雲計算相關的術語及其解釋,以供參考。  1.  自其成立起,雲安全聯盟發布的雲安全指南及其開發成為雲計算領域令人矚目的安全活動。2009年12月17日,雲安全聯盟發布了新版的《雲安全指南》 v2.1,代表著雲計算和安全業界對於雲計算及其安全保護的認識的一次重要升級。  34.
  • 賽萊默發布新一代AquaTalk2.0天樞智慧水務平臺
    攜旗下完整水系統解決方案亮相2020年中國第十五屆城鎮水務大會上海2020年11月17日 /美通社/ -- 今天,全球領先的水技術提供商 -- 賽萊默(中國)有限公司在於杭州開幕的2020年中國第十五屆城鎮水務大會上,正式發布最新一代AquaTalk2.0
  • 對話華為雲CTO張宇昕:Cloud 2.0時代需要什麼樣的雲作業系統?
    根據華為雲的闡述,瑤光智慧雲腦基於華為自身企業級基因打造,更確切地說——瑤光智慧雲腦是面向5G+雲+AI時代打造的新一代智能雲作業系統。為此,雷鋒網(公眾號:雷鋒網)與華為雲CTO張宇昕進行了一次對話。
  • zuihou-admin-cloud 1.8 發布,支持 Cloud Alibaba 2.2.0
    今日更新日誌:1. 升級 Alibaba Cloud 2.2.0.RELEASE2. 修復 數據自動注入器 注入遠程調用的數據類型擦除的bug3.
  • pacebox-springboot 2020.0.0.0 發布,java 生態框架
    pacebox-springboot 融合封裝已發布,旨在提供快速開發腳手架、打造更好的開源生態環境。希望有志同道合的朋友一起維護該軟體、打造一款快速應用開發級生態框架。
  • 遼寧發布《數字遼寧發展規劃(1.0版)》
    為深入貫徹落實數字中國戰略,推動遼寧省高質量發展,日前,遼寧省政府印發了《數字遼寧發展規劃(1.0版)》,這個規劃的出臺為今後五年乃至更長時間遼寧的數字經濟發展建設指明了方向。四是堅持場景賦能,即大力拓展新一代信息技術應用場景。五是堅持多域並進,即全面推進新型基礎設施、數字新興產業、新型消費市場、數字政府建設和數位化治理等各領域協同發展。