分布式關係型資料庫 RadonDB 體驗歸來

2021-01-08 IT168

【IT168 評論】前段時間收到吳老師的邀請,是參加青雲QingCloud分布式資料庫(RadonDB)的一個技術體驗活動,從今天的技術體驗來算,收穫還是很多的,大家相聊甚歡,交流了很多工作中和工作之外的想法,原來那些我們看起來難走的路大家都曾經走過。

總體來說MySQL方向的目前的技術架構是一種看起來相對穩定的體系,一般來說傳統的主從複製,半同步,一主多從,到分庫分表,加上中間件,高可用,好像可玩的花樣就差不多這些了,所以基於這些我們只能說MySQL的這種使用方式是基於分布式架構,從CAP的角度來看,一致性(C),可用性(A),分區容忍性(P)方面很難都佔全。

說實話,最開始聽到RadonDB這個名字感覺很陌生,打開技術架構圖,猛一看看好像沒有什麼特別的新意,所以開始的環境部署和簡單體驗其實是帶著一種挑剔的眼光來看的,提出一些體驗和兼容性的小問題。

但是隨著下午和設計師雁飛和RadonDB團隊的深入交流,發現這個架構確實很有意思,能夠在已有的架構模式下玩出新的花樣,而且確實解決了分布式方案的基本需求,很難得。

我來簡單補充下產品裡面的亮點。

1.首先整個一套方案都是打算開源的,目前在青雲的產品線中已經可以體驗。從部署到使用,整個過程都是基於雲平臺來完成,基礎運維的成本很低。

2.從架構設計的角度來說,RadonDB的設計定位充分利用了MySQL的開源紅利,存儲節點是直接使用MySQL5.7的版本,可以把存儲計算的任務下沉到MySQL層面,所以他是一套完全基於MySQL定製的分布式方案,架構方式看起來比較輕量級。

3.對於關係型資料庫來說,要實現擴容影響面是很大的。RandonDB在這裡的實現,上層是基於hash,存儲模式是基於Range,即一個大表也可以根據片鍵值的範圍橫向擴展,比如一個大表是30G,那麼如果是分為30個分片,那麼沒一片的粒度就是1G,在這種代價下,做online DDL還是數據的遷移都是相對來說可控的粒度,我個人最欣賞的就是它在彈性擴容上的實現方式,能夠基於這種拆分思想,借鑑參考了Redis Cluster裡面類似的思想,根據細粒度的slot級別的數據來實現擴容。

4.在高可用上面值得一提的是一個獨立的工具MySQL Plus,這款工具可以基於5.7版本以上的GTID來滿足原來MHA所做的事情,然後基於半同步保證了數據的完整性,目前的整個一套方案都是基於Raft實現的。

當然還有些其他的細節方面也做了一些蠻不錯的改進:

1:比如審計日誌的功能其實對於很多公司來說還是有審計需求的

2:mydumper的定製,是基於go來實現的,能夠充分利用go的一些優勢

3:壓測工具也是基於go做的一層定製,從現場的高可用測試來看,體驗會好一些。

當然在體驗的過程中也發現了一些待改進的地方,有些是顯示信息的補充和改進,有些則是技術實現方案上的建議等。我簡單提兩點:

首先,RandonDB的角色其實就是一個中間件,類似ProxySQL,MyCAT之類的中間件,能夠實現基本的SQL轉發,這裡考慮到給以後的分布式事務設計帶來技術改進,目前的SQL Node是一個節點寫入,其他節點是只讀的。

對於OLAP的業務支持,其實從RadonDB的SQL轉發,對於複雜,聚合的需求就可以直接下沉到計算節點,對於計算節點,目前的初步設計是使用插件的方式來實現,設計團隊的初步設想是引入MariaDB columnstore類似的方案來實現,我有一個建議是也可以採用類似MPP的方式,畢竟MPP也是分布式方案的而一種,在這種架構模式下就會充分用到存儲多副本的優勢,比如多個副本,我們可以利用其中的一個或者兩個的副本來滿足AP的需求,這樣對於主庫的寫入侵入性是最小的,而且能夠發揮當前架構的特點,類似Greenplum中的segment節點的角色。

和RadonDB的團隊交流中發現,他們的團隊規模其實不大,但是支撐起來這樣一個產品,能夠快速迭代出來,著實讓人佩服。

RadonDB會在5月份開源發布,其實開源的不只是產品,還是一種開放的態度,希望RadonDB能夠給我們的運維工作中帶來一些新的思路和改進。

相關焦點

  • 張雁飛:新一代分布式關係型資料庫RadonDB
    2.剛才您的演講題目是《RadonDB:新一代分布式關係型資料庫》,那您可以給我們解釋一下什麼是新一代分布式關係型資料庫嗎?  張雁飛:「新」主要體現在:我們把NewSQL領域的技術與MySQL資料庫融合起來,目前看還沒有人這樣嘗試過,所以我們叫它「新一代」。這是一個非常有挑戰,也非常有意思的一個方向。
  • 一款可能解放DBA的分布式資料庫RadonDB的體驗之旅
    女主宣言上上周收到吳炳錫老師和青雲QingCloud的邀請,參加了即將開源的基於MySQL的一款分布式資料庫RadonDB的技術交流會。由於本人對於各大公有雲廠商底層技術的實現比較感興趣,所以對此次技術交流會有一些心得並做了總結。
  • 青雲QingCloud上線分布式關係型資料庫PolonDB
    來源:TechWeb.com.cn【TechWeb】5月27日消息,企業級混合雲服務商青雲QingCloud近日宣布,分布式關係型資料庫PolonDB正式上線,全面無縫兼容PostgreSQL生態。PolonDB上線後,將從雲端發力,助力企業快速、高效面對未來數據處理需求。
  • 國產開源分布式關係型HTAP資料庫TiDB介紹
    TiDB 是一款由國內 PingCAP 公司自主設計、研發的開源分布式關係型資料庫,同時支持在線事務處理與在線分析處理 (Hybrid Transactional and Analytical Processing, HTAP)的融合型分布式資料庫產品,具備水平擴容或者縮容、金融級高可用、實時 HTAP、雲原生的分布式資料庫、兼容 MySQL 5.7 協議和 MySQL 生態等重要特性。
  • 非關係型資料庫(nosql)介紹
    非關係型資料庫也叫Nosql資料庫,全稱是not noly sql。 2009年初,Johan Oskarsson舉辦了一場關於開源分布式資料庫的討論,Eric Evans在這次討論中提出了NoSQL一詞,用於指代那些非關係型的,分布式的,且一般不保證遵循ACID原則的數據存儲系統。
  • Oracle等關係型資料庫是否沒落了
    大家都在想Oracle這個商業巨頭都在裁員,說明關係型資料庫肯定是沒落了。其實這個問題,我之前讀研時學的是大數據分析,接觸分布式計算時,就想到這個問題了,但是那個時候沒有深入的去考慮這個問題。後來出來上班後發現,企業裡面的業務應用、數據倉庫、還是BI分析庫大部分使用Oracle或其它關係型資料庫去搭建的,那時候覺得存在即是合理。
  • 分布式關係型資料庫公司PingCAP完成5000萬美元C輪融資
    DoNews 9月12日消息(記者 向密) 新型分布式關係型資料庫公司PingCAP宣布完成5000萬美元C輪融資。本輪融資由復星、晨興資本領投,華創資本、雲啟資本、經緯中國等多家投資機構跟投,將主要用於技術研發和全球化生態系統建設。
  • 首發丨PingCAP獲5000萬美元C輪,破新型分布式關係型資料庫融資紀錄
    9月12日,分布式關係型資料庫公司PingCAP宣布獲得C輪5000萬美元融資,據悉這是目前新型分布式關係型資料庫領域的最大筆融資。本輪融資由復星、晨興資本領投,華創資本、雲啟資本、經緯中國等多家投資機構跟投,融資將主要用於技術研發和全球化生態建設。
  • 清華學生筆記:常見的關係型資料庫
    雖然非關係型資料庫的優點很多,但是由於其並不提供SQL支持、學習和使用成本較高並且無事務處理,所以本書的重點是關係型資料庫。下面我們將介紹一下常用的關係型資料庫管理系統。1)OracleOracle資料庫是由美國的甲骨文(Oracle)公司開發的世界上第一款支持SQL語言的關係型資料庫。
  • 一文搞定「關係型資料庫」與「非關係型資料庫」
    那個時期的關係型資料庫得到了較為廣泛的關注和應用,網站訪問量談不上什麼高並發、更別說什麼用戶體驗了,能玩得起就已經是完勝上億中國人了。然而,由於數據量級很大而且包含有大量的無規律的數據,而我們如果想要更好的利用這些數據,就要做好對數據的處理和存儲,如果還僅僅依賴關係型資料庫顯然是不太現實的,因此,非關係型資料庫(NoSQL)就應運而生了(好像所有技術都是這麼來的,技術誕生通常是為了要解決企業某些業務需求),先來看看什麼是非關係型資料庫
  • Memcache,Redis,MongoDB三種非關係型資料庫的對比
    一、MongoDB非關係型資料庫(nosql ),屬於文檔型資料庫。先解釋一下文檔的資料庫,即可以存放xml、json、bson類型系那個的數據。成熟度與廣泛度:新興資料庫,成熟度較低,Nosql資料庫中最為接近關係型資料庫,比較完善的DB之一,適用人群不斷在增長。優勢:快速!在適量級的內存的Mongodb的性能是非常迅速的,它將熱數據存儲在物理內存中,使得熱數據的讀寫變得十分快,高擴展!自身的Failover機制!json的存儲格式!
  • 分布式資料庫
    負責分布式資料庫的建立、查詢、更新、複製、管理和維護的軟體,稱為分布式資料庫管理系統(Distributed DataBase Management System, DDBMS)。分布式資料庫管理系統保證分布式資料庫中數據的物理分布對用戶的透明性。
  • 揭秘騰訊大數據十年發展歷程:從關係型資料庫到分布式機器學習
    據騰訊大數據負責人劉煜宏介紹,騰訊大數據從2009年開始, 經歷離線計算、實時計算與機器學習三個階段,2009年之前,騰訊主要使用傳統的關係型資料庫。2009年開始,傳統的單機資料庫所提供的服務,在系統可擴展性、性價比方面已不再適用騰訊業務爆發式的增長。面對這種變化,騰訊大數據轉向分布式,基於開源的Hadoop體系,構建了騰訊第一代大數據平臺,並建設離線計算平臺,主要發力規模化。騰訊大數據由此進入第一階段。三年裡,騰訊實現了從關係型資料庫到自建大數據平臺的全面遷移,到2012年,騰訊大數據的單集群規模突破了4400臺。
  • 資料庫從集中式架構到分布式架構發生了哪些改變?
    雖然非關係型資料庫在一段時間內引起了巨大的反響,但是關係型資料庫經歷了幾十年時間的發展,時至今日它依然是整個社會的信息基礎設施,承載著整個社會重要程度最高、訪問量最大的數據。但基本上關係型資料庫的市場格局沒有太大的變化。最早的幾家霸主直至今天依然佔據著統治地位。 比如我們所熟知的Oracle資料庫、SQL Server、DB2。
  • 大數據概念解析:分布式存儲與資料庫
    大數據技術當中,在海量數據的存儲環節,涉及到兩個重要的概念,就是分布式數據存儲與資料庫,穩定高效安全的數據存儲,才能為後續的計算分析環節,提供穩固的支持。今天的大數據概念解析,我們來講講分布式存儲與資料庫。
  • 大數據概念解析:分布式存儲與資料庫
    大數據技術當中,在海量數據的存儲環節,涉及到兩個重要的概念,就是分布式數據存儲與資料庫,穩定高效安全的數據存儲,才能為後續的計算分析環節,提供穩固的支持。今天的大數據概念解析,我們來講講分布式存儲與資料庫。進入大數據時代,數據特徵發生了明顯的變化,數據規模大、非結構化/半結構化的數據多,使得大數據存儲本身也需要克服很多的問題。
  • 分布式關係型資料庫公司 PingCAP 獲1500萬美元B輪融資,華創資本領...
    )北京】6月13日報導6月13日消息,全球分布式關係型資料庫廠商 PingCAP 宣布完成 1500 萬美元的 B 輪融資,由華創資本領投,經緯中國、雲啟資本、峰瑞資本、險峰長青等多家投資機構跟投。核心產品 TiDB 致力於解決資料庫領域一直以來存在的關係型資料庫水平擴展的世界級難題,是全球範圍內該領域目前極有核心技術競爭力的產品。
  • 大數據常見問題,HBase vs 傳統關係型資料庫
    HBase是一種面向列的資料庫,它常常會被拿來和傳統的關係型資料庫(RDBMS)進行比較。兩者在實現和設計上的出發點差別很大,下面小鳥就客觀的講一講兩者的區別。一、存儲的量級在傳統的關係型資料庫中,隨著數據量的增大,查詢速度會越來越慢,一張有上百個欄位的數據表在有千萬級別的數據量時,響應速度會變的非常緩慢。而HBase是一個分布式的數據存儲系統,他的建立是基於HDFS的。其設計的初衷就是為了解決傳統關係型資料庫在處理海量數據時,速度太慢的問題。
  • 對話巨杉資料庫核心研發:分布式資料庫修煉之路
    分布式資料庫是當前資料庫發展的主要方向,但是一直以來資料庫的核心研發都是十分神秘的團隊,作為巨杉資料庫幕後的隱士高人,他們對資料庫發展以及資料庫研發團隊的看法是什麼呢?本文我們就由一位巨杉資料庫的技術「老江湖」向大家分享分布式資料庫自研之路。
  • 鍵值型資料庫在分布式爬蟲系統中的應用
    因此網絡爬蟲基於多節點的分布式協同運行方案成為解決爬蟲性能瓶頸的不二之選。而作為分布式系統的存儲中間件,key-value資料庫(redis和pika)在數據結構的支持,高吞吐的性能,接口的易用性等方面都是不錯的選擇。