張雁飛:新一代分布式關係型資料庫RadonDB

2021-01-20 IT168

  【IT168 評論】各位觀眾大家好,我們很榮幸地邀請到了青雲QingCloud資料庫高級技術專家張雁飛老師來接受我們的採訪,歡迎張老師的到來,張老師您好。

  張雁飛:你好。

  2.剛才您的演講題目是《RadonDB:新一代分布式關係型資料庫》,那您可以給我們解釋一下什麼是新一代分布式關係型資料庫嗎?

  張雁飛:「新」主要體現在:我們把NewSQL領域的技術與MySQL資料庫融合起來,目前看還沒有人這樣嘗試過,所以我們叫它「新一代」。這是一個非常有挑戰,也非常有意思的一個方向。

  3.為什麼要基於MySQL來實現呢?

  張雁飛:因為MySQL不僅有存儲能力,還有計算能力,所以我們就利用MySQL的計算能力,把上層的計算工作儘量下推到下層存儲節點的MySQL中。

  4.RadonDB是如何將MySQL GTID並行複製技術與分布式一致性協議Raft完美結合的?

  張雁飛:分為兩個部分,第一部分是Raft,其實就是一個Agent,它對MySQL源碼是沒有侵入的,外部的Agent會檢查MySQL的狀態,一旦發現不正常,就需要重新選主。另一部分是GTID並行複製,這是MySQL 5.7的功能。我們把Agent與MySQL部署在同一臺機器上,(Agent)其實就相當於MySQL的保姆,幫它管理、給它打雜,兩個配對,就可以運行起來了。

  5.RadonDB是如何實現同時支持高可用、強一致、可擴展的三個特性的?

  張雁飛:這三個特性是分布式資料庫、NewSQL資料庫的基本特性。MySQL給人的固有印象是擴容和遷移都很複雜,我們通過把一個大表拆成多個小表簡化了這一過程,將小表遷移到空閒的機器上就是一個擴容的過程,這就實現了可擴展性;正如剛才所說,Raft與MySQL結合就可以做到單個存儲節點內副本間的高可用和強一致性;而分布事務可以確保存儲節點間操作的原子性,所以整體就是強一致的。

  6.和傳統的資料庫相比,RadonDB的優勢在哪裡?

  張雁飛:「傳統」包括兩個方面,一是傳統資料庫,比如說MySQL就沒有成熟的高可用解決方案,需要DBA自己做主從,如果節點壞了需要自己用工具去檢測、做切換。主節點掛了之後,從節點成為新的主節點必須有一個控制節點,但是RadonDB沒有中心節點,因為它用的是Raft,這種做法還過,目前市面上的產品還沒有MySQL和Raft結合的,這是高可用性層面的區別。 二是傳統分布式資料庫,目前市面上的分布式資料庫還只是Proxy代理層,它們不像RadonDB一樣是一個完整的產品,將下層的高可用(存儲節點)和上層的代理層(SQL節點)融合在一起。我們明年會開源RadonDB,只要是按照我們的指南部署完成之後,它就是一個自動運維的分布式資料庫;而傳統的分布式資料庫必須自己開發高可用等功能。

  7.您剛才說RadonDB明年會開源,那開源之後你們的發展方向是什麼?之後打算怎麼推進RadonDB的發展?

  張雁飛: RadonDB在12月12日正式上線,等上線之後肯定還有很多需求,其中比較好的需求,我們也會去完善。等到開源之後,大家都會參與進來,技術層面的需求會越來越多。因此我們主要從這兩個方面著手,不停地把RadonDB推向成熟。

  8.有沒有具體的一些推進的方案或方向?

  張雁飛:目前還沒有,因為開源會在明年,但是具體時間還不能確定。

  9.肯定是會開源的,對吧?

  張雁飛:對。

  10.那在RadonDB構建的過程中您有沒有印象特別深的,或者有什麼特別想分享的經驗嗎?

  張雁飛: RadonDB的構建是一個非常有意思,也非常有挑戰的過程,因為像RadonDB這種分布式資料庫的研發,你不僅要對分布式有了解,也要對MySQL資料庫非常了解,否則做不到兩者的融合。所以在構建RadonDB的過程中,我對MySQL有了一個新的認識,也對分布式及其與MySQL融合過程有了一個新的認識,對自己來說也是一個提升。

  11.您覺得未來的分布式資料庫的技術發展會往哪個方向走呢?

  張雁飛:我感覺是MyNewSQL的方向,即MySQL和NewSQL結合的方向走。分布式資料庫普遍來說,就是上層SQL層和下層存儲層。大家會發現存儲層做到最後越來越像MySQL,其實就是我們現在的方向。 InfoQ: 那今天非常感謝張老師接受我們的採訪,今天的分享就到這裡,謝謝。

相關焦點

  • 分布式關係型資料庫 RadonDB 體驗歸來
    【IT168 評論】前段時間收到吳老師的邀請,是參加青雲QingCloud分布式資料庫(RadonDB)的一個技術體驗活動,從今天的技術體驗來算,收穫還是很多的,大家相聊甚歡,交流了很多工作中和工作之外的想法,原來那些我們看起來難走的路大家都曾經走過。
  • 青雲QingCloud上線分布式關係型資料庫PolonDB
    來源:TechWeb.com.cn【TechWeb】5月27日消息,企業級混合雲服務商青雲QingCloud近日宣布,分布式關係型資料庫PolonDB正式上線,全面無縫兼容PostgreSQL生態。PolonDB上線後,將從雲端發力,助力企業快速、高效面對未來數據處理需求。
  • 國產開源分布式關係型HTAP資料庫TiDB介紹
    TiDB 是一款由國內 PingCAP 公司自主設計、研發的開源分布式關係型資料庫,同時支持在線事務處理與在線分析處理 (Hybrid Transactional and Analytical Processing, HTAP)的融合型分布式資料庫產品,具備水平擴容或者縮容、金融級高可用、實時 HTAP、雲原生的分布式資料庫、兼容 MySQL 5.7 協議和 MySQL 生態等重要特性。
  • 易用、穩定、高效,萬裡資料庫開啟新一代分布式資料庫新紀元
    易用、穩定、高效,萬裡資料庫開啟新一代分布式資料庫新紀元 易用、穩定、高效,萬裡資料庫開啟新一代分布式資料庫新紀元 2020-12-25 10:12:04  來源:中華網投資萬裡資料庫聯合創始人林韶賓受邀於主會場發表《新一代分布式資料庫的產品理念和落地實踐》的演講,從整個資料庫行業的發展、國內分布式資料庫的技術演變出發,講述了萬裡資料庫「易用、穩定、高效」的產品理念和對用戶的重要意義,以及如何以技術驅動創新,全方位保證該理念的落地實踐,做出優秀的新一代分布式資料庫,引發現場觀眾熱議。大勢所趨,新一代分布式資料庫如何定義?
  • 一款可能解放DBA的分布式資料庫RadonDB的體驗之旅
    女主宣言上上周收到吳炳錫老師和青雲QingCloud的邀請,參加了即將開源的基於MySQL的一款分布式資料庫RadonDB的技術交流會。由於本人對於各大公有雲廠商底層技術的實現比較感興趣,所以對此次技術交流會有一些心得並做了總結。
  • 易用、穩定、高效,萬裡資料庫開啟新一代分布式資料庫新紀元_快訊...
    萬裡資料庫聯合創始人林韶賓受邀於主會場發表《新一代分布式資料庫的產品理念和落地實踐》的演講,從整個資料庫行業的發展、國內分布式資料庫的技術演變出發,講述了萬裡資料庫「易用、穩定、高效」的產品理念和對用戶的重要意義,以及如何以技術驅動創新,全方位保證該理念的落地實踐,做出優秀的新一代分布式資料庫,引發現場觀眾熱議。大勢所趨,新一代分布式資料庫如何定義?
  • 非關係型資料庫(nosql)介紹
    非關係型資料庫也叫Nosql資料庫,全稱是not noly sql。 2009年初,Johan Oskarsson舉辦了一場關於開源分布式資料庫的討論,Eric Evans在這次討論中提出了NoSQL一詞,用於指代那些非關係型的,分布式的,且一般不保證遵循ACID原則的數據存儲系統。
  • 東方國信發布 新一代分布式分析型資料庫
    來源:貴陽日報本報訊 8月21日,在中國國際大數據產業博覽會組委會主辦的2020「數博發布」活動中,北京東方國信科技股份有限公司(以下稱「東方國信」)發布了一款自主研發的面向海量數據應用的新一代分布式分析型資料庫CirroData。
  • Oracle等關係型資料庫是否沒落了
    大家都在想Oracle這個商業巨頭都在裁員,說明關係型資料庫肯定是沒落了。其實這個問題,我之前讀研時學的是大數據分析,接觸分布式計算時,就想到這個問題了,但是那個時候沒有深入的去考慮這個問題。後來出來上班後發現,企業裡面的業務應用、數據倉庫、還是BI分析庫大部分使用Oracle或其它關係型資料庫去搭建的,那時候覺得存在即是合理。
  • 分布式關係型資料庫公司PingCAP完成5000萬美元C輪融資
    DoNews 9月12日消息(記者 向密) 新型分布式關係型資料庫公司PingCAP宣布完成5000萬美元C輪融資。本輪融資由復星、晨興資本領投,華創資本、雲啟資本、經緯中國等多家投資機構跟投,將主要用於技術研發和全球化生態系統建設。
  • 首發丨PingCAP獲5000萬美元C輪,破新型分布式關係型資料庫融資紀錄
    9月12日,分布式關係型資料庫公司PingCAP宣布獲得C輪5000萬美元融資,據悉這是目前新型分布式關係型資料庫領域的最大筆融資。本輪融資由復星、晨興資本領投,華創資本、雲啟資本、經緯中國等多家投資機構跟投,融資將主要用於技術研發和全球化生態建設。
  • 清華學生筆記:常見的關係型資料庫
    雖然非關係型資料庫的優點很多,但是由於其並不提供SQL支持、學習和使用成本較高並且無事務處理,所以本書的重點是關係型資料庫。下面我們將介紹一下常用的關係型資料庫管理系統。1)OracleOracle資料庫是由美國的甲骨文(Oracle)公司開發的世界上第一款支持SQL語言的關係型資料庫。
  • Memcache,Redis,MongoDB三種非關係型資料庫的對比
    一、MongoDB非關係型資料庫(nosql ),屬於文檔型資料庫。先解釋一下文檔的資料庫,即可以存放xml、json、bson類型系那個的數據。成熟度與廣泛度:新興資料庫,成熟度較低,Nosql資料庫中最為接近關係型資料庫,比較完善的DB之一,適用人群不斷在增長。優勢:快速!在適量級的內存的Mongodb的性能是非常迅速的,它將熱數據存儲在物理內存中,使得熱數據的讀寫變得十分快,高擴展!自身的Failover機制!json的存儲格式!
  • 分布式資料庫
    負責分布式資料庫的建立、查詢、更新、複製、管理和維護的軟體,稱為分布式資料庫管理系統(Distributed DataBase Management System, DDBMS)。分布式資料庫管理系統保證分布式資料庫中數據的物理分布對用戶的透明性。
  • 揭秘騰訊大數據十年發展歷程:從關係型資料庫到分布式機器學習
    據騰訊大數據負責人劉煜宏介紹,騰訊大數據從2009年開始, 經歷離線計算、實時計算與機器學習三個階段,2009年之前,騰訊主要使用傳統的關係型資料庫。2009年開始,傳統的單機資料庫所提供的服務,在系統可擴展性、性價比方面已不再適用騰訊業務爆發式的增長。面對這種變化,騰訊大數據轉向分布式,基於開源的Hadoop體系,構建了騰訊第一代大數據平臺,並建設離線計算平臺,主要發力規模化。騰訊大數據由此進入第一階段。三年裡,騰訊實現了從關係型資料庫到自建大數據平臺的全面遷移,到2012年,騰訊大數據的單集群規模突破了4400臺。
  • 一文搞定「關係型資料庫」與「非關係型資料庫」
    那個時期的關係型資料庫得到了較為廣泛的關注和應用,網站訪問量談不上什麼高並發、更別說什麼用戶體驗了,能玩得起就已經是完勝上億中國人了。然而,由於數據量級很大而且包含有大量的無規律的數據,而我們如果想要更好的利用這些數據,就要做好對數據的處理和存儲,如果還僅僅依賴關係型資料庫顯然是不太現實的,因此,非關係型資料庫(NoSQL)就應運而生了(好像所有技術都是這麼來的,技術誕生通常是為了要解決企業某些業務需求),先來看看什麼是非關係型資料庫
  • 大數據概念解析:分布式存儲與資料庫
    大數據技術當中,在海量數據的存儲環節,涉及到兩個重要的概念,就是分布式數據存儲與資料庫,穩定高效安全的數據存儲,才能為後續的計算分析環節,提供穩固的支持。今天的大數據概念解析,我們來講講分布式存儲與資料庫。
  • 大數據概念解析:分布式存儲與資料庫
    大數據技術當中,在海量數據的存儲環節,涉及到兩個重要的概念,就是分布式數據存儲與資料庫,穩定高效安全的數據存儲,才能為後續的計算分析環節,提供穩固的支持。今天的大數據概念解析,我們來講講分布式存儲與資料庫。進入大數據時代,數據特徵發生了明顯的變化,數據規模大、非結構化/半結構化的數據多,使得大數據存儲本身也需要克服很多的問題。
  • 分布式關係型資料庫公司 PingCAP 獲1500萬美元B輪融資,華創資本領...
    )北京】6月13日報導6月13日消息,全球分布式關係型資料庫廠商 PingCAP 宣布完成 1500 萬美元的 B 輪融資,由華創資本領投,經緯中國、雲啟資本、峰瑞資本、險峰長青等多家投資機構跟投。核心產品 TiDB 致力於解決資料庫領域一直以來存在的關係型資料庫水平擴展的世界級難題,是全球範圍內該領域目前極有核心技術競爭力的產品。
  • 大數據常見問題,HBase vs 傳統關係型資料庫
    HBase是一種面向列的資料庫,它常常會被拿來和傳統的關係型資料庫(RDBMS)進行比較。兩者在實現和設計上的出發點差別很大,下面小鳥就客觀的講一講兩者的區別。一、存儲的量級在傳統的關係型資料庫中,隨著數據量的增大,查詢速度會越來越慢,一張有上百個欄位的數據表在有千萬級別的數據量時,響應速度會變的非常緩慢。而HBase是一個分布式的數據存儲系統,他的建立是基於HDFS的。其設計的初衷就是為了解決傳統關係型資料庫在處理海量數據時,速度太慢的問題。