騰訊宣布企業級分布式高性能KV存儲資料庫Tendis正式開源

2020-12-25 華強北電腦網

  12月22日消息 近期,騰訊宣布企業級分布式高性能 KV 存儲資料庫 Tendis 正式開源。

  Tendis 是騰訊互娛 CROS DBA 團隊 & 騰訊雲資料庫團隊自主設計和研發的分布式高性能 KV 存儲資料庫,兼容 Redis 核心數據結構與接口,可提供大容量、低成本、強持久化的資料庫能力,適用於兼容 Redis 協議、需要大容量且較高訪問性能的溫冷數據存儲場景。Tendis 目前已經被應用到騰訊內、外部大型項目中。

  集群架構

  Tendis 使用去中心化集群架構,每個數據節點都擁有全部的路由信息,用戶可以訪問集群中的任意節點,並且通過 redis 的 move 協議,最終路由到正確的節點。

  每個 Tendis 節點維護各自的 slot 數據,任意兩個 master 節點之間的 slot 不重複,master 節點之間支持基於 slot 的數據搬遷,主備節點之間通過 binlog 實現數據複製。

  所有節點之間通過 gossip 協議進行通訊,類似於 redis cluster 的分布式實現,所有節點通過 gossip 協議通訊,可指定 hashtag 來控制數據分布和訪問,使用和運維成本極低。

  適用場景

  兼容 Redis 協議,需要大容量且較高訪問性能的溫冷數據存儲場景

  適合成本為主要考慮因素,業務數據有高持久化要求的業務場景

  解決原生 Redis 固有的 fork 問題而預留部分內存問題

  主要特性

  兼容 Redis 協議

  完全兼容 redis 協議,支持 redis 主要數據結構和接口,兼容大部分原生 Redis 命令。

  持久化存儲

  使用 rocksdb 作為存儲引擎,所有數據以特定格式存儲在 rocksdb 中,最大支持 PB 級存儲。

  去中心化架構

  類似於 redis cluster 的分布式實現,所有節點通過 gossip 協議通訊,可指定 hashtag 來控制數據分布和訪問,使用和運維成本極低。

  水平擴展

  集群支持增刪節點,並且數據可以按照 slot 在任意兩節點之間遷移,擴容和縮容過程中對應用運維人員透明,支持擴展至 1000 個節點。

  故障自動切換

  自動檢測故障節點,當故障發生後,slave 會自動提升為 master 繼續對外提供服務。

  Tendis 冷熱混合存儲關鍵組件

  得益於 Tendis 存版的設計和內部優化,Redis 和 Tendis 存儲版可以一起工作成為 Tendis 冷熱混合存儲。混合存儲區非常適用於 KV 存儲場景,並平衡了性能和成本。對於 redis 佔用大量存儲空間的冷數據降冷後可以最多減少 80% 的成本,同時保證了熱數據在 redis 的訪問性能。

  項目規劃

  持續完善對 Redis 的兼容性,包括支持 LUA 等命令

  進一步提升 Tendis 的性能,減少 rocksdb 本身的性能抖動問題。

  探索更多軟硬結合方案,基於新硬體特性,發揮更大的資料庫性能。

  支持異構數據互通能力,降低異構資料庫的遷移成本

  運維管理能力全面提升,PaaS 能力持續增強

  Tendis 目前已在騰訊內外部包括遊戲、視頻、社交、電商等多個行業提供資料庫支撐。

(責任編輯:夏蓉)

相關焦點

  • 企業級分布式高性能KV存儲資料庫,騰訊Tendis正式開源
    12月22日消息,騰訊宣布其企業級分布式高性能KV存儲資料庫Tendis開源。消息稱,Tendis是由騰訊互娛CROS DBA團隊和騰訊雲資料庫團隊自主設計和研發的分布式高性能KV存儲資料庫。
  • 騰訊開源分布式存儲系統 Tendis,可完全兼容 Redis
    近日,騰訊宣布開源一個與 Redis 協議完全兼容的高性能分布式存儲系統 Tendis。
  • 騰訊雲重磅新品CynosDB Serverless、Tendis發布 領銜國產資料庫...
    其中,Tendis正式開源並推出「Tendis開發者扶持計劃」,以期惠及開發者和企業,並聯合他們共推資料庫技術發展。隨著雲計算的迅速發展和廣泛應用,資料庫正朝著「雲+資料庫」的方向演進。正如Gartner預測,到2023年全球3/4的資料庫都會跑在雲上。同時,在國內新基建的時代背景下,安全可控成為不少企業數位化轉型的一大訴求,資料庫國產化也成為行業發展趨向。
  • 開源分布式圖資料庫研發商歐若數網獲近千萬美元PreA+輪融資
    11月16日消息,近日,新一代自主研發的開源分布式圖資料庫 Nebula Graph 研發商——杭州歐若數網科技有限公司(以下簡稱「歐若數網」)完成近千萬美元 Pre-A+ 輪融資。本輪融資由源碼資本領投,前兩輪分別領投的經緯中國和紅點創投 中國基金本輪繼續跟投。
  • 歐若數網完成近千萬美元Pre-A+融資,打造開源分布式圖資料庫
    【獵雲網北京】11月16日報導獵雲網近日獲悉,新一代自主研發的開源分布式圖資料庫Nebula Graph研發商歐若數網完成近千萬美元Pre-A+融資,由源碼資本領投,前兩輪分別領投的經緯中國和紅點創投中國基金本輪繼續跟投
  • 青雲科技自研分布式存儲全線升級 挖掘數字時代潛力
    QingStor是青雲QingCloud(qingcloud.com)企業級分布式存儲產品線品牌,包括NeonSAN、對象存儲、文件存儲和融合存儲四款產品。自主設計研發應對企業級存儲市場變遷作為企業數位化轉型的基礎,企業級存儲一直是業界關注的焦點。過去10年,企業級存儲市場發生了深刻變化,QingStor存儲產品線研發負責人王煜認為,主要呈現兩大發展趨勢:一是分布式存儲正在經歷快速增長時期。
  • 企業級開源分布式資料庫廠商「PingCAP」完成D輪2.7億美元融資...
    ,「PingCAP」完成D輪2.7億美元融資企業級開源分布式資料庫廠商「PingCAP」 宣布完成2.7億美元的D輪融資,刷新全球資料庫歷史。據悉,本輪融資將用於分布式資料庫關鍵核心技術的研發,完善解決方案和專業服務支持體系,並且持續加大開源社區生態體系建設,進一步覆蓋全球市場。PingCAP成立於 2015 年,是一家企業級開源分布式資料庫廠商,提供包括開源分布式資料庫產品、解決方案與諮詢、技術支持與培訓認證服務。
  • 騰訊雲原有三大產品線將統一升級,打通多資料庫引擎兼併需求
    > 12月24日,騰訊雲正式宣布其資料庫品牌TDSQL的全新戰略升級計劃及未來發展戰略。未來,騰訊雲原有的TDSQL、TBase、CynosDB三大產品線將統一升級為「騰訊雲企業級分布式資料庫TDSQL」。全新升級後的騰訊雲TDSQL將涵蓋分布式、分析型、雲原生等多引擎融合的完整資料庫產品體系。
  • 「青」心打造 為「雲」而生 青雲科技分布式存儲全線升級
    為雲設計 為雲而生  從2012年青雲QingCloud推出第一個版本的雲計算產品開始,就在存儲的底層堅持100%自研,QingStor全線產品都是從零開始,自主設計、自主研發。與國內眾多廠商基於開源的分布式存儲作為底層進行二次封裝和二次開發,QingStor從架構設計階段就與之有本質的不同。
  • 青雲科技分布式存儲全線升級,容量、性能飆升,100%自研
    八年鍛造的QingStor分布式存儲家族毋庸置疑的是,近十年來,伴隨著移動網際網路、雲計算、大數據、5G、人工智慧等技術的發展,企業級存儲市場正發生著深刻變革。首先自然是分布式存儲的快速增長。如今企業內部分布式存儲部署的佔比越來越高,某些企業分布式存儲的部署佔比甚至超過了傳統存儲。
  • 騰訊雲合併原有三大產品線 將資料庫品牌升級為TDSQL
    騰訊雲正式宣布將TDSQL、TBase、CynosDB三大產品線統一合併,升級為騰訊雲分布式資料庫TDSQL,並發布其全新戰略計劃和未來發展戰略。  全新升級後的騰訊雲TDSQL將涵蓋分布式、分析型、雲原生等多引擎融合的完整資料庫產品體系。
  • 騰訊雲資料庫戰略升級 成立扶持基金
    據介紹,騰訊雲原有的TDSQL、TBase、CynosDB三大產品線將統一升級為「騰訊雲企業級分布式資料庫TDSQL」。全新升級後的騰訊雲TDSQL將涵蓋分布式、分析型、雲原生等多引擎融合的完整資料庫產品體系。
  • 騰訊開源又一裡程碑:Apache TubeMQ迎來全面升級
    近日, 騰訊 Techo Park 開發者大會開源專場在京舉辦,騰訊開源辦公室執行總監許勇、Apache TubeMQ 項目負責人薛趙明、優品科技CTO兼TARS開源框架核心維護者阮曙東、意法半導體亞太區MCU策略部總監陳德勇四位嘉賓分享了騰訊開源治理實踐和開源協同的戰略,以及騰訊開源生態合作的最佳實踐。
  • 圖資料庫的類別有哪些?數易軒解讀:圖資料庫分類與原理
    1 存儲方式維度原生(Native)圖存儲:數據存儲模式專門為存儲和處理圖而設計優化,可支持各類圖算法的快速遍歷。非原生(Non-Native)圖存儲:採用關係資料庫、面向對象資料庫或其它通用數據存儲策略存儲數據,未專門優化存儲方式。
  • DTCC2020阿里雲李飛飛:雲原生分布式資料庫與數據倉庫系統點亮數據...
    趨勢二:雲計算加速資料庫系統演進關鍵詞:商業起步 - 開源 - 分析 - 異構NoSQL - 雲原生、一體化分布式、多模、HTAP完美的Partition Sharing是不存在的,這些是分布式業務需要解決的核心挑戰,以及在這個架構需要做到的高一致性保障。雲原生的架構,本質上底下是分布式共享存儲,上面是分布式共享計算池,中間來做計算存儲解耦,這樣可以非常好地提供彈性高可用的能力,做到分布式技術集中式部署,對應用透明。
  • 互認證|杉巖存儲系統與寶德自強伺服器完成兼容性互認證測試
    近日,寶德自強系列伺服器與杉巖分布式存儲系統正式完成互認證測試。測試結果顯示,雙方產品兼容性良好、整體運行流暢且性能表現優異,可滿足用戶安全性、可靠性及關鍵性應用需求。
  • Oracle Sharding: 雲端分布式關係型資料庫
    Oracle資料庫從12.2版本開始引入Sharding(分片)特性,集成了NoSQL和成熟的關係型資料庫的優勢,到如今已經經過多個版本迭代成為一整套成熟的分布式關係型資料庫解決方案。Oracle Sharding可以讓用戶將數據分布和複製到一組Oracle資料庫集群中,集群中的資料庫只需要網絡連接,不需要共享軟體和硬體。
  • 尹博學:百度分布式資料庫實踐與挑戰
    【IT168 技術】2012資料庫技術大會於4月13日在北京永泰朋福.喜來登酒店隆重召開。本次大會已經是IT168、ITPUB、IXPUB、ChinaUnix聯合主辦的第三屆資料庫技術會議。大會將針對大數據架構設計、資料庫安全、分布式資料庫、商業智能、NoSQL、Hadoop等多個重點話題進行深入探討。
  • 國產資料庫行業引領者 CirroData亮相第十一屆中國資料庫技術大會
    會議以「架構革新,高效可控」為主題,邀請了國內資料庫領域的頂級專家圍繞數據架構、AI與大數據、傳統企業資料庫實踐和國產開源資料庫等內容展開分享和討論。東方國信CirroData資料庫受邀在會上發表題為《金融行業企業級數據架構變革規劃及落地實踐》的演講,並接受記者採訪。會議首日,東方國信金融事業部技術總監陳志剛發表演講。