騰訊Tendis 正式開源:企業級分布式高性能 KV 存儲資料庫

2020-12-25 IT之家

IT之家12月22日消息 近期,騰訊宣布企業級分布式高性能 KV 存儲資料庫 Tendis 正式開源。

IT之家獲悉,Tendis 是騰訊互娛 CROS DBA 團隊 & 騰訊雲資料庫團隊自主設計和研發的分布式高性能 KV 存儲資料庫,兼容 Redis 核心數據結構與接口,可提供大容量、低成本、強持久化的資料庫能力,適用於兼容 Redis 協議、需要大容量且較高訪問性能的溫冷數據存儲場景。Tendis 目前已經被應用到騰訊內、外部大型項目中。

集群架構

Tendis 使用去中心化集群架構,每個數據節點都擁有全部的路由信息,用戶可以訪問集群中的任意節點,並且通過 redis 的 move 協議,最終路由到正確的節點。

每個 Tendis 節點維護各自的 slot 數據,任意兩個 master 節點之間的 slot 不重複,master 節點之間支持基於 slot 的數據搬遷,主備節點之間通過 binlog 實現數據複製。

所有節點之間通過 gossip 協議進行通訊,類似於 redis cluster 的分布式實現,所有節點通過 gossip 協議通訊,可指定 hashtag 來控制數據分布和訪問,使用和運維成本極低。

適用場景

兼容 Redis 協議,需要大容量且較高訪問性能的溫冷數據存儲場景適合成本為主要考慮因素,業務數據有高持久化要求的業務場景解決原生 Redis 固有的 fork 問題而預留部分內存問題主要特性

兼容 Redis 協議

完全兼容 redis 協議,支持 redis 主要數據結構和接口,兼容大部分原生 Redis 命令。持久化存儲

使用 rocksdb 作為存儲引擎,所有數據以特定格式存儲在 rocksdb 中,最大支持 PB 級存儲。去中心化架構

類似於 redis cluster 的分布式實現,所有節點通過 gossip 協議通訊,可指定 hashtag 來控制數據分布和訪問,使用和運維成本極低。水平擴展

集群支持增刪節點,並且數據可以按照 slot 在任意兩節點之間遷移,擴容和縮容過程中對應用運維人員透明,支持擴展至 1000 個節點。故障自動切換

自動檢測故障節點,當故障發生後,slave 會自動提升為 master 繼續對外提供服務。Tendis 冷熱混合存儲關鍵組件

得益於 Tendis 存版的設計和內部優化,Redis 和 Tendis 存儲版可以一起工作成為 Tendis 冷熱混合存儲。混合存儲區非常適用於 KV 存儲場景,並平衡了性能和成本。對於 redis 佔用大量存儲空間的冷數據降冷後可以最多減少 80% 的成本,同時保證了熱數據在 redis 的訪問性能。項目規劃

持續完善對 Redis 的兼容性,包括支持 LUA 等命令進一步提升 Tendis 的性能,減少 rocksdb 本身的性能抖動問題。探索更多軟硬結合方案,基於新硬體特性,發揮更大的資料庫性能。支持異構數據互通能力,降低異構資料庫的遷移成本運維管理能力全面提升,PaaS 能力持續增強Tendis 目前已在騰訊內外部包括遊戲、視頻、社交、電商等多個行業提供資料庫支撐。

https://github.com/Tencent/Tendis

歡迎提出你的 issue 和 PR!

國內鏡像地址:

https://git.code.tencent.com/Tencent_Open_Source/Tendis

相關焦點

  • 騰訊開源分布式存儲系統 Tendis,可完全兼容 Redis
    近日,騰訊宣布開源一個與 Redis 協議完全兼容的高性能分布式存儲系統 Tendis。
  • 淵亭科技圖資料庫DataExa-Seraph:萬億級分布式存儲,毫秒級查詢
    資料庫作為組織、存儲和管理數據的倉庫,是挖掘數據價值的基礎和關鍵。隨著社交、電商、金融等行業的快速發展,現實社會織起了了一張龐大而複雜的關係網,但傳統資料庫很難處理關係運算。圖資料庫的獨特設計恰恰彌補了這個缺陷。
  • 騰訊大數據團隊主導開發,新一代分布式對象存儲Ozone從Apache基金...
    剛剛獲悉,Apache基金董事會通過一致表決,正式批准分布式文件對象存儲Ozone從Hadoop社區孵化成功,成為獨立的Apache頂級開源項目。這意味著,作為騰訊大數據團隊首個參與和主導的開源項目,Ozone已得到全球Apache技術專家的一致認可,成為世界頂級的存儲開源項目之一。
  • 分布式對象存儲Ozone從Apache基金會畢業,正式成為Apache頂級項目
    剛剛獲悉,Apache基金董事會通過一致表決,正式批准分布式文件對象存儲Ozone從Hadoop社區孵化成功,成為獨立的Apache頂級開源項目。這意味著,作為騰訊大數據團隊首個參與和主導的開源項目,Ozone已得到全球Apache技術專家的一致認可,成為世界頂級的存儲開源項目之一。
  • 騰訊雲資料庫品牌整合升級,三大產品線集中發力資料庫技術創新突破
    【獵雲網北京】12月25日報導近日,騰訊雲正式宣布其資料庫品牌TDSQL的全新戰略升級計劃及未來發展戰略。未來,騰訊雲原有的TDSQL、TBase、CynosDB三大產品線將統一升級為「騰訊雲企業級分布式資料庫TDSQL」。
  • 五年打磨 金山雲分布式資料庫DragonBase助力金融行業
    近年來,隨著金融業務的快速發展,基於海量數據的高並發實時交易,在保障安全可靠的基礎上要求資料庫具備彈性擴展和高可用能力,推動傳統集中式關係型資料庫向分布式的雲資料庫遷移。同時在業務和數據遷移到分布式資料庫的過程中也面臨著諸多挑戰,更穩定、更高性能、更安全的資料庫成為企業客戶關注的重點。
  • 青雲科技自研分布式存儲全線升級 挖掘數字時代潛力
    QingStor是青雲QingCloud(qingcloud.com)企業級分布式存儲產品線品牌,包括NeonSAN、對象存儲、文件存儲和融合存儲四款產品。自主設計研發應對企業級存儲市場變遷作為企業數位化轉型的基礎,企業級存儲一直是業界關注的焦點。過去10年,企業級存儲市場發生了深刻變化,QingStor存儲產品線研發負責人王煜認為,主要呈現兩大發展趨勢:一是分布式存儲正在經歷快速增長時期。
  • 騰訊雲TBase同時斬獲PG中國2020兩項獎項
    最近,開源技術盛會PostgresConf.CN & PGconf.Asia2020大會(簡稱2020 pg亞洲大會)在網上成功舉行,並在今年的PG亞洲大會的主要論壇上正式宣布了2020年的7個「第二屆PG中國技術評選」獎
  • Hadoop開源社區正式支持騰訊雲對象存儲COS
    8月4日消息,知名大數據開源社區Hadoop近日宣布對騰訊雲對象存儲COS的正式支持。後續,開發者在基於Hadoop架構進行大數據分析時,能夠在不修改代碼的情況下,無縫高效地使用騰訊雲COS來處理海量數據的讀寫任務。這標誌著騰訊雲對象存儲技術受到了全球最主流大數據開源社區的認可。
  • 騰訊雲大數據團隊:認真做開源的人,眼裡有光
    去年 11 月,騰訊除了 Kona JDK 外同期宣布開源的項目還有另外三個,分別是分布式消息中間件 TubeMQ、分布式 HTAP 資料庫 TBase 以及企業級 K8s 發行版 TKEStack 。
  • 架構革新 高效可控 2020中國資料庫技術大會盛大召開
    盛拓傳媒董事長 高穎睿  各種資料庫產品千千萬,功能品種繁多,讓用戶看花了眼,究竟哪個路線才是正確的路線?到底採用商業的分布式資料庫產品還是基於開源方案自研一套資料庫平臺?  李飛飛:企業級雲原生分布式資料庫與數據倉庫系統的挑戰和機遇  第二位為我們帶來分享的是來自阿里巴巴集團副總裁,阿里雲智能資料庫事業部總負責人,ACM傑出科學家,達摩院資料庫與存儲實驗室負責人李飛飛。  據李飛飛介紹,在雲計算時代,雲原生分布式資料庫開始崛起,提供彈性擴展、高可用、分布式等特性。
  • 騰訊雲TBase同時斬獲PG中國2020年度技術評選三項大獎!
    近日,開源技術盛會PostgresConf.CN & PGconf.Asia2020大會(簡稱2020 PG亞洲大會)通過線上順利召開,同時2020年度「第二屆PG中國技術評選」七個獎項在今年PG亞洲大會主論壇上正式揭曉,以展現國內對PG產業和技術發展起重大推動與貢獻作用的企業
  • 分布式對象存儲系統 Ozone 孵化成功,晉升為 ASF 頂級項目
    來自騰訊開源的消息稱,分布式文件對象存儲 Ozone 從 Hadoop 社區孵化成功,晉升為 Apache 基金會頂級項目。
  • 全閃分布式存儲深入企業核心業務,QingStor NeonSAN強勢增長
    另外,分布式軟體定義存儲依託其開放的生態,可與分布式應用、大數據、容器、AI等技術架構平滑對接,是雲平臺的理想拍檔。馮相東表示,全快閃記憶體時代已經來臨,現在存儲硬體市場的增長主要是SSD拉動的。全快閃記憶體的高性能、低延遲,以及單盤容量上的增加,完全可以取代機械式硬碟,成為企業關鍵業務最可信賴的存儲支撐。
  • 青雲科技分布式存儲家族全線升級!自主研發實現彎道超車
    9月2日,青雲QingCloud (qingcloud.com)分布式存儲產品——QingStor宣布全線升級。QingStor是青雲QingCloud自主設計和研發的存儲產品,包括NeonSAN(分布式塊存儲)、對象存儲、文件存儲和融合存儲四款產品,經過公有雲和私有雲的大規模驗證,與Ceph開源產品相比具有明顯優勢。
  • LinuxONE+分布式資料庫 黃金組合帶來完美分布式體驗
    因為在分布式環境中,由於節點之間的通信容易出現問題,為了擴展性,往往不得不犧牲一致性。此外,對於資料庫的設計通常要遵循的四大特性(原子性、一致性、隔離性與持久性),分布式資料庫也難以兼顧,要嚴格執行,就要在執行性能上花費很大的代價。  後來出現的BASE理論提供了一種解題思路,但也沒有從根本上解決一致性問題。
  • 淵亭分布式圖資料庫DataExa-Seraph測評性能遠超JanusGraph!
    此次參與對比測評的是淵亭科技自主研發的分布式圖資料庫DataExa-Seraph,以及開源的分布式圖資料庫JanusGraph。淵亭DataExa-Seraph界面01 綜合測試結果JanusGraph 作為一款開源的分布式圖資料庫系統,在性能和功能上都有不錯的表現,
  • Apache基金會宣布騰訊大數據團隊主導的Ozone成為頂級開源項目
    【天極網IT新聞頻道】剛剛獲悉,Apache基金董事會通過一致表決,正式批准分布式文件對象存儲Ozone從Hadoop社區孵化成功,成為獨立的Apache頂級開源項目。這意味著,作為騰訊大數據團隊首個參與和主導的開源項目,Ozone已得到全球Apache技術專家的一致認可,成為世界頂級的存儲開源項目之一。
  • 超大規模圖資料庫 Nebula Graph V1.0 發布,為數據分析處理提速
    杭州2020年6月9日 /美通社/ -- Nebula Graph V1.0 於6月9日正式發布,它採用 shared-nothing 分布式架構,擅長處理千億節點萬億條邊的海量關聯數據集,從而更好地服務企業級應用。
  • 青雲科技分布式存儲全線升級,容量、性能飆升,100%自研
    八年鍛造的QingStor分布式存儲家族毋庸置疑的是,近十年來,伴隨著移動網際網路、雲計算、大數據、5G、人工智慧等技術的發展,企業級存儲市場正發生著深刻變革。首先自然是分布式存儲的快速增長。如今企業內部分布式存儲部署的佔比越來越高,某些企業分布式存儲的部署佔比甚至超過了傳統存儲。