騰訊開源分布式存儲系統 Tendis,可完全兼容 Redis

2020-12-23 開源中國

近日，騰訊宣布開源一個與 Redis 協議完全兼容的高性能分布式存儲系統 Tendis。

據悉，Tendis 是騰訊互娛 CROS DBA 團隊 & 騰訊雲資料庫團隊自主設計和研發的分布式高性能 KV 存儲資料庫，兼容 Redis 核心數據結構與接口，可提供大容量、低成本、強持久化的資料庫能力，適用於兼容 Redis 協議、需要大容量且較高訪問性能的溫冷數據存儲場景。Tendis 目前已經被應用到騰訊內、外部大型項目中。

據項目官方文檔介紹，Tendis 的主要特性包括：

  • 兼容 Redis 協議。完全兼容 redis 協議，支持 redis 主要數據結構和接口，兼容大部分原生Redis命令。
  • 持久化存儲。使用 rocksdb 作為存儲引擎，所有數據以特定格式存儲在 rocksdb 中，最大支持 PB 級存儲。
  • 去中心化架構。類似於 redis cluster 的分布式實現，所有節點通過 gossip 協議通訊，可指定 hashtag 來控制數據分布和訪問，使用和運維成本極低。
  • 水平擴展。集群支持增刪節點，並且數據可以按照 slot 在任意兩節點之間遷移，擴容和縮容過程中對應用運維人員透明，支持擴展至 1000 個節點。
  • 故障自動切換。自動檢測故障節點，當故障發生後，slave 會自動提升為 master 繼續對外提供服務。
  • Tendis冷熱混合存儲關鍵組件。得益於 Tendis 存版的設計和內部優化，Redis 和 Tendis 存儲版可以一起工作成為 Tendis 冷熱混合存儲。混合存儲區非常適用於 KV 存儲場景，並平衡了性能和成本。對於 redis 佔用大量存儲空間的冷數據降冷後可以最多減少 80% 的成本，同時保證了熱數據在 redis 的訪問性能。 

據悉，項目團隊下一步規劃是將持續完善對 Redis 的兼容性，包括支持 LUA 等命令，同時進一步提升 Tendis 的性能，包括減少 rocksdb 本身的性能抖動問題，探索更多軟硬結合方案，基於新硬體特性發揮更大的資料庫性能，支持異構數據互通能力等。

Tendis 官網地址：http://tendis.cn/#/

相關焦點

  • 騰訊Tendis 正式開源:企業級分布式高性能 KV 存儲資料庫
    IT之家12月22日消息 近期，騰訊宣布企業級分布式高性能 KV 存儲資料庫 Tendis 正式開源。IT之家獲悉，Tendis 是騰訊互娛 CROS DBA 團隊 & 騰訊雲資料庫團隊自主設計和研發的分布式高性能 KV 存儲資料庫，兼容 Redis 核心數據結構與接口，可提供大容量、低成本、強持久化的資料庫能力，適用於兼容 Redis 協議、需要大容量且較高訪問性能的溫冷數據存儲場景。Tendis 目前已經被應用到騰訊內、外部大型項目中。
  • 騰訊大數據團隊主導開發,新一代分布式對象存儲Ozone從Apache基金...
    剛剛獲悉，Apache基金董事會通過一致表決，正式批准分布式文件對象存儲Ozone從Hadoop社區孵化成功，成為獨立的Apache頂級開源項目。這意味著，作為騰訊大數據團隊首個參與和主導的開源項目，Ozone已得到全球Apache技術專家的一致認可，成為世界頂級的存儲開源項目之一。
  • 分布式對象存儲系統 Ozone 孵化成功,晉升為 ASF 頂級項目
    來自騰訊開源的消息稱，分布式文件對象存儲 Ozone 從 Hadoop 社區孵化成功，晉升為 Apache 基金會頂級項目。
  • 分布式對象存儲Ozone從Apache基金會畢業,正式成為Apache頂級項目
    剛剛獲悉，Apache基金董事會通過一致表決，正式批准分布式文件對象存儲Ozone從Hadoop社區孵化成功，成為獨立的Apache頂級開源項目。這意味著，作為騰訊大數據團隊首個參與和主導的開源項目，Ozone已得到全球Apache技術專家的一致認可，成為世界頂級的存儲開源項目之一。
  • 京東丁俊:京東分布式K-V存儲設計與挑戰
    【IT168 評論】大多數企業夢寐以求的存儲系統是什麼樣的呢?當圖片、文章甚至視頻需要存儲時，你希望既不丟失還要提供高速讀寫的能力;當磁碟壞了，你的數據依然還在;當用戶訪問量成倍增長，讀寫能力依然保持高速。當大促來臨，用戶體驗依然無差。
  • Apache基金會宣布騰訊大數據團隊主導的Ozone成為頂級開源項目
    【天極網IT新聞頻道】剛剛獲悉，Apache基金董事會通過一致表決，正式批准分布式文件對象存儲Ozone從Hadoop社區孵化成功，成為獨立的Apache頂級開源項目。這意味著，作為騰訊大數據團隊首個參與和主導的開源項目，Ozone已得到全球Apache技術專家的一致認可，成為世界頂級的存儲開源項目之一。
  • 八年鍛造,為雲而生,QingStor 分布式存儲全線升級
    作為混合雲先行者和領導者，青雲QingCloud旗下QingStor分布式存儲產品從架構設計到產品開發，完全採用100%自主設計、自主研發，從零開始構建而成。這和當下國內的分布式廠商中，基於開源的分布式存儲作為底層進行二次封裝和二次開發的做法存在本質差異。
  • 分布式鎖解決方案-Redis
    ## 為什麼要學習分布式鎖解決方案為了解決分布式架構帶來的數據準確性問題！我們用synchronized或者 ReentrantLock（瑞恩吹特） 能解決問題嗎？真實生產環境我們採用集群的方式去訪問秒殺商品（nginx為我們做了負載均衡）。
  • 雲端共享文件系統 JuiceFS 在 2021 年選擇開源
    今天，雲原生分布式文件系統官方公眾號 Juicedata果汁數據科技發布消息稱 JuiceFS 已經開源了！開源地址：www.github.com/juicedata/juicefsJuiceFS 是什麼JuiceFS是基於Redis和對象存儲（例如Amazon S3）構建的開源POSIX文件系統，針對雲本機環境進行了設計和優化。通過使用廣泛採用的Redis和S3作為持久性存儲，JuiceFS可以用作無狀態中間件，以使許多應用程式輕鬆共享數據。
  • 架構師視角|分布式緩存如何選擇?
    分布式緩存：各緩存系統。1.2 分布式緩存本文主要探討各分布式緩存系統，如圖 1-1 所示，列出了五種：其中 EvCache 和 Aerospike 使用場景不是那麼通用和廣泛。Aerospike：是可基於 SSD 的 KV NoSQL 資料庫。除此之外，還有三種常見緩存系統。 Tair：阿里開源，跨機房、性能隨結點添加線性上升、適用大數據量。Tair 還有三種引擎。
  • 解讀JIMDB 京東分布式緩存與高速KV存儲
    例如，針對電商業務中海量小文件、大文件等數據分布式存儲與管理的實際需求，京東從2013年7月開始著手自主研發分布式文件系統JFS，以及分布式的緩存與高速鍵值存儲服務JIMDB，目前已經取得了階段性的成果。　　尋根問源：什麼是JIMDB?
  • 騰訊雲聯合英特爾 美團等公布SuperEdge邊緣容器開源項目
    [PConline資訊]12月19日消息，今日下午，在2020年騰訊Techo Park開發者大會上，騰訊雲聯合英特爾、VMware威睿、虎牙、寒武紀、美團、首都在線，共同發布SuperEdge邊緣容器開源項目。
  • 金融企業選擇與應用分布式資料庫的7個核心問題
    多種技術棧卡位競爭：分布式技術目前發展的方向是，技術棧有兼容MySQL的，也有兼容Oracle的，也有兼容PG的，各技術棧現在互相卡位，在國內的廠商之間，幾乎每個廠商都跟著一條線。
  • 區塊鏈分布式存儲大本營Protocol Labs 協議實驗室
    我們構建協議、系統和工具來改進它的工作方式。今天，我們關注的是如何存儲、定位和傳輸信息。協議實驗室的工作：協議實驗室是一個網絡協議的研究、開發和部署實驗室。我們創建軟體系統來應對重大挑戰。我們的目標是通過新的技術突破、出色的用戶體驗設計和開源的創作方法來解決這些問題。協議實驗室的精神—開源：我們都從開源中獲益良多，它無處不在。
  • 騰訊雲聯合六家發起單位,共同發布 SuperEdge 邊緣容器開源項目
    今天下午，在2020年騰訊 Techo Park 開發者大會上，騰訊雲聯合英特爾、VMware威睿、虎牙、寒武紀、美團、首都在線，共同發布 SuperEdge 邊緣容器開源項目。該系統把雲原生能力擴展到邊緣側，很好的實現了雲端對邊緣端的管理和控制，極大簡化了應用從雲端部署到邊緣端的過程。SuperEdge 為應用實現邊緣原生化提供了強有力的支持。　　SuperEdge 是騰訊雲牽頭社區多家廠商共同發起的一個的開源項目。此次發布，騰訊雲將開源邊緣容器產品 TKE Edge 中邊緣相關的原始碼，並貢獻到 SuperEdge 開源項目中。
  • IPFS分布式存儲的落地應用
    IPFS是對等內容可尋址文件系統，其固有地允許重複數據刪除並促進選擇複製。ipwb在將WARC響應記錄的標頭和有效負載分散到IPFS之前，以利用重複數據消除功能，使用返回的IPFS哈希的引用構建CDXJ索引，並在重播時將IPFS的標頭和有效負載合併。
  • 分布式資料庫比集中式資料庫的優勢在哪裡?
    更強的可擴展性：分布式資料庫可以通過增添存儲節點來實現存儲容量的線性擴展，而集中式資料庫的可擴展性十分有限。更高的並發訪問量：分布式資料庫由於道採用多臺主機組成存儲集群，所以相對集中式資料庫，它可以提供更高的用戶並發訪問量。更適合分布式的管理與控制。
  • SmartX 聯合華為發布兼容華為 Taishan 伺服器的分布式塊存儲解決...
    領先的超融合與分布式塊存儲產品提供商SmartX(北京志凌海納科技有限公司)宣布,其分布式塊存儲軟體平臺SMTX ZBS已經完成與華為Taishan伺服器的兼容性測試與聯合認證,雙方共同發布了分布式塊存儲解決方案。
  • 大數據分析中Spark,Hadoop,Hive框架該用哪種開源分布式系統
    打開APP 大數據分析中Spark，Hadoop，Hive框架該用哪種開源分布式系統 算法與數據結構 發表於 2020-09-17 13:17:00
  • 騰訊開源又一裡程碑:Apache TubeMQ迎來全面升級
    近日， 騰訊 Techo Park 開發者大會開源專場在京舉辦，騰訊開源辦公室執行總監許勇、Apache TubeMQ 項目負責人薛趙明、優品科技CTO兼TARS開源框架核心維護者阮曙東、意法半導體亞太區MCU策略部總監陳德勇四位嘉賓分享了騰訊開源治理實踐和開源協同的戰略，以及騰訊開源生態合作的最佳實踐。