時序資料庫連載系列:時序資料庫那些事

2021-12-25 阿里云云棲號

AWS Timestream

2018.11 Amazon在AWS re Invent大會發布Timestream預覽版。適用於 IoT 和運營應用程式等場景。
提供自適應查詢處理引擎快速地分析數據,自動對數據進行匯總、保留、分層和壓縮處理。按照寫入流量,存儲空間,查詢數據量的方式計費,以serverless的形式做到最低成本管理。

Azure Series Insights

2017.4 Microsoft發布時序見解預覽版,提供的完全託管、端到端的存儲和查詢高度情景化loT時序數據解決方案。強大的可視化效果用於基於資產的數據見解和豐富的交互式臨時數據分析。
此外,針對數據類型分為暖數據分析和原始數據分析,按照存儲空間和查詢量分別計費。

OpenTSDB
OpenTSDB是一個分布式的、可伸縮的時間序列資料庫. 引入metric,tags等概念設計了一套針對時序場景的數據模型,底層採用HBase作為存儲,利用時序場景的特性,採用特殊的rowkey方式,來提高時序的聚合和查詢能力。

Prometheus
Prometheus會將所有採集到的樣本數據以時間序列(time-series)的方式保存在內存資料庫中,並且定時保存到硬碟上。需要遠端存儲來保證可靠和擴展性。

InfluxDB
InfluxDB是單機開源的時序資料庫,由Go語言編寫,無需特殊的環境依賴,簡單方便。採用獨有的TSMT結構實現高性能的讀寫。分布式需要商業化支持。

Timescale
面向SQL生態的時序資料庫,固定Schema,底層基於PG,按時間管理chunk table。

BTrDB
BtrDB面向高精度時序數據的存儲應用,設計並提出了 "time-partitioning version-annotated copy-on-write tree" 的數據結構,為每一條時間線構建了一棵樹,並且引入版本的概念處理數據的亂序場景

Confluo
Confluo設計了新型的數據結構」Atomic MultiLog「,採用現代CPU硬體支持的原子指令集,支持百萬級數據點高並發寫入,毫秒級在線查詢,佔用很少的的CPU資源實現即席查詢

Chronixdb
ChronixDB基於Solr提供了時序存儲,並且實現了特有的無損壓縮算法,可以與Spark集成,提供豐富的時序分析能力。

PI
PI是OSI軟體公司開發的大型實時資料庫,廣泛應用於電力,化工等行業,採用了旋轉門壓縮專利技術和獨到的二次過濾技術,使進入到PI資料庫的數據經過了最有效的壓縮,極大地節省了硬碟空間

KDB
KDB是Kx System開發的時間序列資料庫,通常用於處理交易行情相關數據。支持流、內存計算和實時分析Billion級別的記錄以及快速訪問TB級別的歷史數據。

Gorilla
Gorilla是Facebook的一個基於內存的時序資料庫,採用了一種新的時間序列壓縮算法.

可以將數據從16位元組壓縮到平均1.37位元組,縮小12倍.並且設計了針對壓縮算法的內存數據結構.在保持對單個時間序列進行時間段查找的同時也能快速和高效的進行全數據掃描。

通過將時間序列數據寫到不同地域的主機中,容忍單節點故障,網絡切換,甚至是整個數據中心故障。

2018年時序資料庫創業公司在投資市場有2筆著名的投資。

相關焦點

  • 時序資料庫的前世今生
    Facebook開源了beringei時序資料庫,基於PostgreSQL打造的時序資料庫TimeScaleDB也開源了。時序資料庫作為物聯網方向一個非常重要的服務,業界的頻頻發聲,正說明各家企業已經迫不及待的擁抱物聯網時代的到來。 本文會從時序資料庫的基本概念、應用場景、需求與能力等方面一一展開,帶你了解時序資料庫的前世今生。
  • 騰訊唯一時序資料庫:CTSDB解密
    為了存儲這些與時間相關的數據,積極擁抱物聯網時代,各大企業紛紛推出自家的時序資料庫。本文將對時序資料庫的基本概念、應用場景及騰訊時序資料庫CTSDB做簡要介紹。1. 時序數據1.1 什麼是時序數據?這裡以圖中的數據為例,介紹下時序數據的數學模型(不同的時序資料庫中,基本概念的稱謂有可能不同,這裡以騰訊CTSDB為準):metric: 度量的數據集,類似於關係型資料庫中的 table;point: 一個數據點,類似於關係型資料庫中的 row;timestamp: 時間戳,表徵採集到數據的時間點;tag: 維度列,代表數據的歸屬、屬性,表明是哪個設備
  • 史上最全時序資料庫選型指南
    隨著時序數據的普及,人們對時序數據的特徵也逐漸有了更加準確的認識,對存儲、處理時序數據的資料庫的期望也在不斷調整。早期時序數據應用面較窄,以證券交易為代表性應用場景,KDB是這個階段的代表時序資料庫,屬於閉源商業產品,自定義語法非標準SQL,用戶相對小眾生態相對封閉,用戶學習和使用難度大,這個時期的數據規模有限,大家對數據的重視程度也不夠,有時還使用數據的有損壓縮。另外,能源化工領域也是較早採用時序資料庫的行業,國內應用較多的Pi資料庫是這一場景的佼佼者。
  • DB-Engines 2月資料庫排名:三霸主集體「亮紅燈」?小眾資料庫不可小覷
    該網站根據資料庫管理系統的受歡迎程度對其進行排名,實時統計了364種資料庫的排名指數。新的資料庫產品仍然在不斷誕生,如果你的需求比較特殊,大眾資料庫產品無法很好地滿足你,一些快速興起的小眾資料庫也很有可能更適合你。
  • 東方國信CirroData領跑國產資料庫賽道
    東方國信分布式資料庫研發中心總經理金正皓受邀參加,解析國產資料庫與工業領域的結合,並全面介紹了東方國信(300166,股吧)自主研發的資料庫核心技術及其在各行業場景中的使用情況。金正皓概括介紹了東方國信CirroData資料庫中兩款產品:CirroData-OLAP與IoTDB/CirroData-Times。CirroData-OLAP新一代分布式分析型資料庫,廣泛應用於通信、金融、工業網際網路、政府等多行業,2020年該產品實現在國家開發銀行全面替代國外大型數據倉庫軟體TeraData。
  • ZETA技術通過數蛙科技百億級物流標籤軌跡時序數據壓測
    濤思時序資料庫TDengine是目前針對時序資料庫的性能最優的開源資料庫平臺,廣泛運用於工業、電力、車聯網、大數據領域。數蛙科技結合縱行科技的ZETag雲標籤與濤思數據的高容量時序資料庫,為物流領域未來高增長、高並發的物流標籤場景,進行了1000萬接入、百億級時序數據的運營級全業務模擬壓力測試。
  • 雲端實時歷史資料庫pSpace PLus
    力控 pSpace PLus 是一個面向工業網際網路應用的雲端實時歷史資料庫,具備實時資料庫、時序資料庫、SQL 資料庫等特徵,可支撐工業物聯網平臺的構建與拓展應用。力控 pSpace PLus 覆蓋數據的採集、傳輸、存儲、處理、展示全過程,提供標準的數據接入和對外接口,支持雲端業務的開發。
  • DB-Engines 10月資料庫排名:「三大王」無人能敵,PostgreSQL緊隨其後
    橫向看,這三種資料庫近幾年的得分基本持平。 推薦語:《MySQL技術內幕:InnoDB存儲引擎(原書第2版)》資深MySQL專家撰寫,全球知名MySQL資料庫服務提供商Percona公司CTO作序推薦,國內多位資料庫專家聯袂推薦。
  • 時序邏輯電路設計
    打開APP 時序邏輯電路設計 發表於 2019-05-16 18:32:37   時序邏輯電路
  • 圖資料庫的定義是什麼你知道嗎?_數易軒圖資料庫
    近十年來,圖資料庫成為了發展趨勢最為顯著的資料庫類型,也愈發受到了眾多企業的關注對象,數易軒致力於圖資料庫技術服務,為您介紹圖資料庫的簡單入門。一、關係型資料庫的不適性在眾多不同的數據模型裡,關係數據模型自20世紀80年代就處於統治地位,而且出現了不少巨頭,如Oracle、MySQL,它們也被稱為:關係資料庫管理系統(RDBMS)。
  • 阿里雲的資料庫俠客!
    這個事對阿里就是個恥辱!馬雲對淘寶是有信心的,他太了解中國人了。而ebay到現在還不明白自己當年在中國失敗的原因。時為阿里工程師的張瑞覺得,這個事對他、對整個阿里巴巴都是個恥辱:阿里花那麼多錢買了一堆中國工程師不會修的怪獸機器,這種情況還要持續多久?
  • 二十四、數據挖掘之時序模式
    時序模式1.1 問題引入下個月的商品銷量、銷售額或庫存量是多少?明天廣州市的最高用電負荷是多少?序列模式的概念時序模式:描述基於時間或其他序列的經常發生的規律或趨勢,並對其建模。序列模式將關聯和時間序列模式結合起來,重點考慮數據之間維度上的關聯性。
  • 我國世界史研究中外文資料庫的利用
    世界史研究需要利用資料庫尤其是外文資料庫,這是無須爭辯的問題。需要討論的是,如何對這些數量龐大的資料庫進行利用。本文從定名與定性、專題資料庫的建立、資料庫內容考辨三個角度,談一些粗淺的看法。  一  所謂定名與定性,是指對資料庫的名稱、性質和收錄範圍有清晰的認識。
  • 影馳A320M 龍將喜迎更新 支持高頻還可調時序
    近年來Ryzen系列CPU的強勁表現,讓「AMD YES!」這句口號再被頻頻喊起。花更少的錢就可以擁有足夠的處理器性能應對不同的遊戲需求,對於預算有限的用戶來說簡直就是一個福音。小巧的板型集合了較為完整的功能和配備,搭配Ryzen系列CPU,可以為用戶展現出強悍的性能,並且289元的售價,可謂是人人都能買得起。近日,影馳 A320M 龍將主板BIOS再迎更新,不僅支持新一代Ryzen CPU,提高了主板的穩定性與兼容性,還加強對高頻內存的支持,實用價值進一步凸顯。
  • 常見的時序模型:RNN/LSTM/GRU
    RNN是深度時序模型的基石,重點在於參數共享、延遲傳遞,輸入輸出還有很多場景。x固定,y可變。更新方式如下:colah's blog & gru paper直接由更新門控制時序信息流傳遞,比如更新門等於0,其實就是線性自循環
  • 龐大的外文資料庫如何運用於我國世界史研究?
    世界史研究需要利用資料庫尤其是外文資料庫,這是無須爭辯的問題。需要討論的是,如何對這些數量龐大的資料庫進行利用。本文從定名與定性、專題資料庫的建立、資料庫內容考辨三個角度,談一些粗淺的看法。一 所謂定名與定性,是指對資料庫的名稱、性質和收錄範圍有清晰的認識。
  • 芝奇皇家戟DDR4-4000 CL15套裝評測:極致的頻率與時序
    當然了買內存除了頻率之外還有個要注意的就是內存的時序,它和頻率是相互相成的,共同決定了內存的延遲是多少,而內存延遲則是對遊戲性能影響非常大的一個因素,現在DDR4-4000內存普遍都是CL18或者CL19的,但在內存上追求極致的芝奇現在弄了一套CL只有15的皇家戟DDR4-4000出來,看時序就知道它擁有極低的延遲。
  • BeetlSQL 3.1.2 發布,Java 資料庫訪問工具
    <groupId>com.ibeetl</groupId> <artifactId>beetlsql</artifactId> <version>3.1.2-RELEASE</version></dependency>BeetlSQL的目標是提供開發高效,維護高效,運行高效的資料庫訪問框架
  • FPGA控制下面陣CCD時序發生器設計及硬體實現
    摘要 在分析Sony公司ICX098BQ面陣CCD圖像傳感器驅動時序的基礎上,對可調節曝光時間的CCD時序發生器及其硬體電路進行設計。選用FPGA器件作為硬體設計平臺,使用VHDL語言對時序關係進行了硬體描述。
  • 騰訊優圖實驗室高級研究員棟豪:時序動作分析技術的研究與應用 |...
    「騰訊優圖專場」,是智東西公開課邀請騰訊優圖實驗室面向開發者和科研人員,專注講解騰訊優圖實驗室前沿研究成果的系列線上公開課,第一階段共計三講。第一講由優圖實驗室資深高級研究員瑋劍主講,主題為《3D人臉重建技術的研究與應用實例》。第二講由優圖實驗室研究員太平主講,主題為《人臉安全技術的研究與應用》。