Delta Lake 進入 Linux 基金會

2021-01-10 開源中國

近日，數據湖（data lakes）數據治理項目 Delta Lake 進入 Linux 基金會，基金會表示將與 Delta Lake 共建數據湖開放標準。

Delta Lake 是一個存儲層，為 Apache Spark 和大數據 workloads 提供 ACID 事務能力，其通過寫和快照隔離之間的樂觀並發控制（optimistic concurrency control），在寫入數據期間提供一致性的讀取，從而為構建在 HDFS 和雲存儲上的數據湖帶來可靠性。

Linux 基金會介紹，當前每個組織都希望通過數據科學、機器學習和分析從數據中獲得更多價值，但由於數據湖內部缺乏數據可靠性，產生了極大的阻礙。Delta Lake 通過使事務符合 ACID 標準來啟用並發讀取和寫入，從而解決了數據可靠性挑戰。它的架構實施能力有助於確保數據湖中沒有損壞且不合格的數據。自 2017 年 10 月推出以來，Delta Lake 已被 4 000 多家組織採用，每月處理超過 2 exabyte（十億字節）數據。

「將 Delta Lake 引入 Linux 基金會的中立組織之下，將有助於依賴該項目的開源社區開發解決存儲和處理大數據（本地和雲端）的技術」，Linux 基金會戰略計劃副總裁 Michael Dolan 表示。

實際上 Databricks 的聯合創始人是 Apache Spark 項目的創建者，Spark 目前已成為大規模數據處理事實上的標準，儘管 Delta Lake 最初設計為與 Spark 配合使用，但其目前已經發展出了一個蓬勃的開源社區，並增加了對其它開源數據系統的支持。

目前 Delta Lake 已經被成千上萬的組織採用，包括 Intel、阿里巴巴、Booz Allen Hamilton 與 Starburst 等，並且他們也是其開源生態的重要貢獻者。為了進一步推動 Delta Lake 開源生態的發展，Delta Lake 背後的公司 Databricks 作出了將 Delta Lake 託管到 Linux 基金會的決定。

Databricks 的 CEO 兼聯合創始人 Ali Ghodsi 表示：「我們的團隊繼續創建開源項目並為之做出貢獻，因為我們知道這是最快、最全面的創新方式。為了解決組織的數據挑戰，我們希望確保該項目以最真實的形式開源。通過 Linux 基金會社區的力量和貢獻，我們相信 Delta Lake 將很快成為數據湖中數據存儲的標準。」

相關閱讀：

前陣子 Delta Lake 剛被 InfoWorld 評為 2019 年最佳開源軟體，詳見：

https://www.oschina.net/news/110451/2019-infoworld-bossie-awards

相關焦點

  • 「linux專欄」嘔心瀝血兩天,就為linux中安裝拼音輸入法
    之前呢，小編也百度過，都說直接下載linux版本的搜狗輸入法之後，直接點擊sougoupinyin.deb的安裝文件就能直接安裝。但是，事實卻很扎心，小編的REHL8作業系統系統並不支持這樣的操作，點擊之後反而是打開了安裝包，並沒有進入安裝程序。
  • 淺談BSM模型及Delta對衝
    進入正題。之所以想寫這麼一篇東西，是之前我們部門（一家法國賣方公司）一個新來的女生，我問她我們賣期權，主要是通過什麼方式賺錢呢？她說對賭，客戶賺了我們就虧了，客戶虧了我們就賺了。其實，我們賺的主要是在期權金上面加服務費，比如期權價值3%，我們賣3.5%，如果交易員能夠完美對衝的話，那麼我們就可以保證賺0.5%。
  • 期權的希臘字母之Delta
    Delta值不是不固不變的，隨著標的價格變動，每個期權合約的delta值也隨之變動。除了標的價格，行權價格、利率、波動率和距離到期日的天數等變量均對Delta值有影響。（2）如何計算持倉的delta？delta有什麼作用？
  • 美股期權基礎一:delta是什麼?
    delta告訴我們你手中的期權相當於購買了多少股股票。比如某期權的delta值是0.82，相當於購買了82股股票。如果期權的delta為負值-0.82，相當於做空了82股股票。　　delta的第三個含義是底層證券與期權的對衝比率。有了delta值，我們就可以用(股票數量÷期權delta)來計算某支股票的對衝比率。
  • AJ delta開箱測評 Jordan Delta sp配色有哪些
    AJ delta開箱測評鞋盒的話很顯眼的jumpan的標誌，全新的鞋款，設計上還是很大不一樣的，據悉借鑑了太空服手套的設計和精良工藝。鞋身整體採用多種材料拼接設計。也很符合當下很火熱的解構思路鞋頭部位的材質，輕質透氣網眼，夏季穿還是很適合的軟木塞鞋墊的加持，React中底中莊幾何圖室，人字紋外底。
  • The Longest Lake Tunnel of China
    The lake encompasses 73 kilometers of land and the lake water itself occupies 33 kilometers of it. It was made in 1950 and in 1982 it was named as China's Civilized Tourist Area.
  • Qinghai Lake begins to freeze
    According to satellite remote sensing monitoring, the ice areas have been over 10% of the lake area, indicating that Qinghai Lake has begun to freeze.
  • linux下安裝虛擬機,完美在linux系統下運行通達信軟體
    現在越來越多的人使用linux系統，現在很多的國產作業系統都是基於linux內核上的。雖說不少的軟體都可以運行在linux的系統上。但是對於股票軟體來說在linux上的使用是一個硬傷。能夠運行在linux下的國內股票軟體少之又少。
  • Linux系統的Linux應該怎麼讀?正確讀法在這裡,很多人都讀錯了!
    1、linux發音五花八門版本頗多，見到和聽到的不下10種。根據linux的創始人Linus Torvalds的說法，Linux的發音和「Minix」是押韻的。3、有人綜合網上和linux自己的讀音，概括出幾個自認為最合適也最通用的讀法：/li'n^ks/(「裡那克斯」)或/'li:nэks/(「裡訥克斯」)或/li'nju:ks/(「裡紐克斯」)。4、這幾個應該是誰都聽得懂的。至於哪個比較正宗，當然是linux的原因。但事實上使用linux哪種讀法的人似乎都不在少數。
  • 盾牌座delta型變星研究取得進展
    該研究首次給出了數百顆這類變星的光譜型及恆星參數，發現一百多顆處於盾牌座delta型變星脈動不穩定帶紅邊界以外的特殊新變星，首次揭示了這類變星的各種統計規律和關係，並發現幾十個含盾牌座delta型變星的雙星系統候選體。   盾牌座delta型星是位於赫羅圖中經典脈動不穩定帶下部和主序交叉區域的一類短周期脈動變星。
  • Linux基礎命令之:實驗內容及小結
    （7）進入掛載目錄，查看是否確實掛載上。命令為：cd/mnt/win；ls（8）在/usr/local下建一個名為arm的目錄。命令為：mkdir/usr/local/arm（9）將cross-3.3.2.tar.bz2複製到剛剛創建的目錄中。
  • 學前班遊戲開發入門4:Time.deltaTime與Unity3D中的長度單位
    一旦進入了 Unity3D 的世界，我們就一定會接觸到怎樣移動一個物體的代碼，例如：obj.Translate(0, 0, 3 * Time.deltaTime);這樣的代碼就是表示向某個方向移動一定距離
  • 嵌入式Linux的GDB調試環境建立
    嵌入式Linux的GDB調試環境由Host和Target兩部分組成，Host端使用arm－linux－gdb，Target Board端使用gdbserver。
  • linux下SCP指令的使用
    SCP常用實例（在linux的centos環境下為例，從192.168.200.10現在一個文件到本地）1、從遠程伺服器下載文件到本地伺服器。scp 用戶名@IP位址:/home/1.txt ./2、linux下，通過指定埠從遠程伺服器下載文件到本地。scp -oPort=埠號 用戶名@IP位址:/opt/ftp-0.17-54.el6.x86_64.rpm ./3、linux下，通過指定埠將本地文件，上傳到遠程伺服器指定目錄下。
  • 英特爾Comet Lake與10nm產品細節曝光
    Comet lake覆蓋最高6核的低電壓Cometlake-U和標準電壓的Cometlake-H筆記本處理器;桌面級的Cometlake-S最高10核。依然採用第9代Gen 9核顯。
  • 國產linux發行版本——deepin作業系統安裝方法
    大家好，歡迎回到萬魔寺，前兩期，和大家一起學習了ubuntu系統的安裝，今天我們一起來學習一下國產linux作業系統deepin的安裝方法。deepin系統是由武漢深之度科技有限公司開發，在網絡上口碑比較好的一款linux國產發行版。
  • 旅遊英語之滇池英文介紹Lake Dian
    Being a bright and smooth highland lake, it's reputed as "A Pearl on the Yungui Plateau". 　　The picturesque lake, dotted with sails, appears green and boundless and shining with ripples.
  • Linux下如何掛載新磁碟:mount
    前言在linux系統伺服器上插了一個U盤，結果系統顯示不出來，是什麼原因導致了系統不能識別U盤呢？經過一番搜索，發現新的硬體設備插在linux系統上時，如果不能正常顯示，則需要通過掛載讓U盤顯示出來，這裡就用到了我們今天要介紹的命令：mount。
  • 嵌入式Linux開發環境的搭建之:嵌入式開發環境的搭建
    */usr/local/arm/3.3.2/bin/arm-linux-addr2line/usr/local/arm/3.3.2/bin/arm-linux-ar/usr/local/arm/3.3.2/bin/arm-linux-as/usr/local/arm/3.3.2/bin/arm-linux-c++/usr/local
  • 從串口驅動到Linux驅動模型,想轉Linux的必會!
    讓我們進入實際的代碼。實際的硬體來進行分析。在一個硬體平臺上。硬體是可用的。我們必須要燒寫適當的軟體到平臺的RAM中。這樣CPU才能跳轉到最先的指令。然後慢慢加載各種資源。才能完成系統的自舉。一般我們採用BootLoader進行硬體的初始化。並引導至作業系統核心。筆者採用的BootLoader是u-Boot-1.1.16。