區塊鏈與分布式存儲構建數據要素市場基礎設施

2020-12-15 騰訊網

什麼是分布式存儲(IPFS)?

分布式存儲就像分布式應用一樣有兩種技術解釋,一種是將數據分散存儲在多臺獨立的設備上,總體上實現了技術架構上的分布式,但所屬權仍然是集中式的,而在區塊鏈應用領域則表示的是以IPFS 為代表的新一代分布式存儲技術,與傳統的存儲技術不同,新一代的分布式存儲不光改變了存儲的方式,還改變了系統架構與網絡傳輸協議,讓分布式存儲真正實現了可以分布存儲在不同所有方之間,同時還實現了對於數據的隱私保護與安全。

那麼,什麼是IPFS?

IPFS,全稱 Inter Planetary File System,中文名為星際文件系統,IPFS 希望通過點對點傳輸網絡構建一個完全分布式的網際網路,類似於 BitTorrent,但是又有所發展和不同。在目前的互聯中,如果你想從網上下載一張照片,你需要告訴電腦去哪裡找這張照片,也就是照片所在的 IP 地址或域名——這就叫 " 地址尋址 "。但如果這個地址不存在了,也就是說伺服器關閉了,你就無法獲取那張照片了。不過很可能有人之前已經下載過那張照片,並且在他的電腦中仍然保存著備份,可你的電腦卻無法從那個人那裡獲得該備份。為了解決這個問題,IPFS 把「地址尋址」改為「內容尋址」。這樣一來,你不用再告訴電腦去哪裡尋找資源,而只需告訴它你想要什麼資源。從「地址尋址」到「內容尋址」是 IPFS 與現有存儲技術與網際網路協議最重要的區別。除此之外,IPFS 也是一種複合的技術,其中比較重要的有4種:BitTorrent、DHT、Git 和 SFS。

(1)DHT,全稱為分布式哈希表(Distributed Hash Table),是一種分布式存儲方法。DHT的原理是在不需要伺服器的情況下,每一個客戶端存儲一小部分數據,並負責一定區域的檢索,進而實現整個DHT網絡的尋址和檢索。同時所有信息均以哈希表條目的形式加以存儲在Kademlia 網絡(點對點協議中的一種算法,當我們在網絡中搜索某些值,即通常搜索存儲文件散列或關鍵詞的節點的時候,Kademlia算法需要知道與這些值相關的鍵,然後分步在網絡中開始搜索。)這些信息被分散地存儲在各個節點上,從而以全網構成一張巨大的分布式哈希表。可以形象地把這張哈希大表看成一本字典:只要知道了信息索引的key,便可以通過 Kademlia 協議來查詢與其對應的 value 信息,而不管這個 value 信息究竟是存儲在哪一個節點之上。正是這一特性確保了IPFS成為沒有中心調度節點的分布式系統。

(2)BitTorrent, ipfs借鑑的首先是消極上傳者的懲罰措施,在 BitTorrent 的客戶端上傳數據會獎勵積分,而長期不上傳的消極節點會被扣分,如果分數低於一定限度,那麼網絡會拒絕再為他們提供服務;其次是文件可用性檢查,BitTorrent優先把稀缺的文件分享出去,各個客戶端之間相互補充,這樣種子不容易失效,傳輸效率也提高了。

(3)Git,在進行大文件傳輸或修改的時候總會遇到存儲或傳輸壓力大的問題,而Git在版本迭代方面非常出色。Git存儲時會把文件拆成若干個部分,並計算各個部分的哈希值,利用這些構建起與文件對應的有向無環圖(DAG),DAG的根節點也就是該文件的哈希值。這樣的好處十分明顯:如果需要修改文件,那麼只需要修改少數圖中節點即可;需要分享文件,等價於分享這個圖;需要傳輸全部的文件,按照圖中的哈希值下載合併即可。

(4)Self-certifying FileSystem(SFS),它將所有的文件保存在同一個目錄下,所有的文件都可以在相對路徑中找到,其SFS路徑名是其原路徑與公鑰的哈希。這樣的設計包含身份的隱式驗證功能,因此SFS被稱為自驗證文件系統。

分布式存儲如何與區塊鏈相結合?

區塊鏈的誕生本是為了做到去中心化,在沒有中心機構的情況下達成共識,共同維護一個帳本。它的設計動機並不是為了高效、低能耗,抑或是擁有無限的可擴展性(如果追求高效、低能耗和擴展性,中心化程序可能是更好的選擇),分布式存儲與區塊鏈協同工作,能夠補充區塊鏈的兩大缺陷:

(1)區塊鏈存儲效率低,成本高。

區塊鏈網絡要求全部的礦工維護同一個帳本,需要每一個礦工留有一個帳本的備份在本地。那麼在區塊鏈中存放的信息,為了保證其不可篡改,也需要在各個礦工手中留有一份備份,這樣是非常不經濟的。如果有1萬個礦工,即便在網絡保存1MB信息,全網消耗的存儲資源將是10GB。可以使用IPFS存儲文件數據,並將唯一永久可用的IPFS地址放置到區塊鏈事務中,而不必將數據本身放在區塊鏈中,因為IPFS的自驗證文件系統技術可以保證其內容的不可篡改的特性。也就是區塊鏈用於共識重要的數據,如數字資產、交易記錄等,分布式存儲作為存儲層替代現有的中心化資料庫,用於分布式的存儲大量的附加信息,避免了鏈下數據集中被某個中心控制,而是由網絡參與者一起參與存儲,避免把所有信息放到鏈上,極大拓寬了區塊鏈的應用範圍。

(2)跨鏈需要各個鏈之間協同配合,難以協調。

IPFS能協助各個不同的區塊鏈網絡傳遞信息和文件。IPFS本身就具有保證其內容的不可篡改的特性,能夠作為可信信息源。同時IPFS可將不同鏈的區塊信息獲取成可讀內容,可協助鏈之間獲取區塊信息。

分布式存儲與區塊鏈如何為數據要素市場構建基礎設施

數據被納入生產要素的基礎現狀

相關試點:

2018年5月,為貫徹落實黨中央、國務院關於推進公共信息資源開放的有關工作部署,中央網信辦、發展改革委、工業和信息化部聯合印發《公共信息資源開放試點工作方案》,確定在北京、上海、福建、貴州開展公共信息資源開放試點,要求針對當前開放工作中平臺缺乏統一、數據缺乏應用、管理缺乏規範、安全缺乏保障等主要難點,在建立統一開放平臺、明確開放範圍、提高數據質量、促進數據利用、建立完善制度規範和加強安全保障6方面開展試點,探索形成可複製的經驗,逐步在全國範圍加以推廣。方案要求,試點地區要結合實際抓緊制定具體實施方案,明確試點範圍,細化任務措施,積極認真有序開展相關工作,著力提高開放數據質量、促進社會化利用,探索建立制度規範,於2018年底前完成試點各項任務。

數據要素市場面臨的問題及挑戰

數據所有權界定不明確、不清晰

數據共享後難以追蹤溯源;數據易洩露或被未授權使用

相關領域數據資源向社會開發的進展緩慢

缺乏公平、透明的數據利益分配機制和手段

未形成完善的產業鏈條,交易規模有效;缺少成熟案例

通過區塊鏈和智能合約對數據分類目錄以及數據確權、授權、使用、加工、權利轉移等操作記錄進行存證和全程追溯,形成不可篡改的數據履歷,提高數字資產交易市場的透明度和可信度。區塊鏈提供了全程過程的可追溯性與不可篡改性。在下圖的架構中解決的數據要素市場全周期的記錄與管理,而數據本身需要存儲在資料庫中,利用分布式存儲技術,可以做到數據的加密存儲,授權訪問模式,同時分布式存儲對比傳統中心化資料庫更加安全。

區塊鏈為數據要素確權、交易提供基礎設施與底層系統

在下圖的架構中解決的數據要素市場全周期的記錄與管理,而數據本身需要存儲在資料庫中,利用分布式存儲技術,可以做到數據的加密存儲,授權訪問模式,同時分布式存儲對比傳統中心化資料庫更加安全,無法單方面掌握整體數據,同時數據是加密存儲,只有在區塊鏈上完成了相應的授權才能獲取完整數據,進而使用數據。從整體上保證數據被合法合規的利用。

相關焦點

  • GBS+區塊鏈 數據存儲的未來
    GBi四幣聯發生態通過A幣GBS打造基於區塊鏈技術的分布式存儲系統。面對中心化存儲方式出現的一系列安全和可靠性問題、迫切需要改變和優化數據存儲方式,GBS應運而生。GBS存儲系統擁有著不可篡改、分布式記帳、點對點傳輸等其它技術沒有的特性。對於存儲數據的加密性和區塊鏈存儲在存儲成本方面的突出表現可以解決傳統的中心化存儲存在的安全性和可靠性問題。
  • 區塊鏈與分布式帳本技術(上)
    由於區塊鏈源於密碼學和數據配置原則,某些功能在協同資料庫系統中已經得到了很好的應用,而其他一些功能只有在真正的區塊鏈技術中才能實現。雖然有用,但這些所需功能特性的重要部分也可通過更好協調中央資料庫或分布式系統設計進行優化。在評估當中,有必要確定平臺和協議試圖優化現有數據協調功能與實施新的區塊鏈功能程度。區塊鏈不僅只適用於更高級的數據協調。
  • 不是公鏈是基礎設施?Spacebook要給區塊鏈打地基
    目前很多項目的白皮書對於項目的應用場景也進行了介紹,但受制於基礎設施原因,並沒有辦法實現,或者即使實現了,也無法達到商用的要求。網際網路應用早已走入尋常百姓家,與之形成鮮明對比的是,區塊鏈投資都迅速藍海變成紅海的時候,除了比特幣本身之外區塊鏈技術還沒有一個殺手級應用出現在市場上。大規模應用什麼時候可以出現,區塊鏈除了話題和炒幣,到底能給人們的生產生活帶來怎樣的價值?
  • CVNT主網如何使用不一樣的技術實現區塊鏈存儲
    區塊鏈是分布式數據存儲、點對點傳輸、共識機制、加密算法等計算機技術的新型應用模式。區塊鏈(Blockchain),是比特幣的一個重要概念,它本質上是一個去中心化的資料庫,同時作為比特幣的底層技術,是一串使用密碼學方法相關聯產生的數據塊,每一個數據塊中包含了一批次比特幣網絡交易的信息,用於驗證其信息的有效性(防偽)和生成下一個區塊。
  • 麥客電臺 36|區塊鏈分布式存儲的未來勢不可擋
    IPFS是一項被諸多媒體紛紛報導的對標HTTP的新一代網際網路技術,Filecoin網絡被市場寄予了很大期待,首先是打造一個去中心化存儲市場,取代傳統的雲存儲服務商包括亞馬遜雲、阿里雲、谷歌雲等一系列巨頭,並在此基礎上助力IPFS協議取代傳統的HTTP協議重構整個網際網路底層架構。
  • 區塊鏈研習 | 美國區塊鏈參考架構的定位、視角和設計理念,對於...
    b)從法律角度來看,區塊鏈帳本上的交易是經過驗證、不可否認且無法篡改的,它不需要中介或第三方參與。c)從技術角度來看,區塊鏈是一個引用其他數據存儲作為帳本數據、全局複製的分布式帳本。3. 參考架構的設計理念首先,從分布式應用架構師和開發人員角度來設計一種區塊鏈平臺參考架構,如下圖:
  • 以區塊鏈構建生產關係,EBaaS賦能不動產數據資產
    在2020年6月30日舉行的「2020易居數據資產大會」上,易居中國董事局主席周忻提出,將以大數據為生產原料,以AI作為生產力,以區塊鏈來構建生產關係,三者構建起數據資產的三大要素,打造不動產領域大數據資產平臺生態圈。
  • 萬向區塊鏈郝玉琨:從20個關鍵詞回顧區塊鏈行業的2020
    05 分布式存儲 嚴格來說「分布式存儲」不能算是區塊鏈的名詞,在原有的技術領域本身就是很大的門類。區塊鏈行業有「賽道」的說法,除了Filecoin以外,2016、2017年有非常多的分布式存儲項目。
  • 以黃金價值為依託 AUC STO將構建區塊鏈可信任分布式商業生態
    區塊鏈技術改變了我們獲取和分享信息的方式,創造了一個新的分布式、點對點的生態社會。從全球範圍來看,2019 年以來,國際上大型金融機構、網際網路公司和實體企業紛紛加大了對區塊鏈技術和應用的投入,區塊鏈的巨大應用價值開始顯現。例如,摩根大通基於區塊鏈系統發行與美元等值的 JPMCoin,提供給體系內的金融機構使用。
  • MIT已落地的區塊鏈項目Egnima,如何看待區塊鏈+醫療的未來?
    首先,區塊鏈的應用場景寬泛,研發資金投入量大,但大部分技術無法使用。  其次,區塊鏈上的計算速度緩慢,並且非常昂貴。最關鍵的是,每個人都能看到鏈上的數據。由於上述問題的存在,大多數數據仍然必須存儲在集中式資料庫中。  這意味著,「分布式應用程式」要麼不是真正的分布式,要麼不能擴展,也不能使用任何敏感數據。這些因素嚴重限制了區塊鏈的效用。
  • IPFS的分布式Web新協議∣實現分布式雲存儲
    傳統的雲存儲公司購買或租用伺服器來存儲他們的客戶文件,同時使用RAID方案或多數據中心的方法來保護數據的安全性。而使用區塊鏈技術不需要中心化,不需要購買昂貴的設備及維護人力。區塊鏈技術讓文件存在於一個分布式、虛擬和分散的網絡中,這樣就不需要像傳統的雲存儲公司那樣依靠硬體的維護來保證存儲的可靠性。
  • 智慧城市發力,區塊鏈助力土木建設數據存儲
    這樣產生的大量數據和資料都是需要進行存儲的。尤其是安全的存儲,區塊鏈的出現可以讓這些存儲更加安全,區塊鏈技術不可篡改的特性,區塊鏈基於數位技術,能永久根據信息安全和價值需求,長期保存項目信息。不管十年二十年過去,項目信息都會被完整地保存在鏈上。這不僅可以讓建造者作為建築物糾察,也可供後人觀摩學習。同時,區塊鏈可以記錄一系列工期和負責人問題,一旦出現任何問題,人們都可以及時追責。
  • 統一身份認證成主流 趣鏈科技區塊鏈技術讓數據主權回歸用戶
    隨著國家對於網絡數據安全的重視以及民眾隱私意識的崛起,利用區塊鏈等去中心化技術實現的統一身份認證體系將成為主流。當數字身份遇上區塊鏈,碎片化的數字身份有了以用戶為中心的集中管道,使數字身份的真實性、唯一性得以保證。基於趣鏈科技區塊鏈技術搭建的分布式身份認證系統,數據多地備份,災備能力強,信息安全可靠。
  • 萬向區塊鏈用20個關鍵詞帶你回顧區塊鏈的2020
    05 分布式存儲嚴格來說「分布式存儲」不能算是區塊鏈的名詞,在原有的技術領域本身就是很大的門類。區塊鏈行業有「賽道」的說法,除了Filecoin以外,2016、2017年有非常多的分布式存儲項目。不討論別的,單純討論分布式存儲技術,互相有參考,各有長短。一定程度上期待在存儲方面有更多的創新項目出來,有更多的選擇。
  • 陳華鈞等 | OpenKG區塊鏈:構建可信開放的聯邦知識圖譜平臺
    區塊鏈是分布式帳本技術的一種。區塊鏈每個節點都按照塊鏈式結構存儲完整的數據,並且每個節點的權利和義務相同。區塊鏈以P2P對等網絡構成網絡層基礎架構,以分布式資料庫作為物理載體,以分布式時間戳構成區塊時序,以共識算法實現數據的一致存儲,以密碼學協議為鏈上數據的傳輸和訪問提供安全性、完整性、無法抵賴性的技術支撐,以智能合約的技術為分布式應用提供可擴展的合約編碼和一致執行的能力。
  • 騰訊Techo Park開發者大會區塊鏈分論壇:騰訊雲區塊鏈平臺助力產業...
    騰訊雲作為支撐企業數位化轉型的重要力量,一直將產業區塊鏈作為其在此領域的核心發力方向,探索區塊鏈技術的創新應用。作為國內最早布局區塊鏈技術的廠商,騰訊雲已經構建了從底層引擎到上層應用的全棧產品能力,並以騰訊云為依託,為企業、政府等機構提供區塊鏈基礎設施服務和產業應用服務。
  • IPFS分布式存儲的落地應用
    被譽為區塊鏈版Google。其他應用6、PartysharePartyshare是構建於點對點超媒體協議IPFS之上的開源文件共享應用程式,它允許用戶使用IPFS共享文件。2、D.TubeD.Tube 是第一個加密分布式視頻平臺,建立在 STEEM 區塊鏈和 IPFS 點對點網絡之上,未來會支持FIlecoin網絡,它旨在成為 YouTube 的替代品,允許用戶在IPFS/FIlecoin 基礎上觀看或上傳視頻,並在不可變的 STEEM 區塊鏈上進行分享或評論,同時賺取加密通證
  • 區塊鏈早報 | 沃爾瑪計劃在區塊鏈上存儲付款數據;G20重啟加密貨幣...
    頭條沃爾瑪計劃在區塊鏈上存儲付款數據美國專利與商標局(USPTO)周四發布的兩份專利申請顯示,零售巨頭沃爾瑪計劃使用區塊鏈技術存儲付款數據,確保付款數據的安全性,以確保私人信息不會被未授權方訪問。該聯盟稱,分布式記帳技術雖然是以虛擬貨幣的為基礎,但不僅限於此,將試圖運用這一技術提高金融機構系統的穩定性、靈活性以及效率性的,35家企業中包括三菱UFJ、SBI、GMO、Monex等眾多行業巨頭。
  • 分布式資本周璧珺:區塊鏈無國界,終極目標之世界大同
    小編:記得關注哦來源:分布式資本原文標題:分布式資本周璧珺:區塊鏈無國界,終極目標之世界大同瑞士的區塊鏈產業,以及大蘇黎世區楚格州的「Crypto Valley | 加密谷 」 一直備受行業內區塊鏈技術企業、科研機構、投資公司、
  • 博覽天下|楊東、徐信予:區塊鏈與法院工作創新——構建數據共享的...
    而區塊鏈技術的去中介、分布式、防篡改等特點給數據的利用方式、價值體現提供了新的選擇,特別是區塊鏈存證的廣泛應用,從根本上使數據脫離了紙質文本的「形式束縛」與第三方中介的「效力依附」,為重構數字經濟時代的信任模式打下了堅實基礎。