IPFS紅岸智能周雪松:兩個層次的存儲

2020-12-05 解說科技生活

紅岸智能 周雪松新系列知識點

現在講一下我們定義的接口,想強調的是CynosStore是存儲計算接口很清晰的一個系統。CynosStore有兩層,塊設備層、文件系統層,就是我們先對上抽象出一個磁碟出來,就像網盤、雲盤一樣抽象出一個磁碟出來,這個盤上我們自己又重新實現了一個文件系統,又能給DB提供一個文件系統的抽象。也就是說上面的資料庫既可以採用我們這種塊設備層的抽象,也可以使用文件系統這一層的抽象。現在我們的PostgreSQL是使用文件系統這層的抽象,文件系統這一層是完全跟底下的分片分布信息解耦的,也就是說我不用感知到這個邏輯的磁碟它的數據是如何在各個存儲地方進行分片的。

<figure style="box-sizing: border-box; list-style: inherit; margin: 20px 0px; color: rgb(51, 51, 51); white-space: pre-wrap;">

</figure>

另外一點是我們除了支持這兩個層次的存儲之下的,有一個新的能力,資料庫裡面,不管是MySQL或者是PG,都會有一個寫日誌,日誌邏輯上是一個序列嘛,所以這個地方一定會有鎖,我們剛剛同事也講到一定會有一個鎖或者優化成多個鎖,各個並行的寫操作,一定會在日誌這一塊有一個鎖,會有鎖的佔有和日誌的排序,這個過程我們完全把它從DB給下沉,下沉到存儲層,下沉到CynosStore裡面。對於DB來講,實際上我每一個用戶的進程不用管日誌是怎麼樣序列化的,怎麼樣去做保證日誌序列的問題,這個過程全在存儲中實現了。我們每一個DB的進程,我只管往CynosStore寫日誌就好了,至於多個後臺進程同時去寫,怎麼去寫日誌,怎麼序列化是完全存儲層做得,這樣給DB層做了一個非常好的抽象。

相關焦點

  • IPFS紅岸智能周雪松:IPFS的其他幾個優勢
    學員:請問ipfs是如何做到抵禦女巫攻擊,DDOS攻擊的?吳冀熱老師,除了eos,eth錢包使用了ipfs的存儲網絡外,還有哪些幣種也在使用ipfs的存儲網絡?由IPFS構建出來的去中心化分布式存儲網絡,未來加入的節點會越來越多,當節點足夠多的時候DDOS就不攻自破了。學員:吳冀熱老師,除了eos,eth錢包使用了ipfs的存儲網絡外,還有哪些幣種也在使用ipfs的存儲網絡?
  • 紅岸智能CTO周雪松:IPFS分布式金融科技的未來之路
    其實紅岸的技術團隊從2018年年初就開始組建並著手研究。紅岸智能嚴格按照未來FILECOIN開採的要求,自主研發的主板5.0版本在FILECOIN主網上已經問世。紅岸將目標定位行業內頂級的分布式雲存儲服務商。
  • IPFS紅岸智能周雪松Filecoin:網絡的Encryption層設計
    IPFS紅岸智能周雪松Filecoin未來分布式存儲的演講(這和我們在做後端微服務之前的接口通信時,常設置變量參數參與的對稱加密籤名來防止網絡***一樣)  在本地,我們可以通過ipfs id隨時來查看我們的公鑰(PublicKey)和其對應的NodeID: 免責聲明:本網站所刊登、轉載的各種稿件、圖片均有可靠的來源,
  • 紅岸智能CTO周雪松:存儲證明和EC共識
    紅岸智能CTO周雪松:存儲證明和EC共識周雪松:英國愛丁堡赫瑞瓦特大學 工程造價碩士。那麼在這裡我來個大家區別一下,什麼是存儲證明機制,什麼是共識機制。首先我們來看存儲證明機制,協議實驗室針對FILECOIN設計出了一套存儲證明機制,他們將其定義為POS,當然這個POS並不是PROOF OF STAKE的權益證明,而是PROOF OF STORAGE存儲證明,那這個存儲證明是做什麼用的呢?
  • IPFS紅岸智能周雪松filecoin:分布式鎖的特性
    IPFS紅岸智能周雪松filecoin分布式鎖需要滿足如下特性:互斥。這是鎖服務的基本能力,多個節點下必須確保同一時刻只有一個節點能獲得鎖。分布式鎖實現模型 如上圖是抽象的分布式鎖實現模型,共享存儲負責鎖和對應客戶端信息的存儲。客戶端1發起acquire()調用後,共享存儲返回獲取鎖成功,當客戶端2再發起對同一個鎖的acquire()調用時,共享存儲會返回獲取鎖失敗。
  • IPFS紅岸智能周雪松:IPFS+Filecoin為Web3.0提供數據存儲土壤
    IPFS紅岸智能周雪松:IPFS+Filecoin為Web3.0提供數據存儲土壤轉自|榮來科技隨著區塊鏈技術的發展,人們對於未來萬物互聯、智能交互的時代倍感期待,而這個時代基於Web3.0來實現則更讓人充滿信心。
  • IPFS紅岸智能周雪松:master進程分布式存儲
    紅岸智能 周雪松新系列知識點有點扯遠了,所以還是換回單個的數據中心,在其中部署一個私有雲,私有雲的分布式存儲……假設chunkserver使用6臺物理機,那麼這幾個master的VM也運行在這六臺物理機上麼
  • IPFS紅岸智能周雪松:雲存儲Encryption的弱點
    紅岸智能 周雪松新系列知識點Convergent Encryption的弱點在MLE的框架下,CE被證明滿足PRV$-CDA安全性 [13]。至少還剩下兩個問題:1. PRVCDA安全性對於存儲系統來說是否足夠強?2.是否還有可能獲得比PRV-CDA更強的安全性?對1,我們的判斷是否定的。首先,我們知道,MLE智能保護具有比較高的不可預測性的數據。而在雲存儲系統的實際使用中,很多用戶數據恰恰是可預測。
  • IPFS紅岸智能周雪松:分布式能自動恢復存儲
    紅岸智能 周雪松新系列知識點告警監控,這個必須運行在每個伺服器上,從而無論是物理機,還是VM,都需要運行這個監控程序,這樣才能進行告警通知管理……但是你說我是分布式,我為什麼還要告警呢?再考慮一種場景,我的生產系統需要一個分布式存儲,我的測試環境需要一個分布式存儲,我的開發環境也需要一個分布式存儲……天天部署這種服務也心累……那麼怎麼辦?
  • 紅岸智能IPFS研討分享會在北京成功舉辦
    11月9日,紅岸智能IPFS分布式存儲應用研討沙龍在北京瑞吉酒店橡樹廳舉辦,此次活動由紅岸北京合作夥伴策劃和組織,邀請的都是網際網路、金融、教育等行業的朋友。在沙龍開始前,大家先做了簡單的自我介紹,很多朋友都是想要了解區塊鏈這個新興行業過來學習的,也有一些是紅岸智能CTO周雪松的忠實粉絲,特地趕過來與周總見面交流。周總首先分析了目前的網際網路行業狀況:高度中心化和壟斷化。
  • IPFS紅岸智能周雪松:分布式文件系統
    紅岸智能 周雪松新系列知識點針對這幾種不同的數據類型,分布式存儲系統適合處理不同的類型的數據,將分布式存儲系統劃分為以下幾種:分布式文件系統:>處理非結構化的數據,將非結構化的數據都當做文件形式的存儲對象,處理對象是文件,形成一個分布式文件系統。
  • 紅岸智能CTO周雪松:哲學,是永恆的凝望。
    紅岸智能周雪松:知識哲學系列哲學,是永恆的凝望。人類以極致理性凝望宇宙,宇宙也無聲地凝望著人類。沒有最後的答案,只有永恆的凝望。科技,是無盡的超越。
  • IPFS紅岸智能周雪松:有效容量計劃
    紅岸智能 周雪松新系列知識點該報告入圍了7家主流分布式存儲系統廠商產品用於評估,並針對8項核心關鍵能力中的每一項都給出了評分,見Table 2。Pure Storage的FlashBlade得益於其專門設計的全快閃記憶體架構,性能不居首也說不過去,不過相比之下其成本和空間效率得分也是最低的,因為這兩個因素與性能很大程度上是矛盾的。
  • IPFS紅岸智能周雪松:日誌的增量備份
    紅岸智能 周雪松新系列知識點下面講一下我們怎麼做快照備份的,叫回檔。我們會持續將我們的數據備份,讓用戶構建出過去某個時間點的一個快照出來,其實這個回檔思想主要是,這分兩個,一個是備份,一個是恢復。另外是,因為我們存儲是提供一個獨立的成體系的系統,所以我們這個日誌多版本,日誌頁和Jouranal buffer,這是文件系統的buffer,數據頁buffer還是在DB裡面,這個地方有點複雜。
  • IPFS紅岸智能周雪松:場景的節點部署
    紅岸智能 周雪松新系列知識點正因為應用架構多變,並不像傳統業務那樣在I/O方面完全標準化,所以派生了大量應用場景,帶來的問題也是顯然的,分布式存儲系統需要應對這些非標準化場景,對這些場景的節點部署、網絡、I/O方式、API接口等都需要進行精確評估
  • 紅岸智能周雪松:軟體定義存儲向前發展
    紅岸智能 周雪松新系列知識點軟體定義存儲向前發展當查看要考慮購買的陣列類型時(這裡的廣泛定義也許更好地稱為存儲陣列類型),人們開始更加認真地對待他們的數據備份和災難恢復計劃。災難恢復存儲(可能是重複數據刪除輔助存儲)實際上導致了NAS(16%)和SAN(21%)這種比較。從更大的角度來看,隨著更多的企業用戶的生產力和效率基於通過增加操作「數據利用」而利用的IT託管應用程式,將這些應用程式和數據集保持在線可以擴展數據保護目標。IT部門現在不僅需要保護關鍵任務資產,還要保護業務生產力和運營分析處理。
  • IPFS紅岸智能周雪松:帶你突破兩個重要的分布式算法
    紅岸智能 周雪松新系列知識點帶你突破兩個重要的分布式算法大家在閱讀 TiKV 源碼時,如果不了解 Raft 和 Percolator 算法,就很容易迷失方向,不知如何下手。就算了解這兩個算法,實操過程中也有可能出現「知道大體做什麼,卻不明白為什麼要這麼做」的情況。因此在 Rust 語言課程完成之後,我們將繼續帶大家學習這兩個重要的分布式算法。關於 Raft,我們直接採用 MIT 6.824 課程,並將 Golang 的教材移植到了 Rust。6.824 提供豐富的測試,從 leader 選舉一路測到線性一致性。
  • IPFS紅岸智能周雪松:節點5大場景、8大關鍵能力
    紅岸智能 周雪松新系列知識點Gartner報告 提供5大場景、8大關鍵能力的評分在這個大背景之下,顯然有必要對各廠商的分布式存儲系統的各項參數、能力、場景適配等進行梳理總結、評估。在Gartner最新《Critical Capabilities for Distributed File Systems》分析報告中,將分布式存儲系統的關鍵能力做了總結,得出8個核心關鍵能力:容量 - 數百TB甚至PB級別的容量擴展潛力空間效率 – 支持壓縮、重刪、Thin Provision、自動分層的能力
  • IPFS紅岸智能周雪松:針對一個分片的數據
    紅岸智能 周雪松新系列知識點副本針對一個分片的數據,只能有一個寫入的地方,這就是master,其他副本都是從
  • IPFS測試網:紅岸智能僅用20臺礦機,周雪松團隊不到一天便直接上榜!
    IPFS測試網:紅岸智能僅用20臺礦機,不到一天便直接上榜!2019年12月15日晚7點30分,紅岸智能測試網節點 T01785  正式開始上線工作,從測試網上線開始我們便一直在做優化工作,因為我們知道,測試網是場馬拉松,不僅有很多輪,同時也會持續數個月的時間,還有很多可提升的空間,節點上線僅僅是個開始,我們還會繼續提升,不斷優化。