「IPFS紅岸智能」關於測試網

2020-12-05 IPFS紅岸智能

其實一直在關注IPFS和FILECOIN的夥伴們一定知道,測試網是官方為了讓大家能夠都參與模擬挖礦,並幫助它們一起測試網絡穩定性,發現代碼BUG等各方面的一個必要環節,而DASHBOARD一直是大家所能看到的,對於FILECOIN挖礦存力累計的一個可量化標準。那具體的情況如何呢?

這就要從2019年2月15日開始說起。我把整個FILECOIN從開源到現在的可參與網絡進行了一個梳理和總結,將其分為了一下幾個階段:

1階段,2019年2月-8月

這是早期的階段,也是屬於DEVNET開發網的階段,這個階段的特點就是全球參與礦工以單臺礦機的形式參加測試,當時網絡相對穩定,高峰時期參與節點多達300多,來自世界各地,運行的都是GO-FILECOIN版本。

在這個階段,所有節點是可以自己改名的,於是各大礦機廠商都將節點由數字更名為自己的公司名稱來進行營銷,主要的參考參數是PROVEN STORAGE,即有效存儲,關於有效存儲的概念可以查詢我們公眾號的詳細普及。

總體來說就是大家能看到誰家的有效存儲累計更快,也就是存力增長的更快,那就能搶佔區塊打包中更大的概率。

在這個階段,紅岸的測試伺服器從早期全球排名13一直上升到後期全球排名第一。

2階段,2019年9月-12月

這個階段依然屬於DEVNET開發網,但是有一個重大革新,便是LOTUS操作版本上線了,這是基於GO-FILECOIN版本創建出來的更精簡的版本,刪除了很多複雜沒用的代碼,輕裝上陣,得到了廣大礦工一致好評,由WHY帶頭研發。

LOTUS依然是基於GO語言的實現,但是在這個階段,集群式挖礦開始嶄露頭角,以往的單設備單節點效率已經無法與大規模集群所抗衡,官方也在鼓勵集群的出現,從代碼裡就能看得出,lotus-seal-worker等,都可以表明多臺伺服器組合起來的集群將在未來挖礦中佔據主導。

同時在這個階段,EPOST被提出,GPU開始加入硬體配置表,現在我們也許無法評判EPOST是否是一個一定有必要的環節,但至少它讓挖礦難度提升了,幫助市場篩選掉了一批技術無法跟上的礦商,從這一層面來說,這又是一件好事。

既然聊到了集群,那麼我們可以簡單的說一下,集群的優勢。

集群首先是由多臺礦機組成,集群規模的大小主要受制於內網帶寬交換,I/O瓶頸等(目前IO已經不再是問題),所以不是說一個集群是可以無限擴大的。

而相對於單體礦機來說,集群的優勢就非常明顯,因為這個網絡是通過概率來獲取打包權的,即本節點有效存儲除以全網有效存儲,就是你打包區塊的概率,而集群能夠將多臺伺服器同時做密封工作的有效存儲聚合起來,那意味著一個集群單一節點的有效存儲累計會非常快,單體礦機已經毫無還手之力。

但重點是,集群也是由單體礦機搭建出來的,這是基礎條件,只能說由單兵作戰轉向了團戰的形式,所謂的集群不需要礦機,改造IDC之類的就建議大家當笑話聽聽。

集群還有另一個非常明顯的優勢,那就是區塊打包概率分布的佔優。可能這是大家沒聽過的一個理論,也沒有什麼公司給大家具體計算過,那今天我就給大家算一算。

按照常規理解來說,假設全網20臺性能完全一致的礦機同時開始工作,A/B礦場各擁有10臺,A礦場採用的是單點礦機布局的模式,即意味著他有10個節點,而B礦場將10臺機器聚合成一個大節點。

假設工作一段時間後,每臺礦機累計有效存儲均為1TB,那麼此時全網有效存儲達到20TB,A礦場每個節點存力均為1/20,共10個節點;B礦場一個節點,存力10/20即1/2。那麼我們來看打包概率,在100%的概率盤面來看,B礦場佔據50%,那麼A礦場的10個節點也應該佔據剩下的50%。兩者打包區塊概率應該一致,這是常規的思維。

奇特的就是,這是個數學問題,而數學一定是永恆的真理,不會騙人,我們來看下在實際工作中的情況將會是如何:

我們將整個網絡的有效存儲放大,意味著全網不僅有A/B兩個礦場在參與,同時也有其他人在挖礦,在這種情況下,A/B礦場依然各擁有10臺礦機,A繼續採用單機運營方式,共10個節點,B礦場10臺礦機聚合成一個大節點。

此時我們假設A/B礦場的機器每一臺都累計了100TB有效存儲,而全網有效存儲達到了10000TB,那麼A/B礦場打包區塊的概率分別是多少呢?概率還會是一樣嗎?

我們來看看計算的結果:

B礦場1個節點10臺礦機共有效存儲1000TB,佔全網出塊概率1000/10000即10%

A礦場10個節點,每臺佔據全網有效存儲100/10000,即1%

這麼看來依然好像一樣,其實不然

A礦場中每臺概率1%,即出塊概率1%,那麼沒出塊的概率就是99%。

10臺在一個區塊周期內,都沒出塊的概率為99%的10次方,那麼10臺在一個區塊周期內,都出塊的概率為1-99%的10次方,約等於9.56%。

這樣一來,對比就出來了,A礦場10%與B礦場9.56%打包區塊概率方面差異有0.44%。可千萬不要小看這0.44%,加入時間的維度後,這個差異將繼續擴大,越來越明顯,所以在真實數學計算加持後,我們會發現集群更具備優勢,不僅是效率上,同時也在區塊打包方面佔據優勢。

扯得有點遠了,我們繼續回歸測試網階段的主題,紅岸在這個階段上線集群,繼續保持領先優勢,同時GPU的增加對我們沒有產生任何影響,因為從18年我們便開始關注GPU對於零知識證明計算的提升,以及從19年年中開始便向市場普及GPU增配的概念,在市場上也收穫了不少讚許,先人一步考慮周全,這是我們做事的態度。

3階段,2019年12月-2020年3月9日

在2019年12月,萬眾矚目的FILECOIN TESTNET測試網上線。針對測試網,官方將其分為兩個大的階段,即TESTNET PHASE 1&2,這是階段性的大版本,但是在每個階段內,又劃分出了很多個小的版本,隨著代碼更新,版本也將不斷更新,而5月11日即將上線二階段測試網。

在測試網一階段,我們經歷了TESTNET1和TESTNET2這兩個版本,都是採用的LOTUS作為操作版本,TESTNET1在2020中國新年期間結束,我們在此版本中於測試網上線後5天上架測試,在其他廠商累計有效存儲5天後殺入,節點T01785,花費36小時直接從0開始衝入世界前八,並繼續高歌猛進,可在這時官方為了呼籲大家不要購買成型的實體礦機,以及利用不完善版本的節點數據營銷,所以取消了排名。在這個階段,官方設置算力下限512GB,詳細內容可查閱我們公眾號往期的文章。

TESTNET2於2月初上線,官方修復了許多TESTNET1中發現的BUG,成為了一個能相對長期穩定工作的版本,我們在這個版本中一組跑方案的實驗機器,異軍突起,花費15小時直接登頂世界第一,引起了多方關注。

為了保存實力,低調行事,於是下線繼續做方案研發,關於這個節點的具體信息歡迎大家來公司了解,我們保存了後臺,截圖視頻等資料。現在已經過了高調宣傳的時代了,埋頭實幹成為了我們更明確的方向,因為我們的技術實力已經得到了業內各同行的高度認可,並且服務方向也轉向了對接大型機構等。

4階段,2020年3月9日至今

目前我們正在進行的是TESTNET測試網一階段的第三個小版本,TESTNET3,這個版本非常重要,也從一定程度上直接決定著主網的上線,因為這是一個互操作版本的測試,其實如果細分,TESTNET3可以分為TESTNET3和INTEROP網絡,而我們說的互操作網絡便是INTEROP網絡。

為什麼需要這一個步驟?正是因為單一操作版本實現的一條公鏈安全性將大打折扣,頂尖的公鏈項目都是多個版本共同工作的,比如ETH就有六大主要實現版本,FILECOIN也將會一樣,這才是真正做事情的團隊該有的態度。

目前官方正在實現的是LOTUS和GO-FILECOIN的互操作,也意味著主網上線後至少會有LOTUS和GO-FILECOIN這兩個版本同時能實現其功能,一旦其中某個版本出了問題,另一個版本將不會影響鏈的工作。

同時官方也公布了,RUST和C++版本也在開發當中,預期主網上線後將會有四大版本共同工作,為鏈的安全保駕護航。也可以理解為,咱們使用智慧型手機,同樣的APP,有安卓版本的,有IOS版本的等等,這樣理解最方便。

這個階段測試網非常不穩定,經常面臨重啟,自從上線開始經歷了很多次重啟,最近一次是5月7日,所以當前階段沒有穩定的可供參考的數據。

同時這也是算法集中調整的一個階段,也對硬體產生了重大影響,包括NVME SSD CACHE,AMD的崛起,大內存的需求,GPU的亮相,可能引發的FPGA的大規模實用,甚至到後期可能出現的ASIC方案等等。

還有很多東西沒有定型,測試依然得繼續,所以當前階段我們的主要精力就放在不同集群方案的優化調整上,以及最終配置商榷階段,預計在5月底至六月初,也就是官方暫定的代碼凍結階段配置就能基本定下來。

5階段,5月11日開始(預計)

官方暫定5月11日二階段測試網正式開始(預估會有3-5天左右延遲),目前看來二階段早期可能依然沿用老版本的方案,原定在二階段將持續使用的V25版本參數也可能只是暫時性的,而V26版本參數正在被官方提上議程。

所以由於開發進度和二階段啟動時間無法完美匹配,所以在不推遲的情況下上線,二階段前期測試價值並不高,但話說回來,那也將會是一個群雄逐鹿的階段,讓我們拭目以待吧!

相關焦點

  • IPFS紅岸智能周雪松:IPFS的其他幾個優勢
    學員:請問ipfs是如何做到抵禦女巫攻擊,DDOS攻擊的?吳冀熱老師,除了eos,eth錢包使用了ipfs的存儲網絡外,還有哪些幣種也在使用ipfs的存儲網絡?學員:吳冀熱老師,除了eos,eth錢包使用了ipfs的存儲網絡外,還有哪些幣種也在使用ipfs的存儲網絡?吳冀熱:問到IPFS使用具體的場景,除了EOS,ETH外,還有去中心化的錢包IMTOKEN,以及前段時間很熱的VDS,都是使用的IPFS網絡來進行數據的存儲。
  • IPFS測試網:紅岸智能僅用20臺礦機,周雪松團隊不到一天便直接上榜!
    IPFS測試網:紅岸智能僅用20臺礦機,不到一天便直接上榜!2019年12月15日晚7點30分,紅岸智能測試網節點 T01785  正式開始上線工作,從測試網上線開始我們便一直在做優化工作,因為我們知道,測試網是場馬拉松,不僅有很多輪,同時也會持續數個月的時間,還有很多可提升的空間,節點上線僅僅是個開始,我們還會繼續提升,不斷優化。
  • IPFS紅岸智能周雪松Filecoin:網絡的Encryption層設計
    IPFS紅岸智能周雪松Filecoin未來分布式存儲的演講(這和我們在做後端微服務之前的接口通信時,常設置變量參數參與的對稱加密籤名來防止網絡***一樣)  在本地,我們可以通過ipfs id隨時來查看我們的公鑰(PublicKey)和其對應的NodeID: 免責聲明:本網站所刊登、轉載的各種稿件、圖片均有可靠的來源,
  • IPFS紅岸智能:測試網第二輪時間規劃越來越清晰!
    也有礦工打趣的提到,官方剛度過他們美好的聖誕+新年假期,而中國也即將迎來我們的「聖誕+新年」=春節假期,大家都想休息一下回家和家人團聚,那官方會在此期間做大量更新而導致大家需要緊盯測試網嗎(例如上線測試網第二階段)?
  • IPFS紅岸智能:IPFS2020年項目重點!
    這一增長使我們在年中轉移了一些注意力以支持新的用途和需求-將我們的一些工作組重新集中於改進文檔,網關性能和 測試工具以驗證大規模網絡升級(請參閱我們的Operation Task-Force有關詳細信息的博客文章)。
  • IPFS紅岸智能:測試網那些事兒
    2019年12月11日凌晨3:00寫下這篇隨筆,此時距離測試網上線僅有不到24小時。我們都是幸運的人,因為我們有幸見證一個偉大的裡程碑!為了測試網的順利上線,官方真的做了非常非常多的努力,近一個月來,整個團隊都幾乎沒有休息,沒日沒夜的做優化和解決問題,以保證測試網能夠按時順利上線。WHY作為LOTUS的創始人,就連在飛機上也在修復BUG。WHY:我會在飛機上修復消息池的問題,現在起飛啦!
  • 「IPFS紅岸智能」IPFS 0.5內容路由改進:更深入的研究
    原創:Adin Schmahmann原文連結:https://blog.ipfs.io/2020-07-20-dht-deep-dive/由紅岸智能編譯4月底,我們發布了迄今為止最大的go-ipfs更新:IPFS 0.5。
  • 紅岸智能IPFS研討分享會在北京成功舉辦
    11月9日,紅岸智能IPFS分布式存儲應用研討沙龍在北京瑞吉酒店橡樹廳舉辦,此次活動由紅岸北京合作夥伴策劃和組織,邀請的都是網際網路、金融、教育等行業的朋友。在沙龍開始前,大家先做了簡單的自我介紹,很多朋友都是想要了解區塊鏈這個新興行業過來學習的,也有一些是紅岸智能CTO周雪松的忠實粉絲,特地趕過來與周總見面交流。周總首先分析了目前的網際網路行業狀況:高度中心化和壟斷化。
  • 紅岸智能CTO周雪松:IPFS分布式金融科技的未來之路
    其實紅岸的技術團隊從2018年年初就開始組建並著手研究。紅岸智能嚴格按照未來FILECOIN開採的要求,自主研發的主板5.0版本在FILECOIN主網上已經問世。紅岸將目標定位行業內頂級的分布式雲存儲服務商。
  • 「IPFS紅岸智能」區塊鏈行業,真正的技術才是核心競爭力!
    萬物互聯20年,是平地經濟,萬物結網,「連接」就成樞紐。未來科技10年,是高地經濟,科技登高,「爬坡」才能致勝。紅岸智能歡迎熱愛IPFS的朋友一同探討專業知識
  • 「IPFS紅岸智能」HackFS:下一階段!
    原創:協議實驗室原文連結:https://filecoin.io/blog/hackfs-next/由紅岸智能編譯上周8月18日,數十支團隊在HackFS Finale上展現了實力,其中有10個入圍決賽,每個團隊成員人均獲獎為1,000美元,外加
  • IPFS紅岸智能周雪松:帶你突破兩個重要的分布式算法
    紅岸智能 周雪松新系列知識點帶你突破兩個重要的分布式算法大家在閱讀 TiKV 源碼時,如果不了解 Raft 和 Percolator 算法,就很容易迷失方向,不知如何下手。關於 Raft,我們直接採用 MIT 6.824 課程,並將 Golang 的教材移植到了 Rust。6.824 提供豐富的測試,從 leader 選舉一路測到線性一致性。在移植教程的時候,我們想儘可能地使用最簡單的代碼來實現,方便大家理解課程內容。但是移植過程並非一帆風順,其中最大困難是 goroutine 的代碼。
  • IPFS紅岸智能周雪松:分布式能自動恢復存儲
    紅岸智能 周雪松新系列知識點告警監控,這個必須運行在每個伺服器上,從而無論是物理機,還是VM,都需要運行這個監控程序,這樣才能進行告警通知管理……但是你說我是分布式,我為什麼還要告警呢?再考慮一種場景,我的生產系統需要一個分布式存儲,我的測試環境需要一個分布式存儲,我的開發環境也需要一個分布式存儲……天天部署這種服務也心累……那麼怎麼辦?
  • IPFS紅岸智能周雪松:分布式文件系統
    紅岸智能 周雪松新系列知識點針對這幾種不同的數據類型,分布式存儲系統適合處理不同的類型的數據,將分布式存儲系統劃分為以下幾種:分布式文件系統:
  • 「IPFS紅岸智能」Filecoin礦工社區Call,主網上線不推遲!
    同時Colin大力肯定了全球礦工積極參加測試對FILECOIN協議完善和網絡發展做出了巨大的貢獻,並附上了官方為礦工們製作的LOGO背景牆。在開場前,胡安給出了說明,關於驗證者的工作依然在開發階段,並不是最終結論,所以今天會議所講在後期可能還會出現重大的變化。緊接著,胡安拋出了關於驗證者重要性的問題,這個問題貫穿他的整個演講:「我信任你嗎?」亦或者:「我有多信任你?」
  • IPFS紅岸智能周雪松:有效容量計劃
    紅岸智能 周雪松新系列知識點該報告入圍了7家主流分布式存儲系統廠商產品用於評估,並針對8項核心關鍵能力中的每一項都給出了評分,見Table 2。
  • IPFS紅岸智能周雪松:兩個層次的存儲
    紅岸智能 周雪松新系列知識點現在講一下我們定義的接口,想強調的是CynosStore是存儲計算接口很清晰的一個系統。
  • IPFS紅岸智能周雪松:日誌的增量備份
    紅岸智能 周雪松新系列知識點下面講一下我們怎麼做快照備份的,叫回檔。我們會持續將我們的數據備份,讓用戶構建出過去某個時間點的一個快照出來,其實這個回檔思想主要是,這分兩個,一個是備份,一個是恢復。
  • IPFS紅岸智能周雪松:場景的節點部署
    紅岸智能 周雪松新系列知識點正因為應用架構多變,並不像傳統業務那樣在I/O方面完全標準化,所以派生了大量應用場景,帶來的問題也是顯然的,分布式存儲系統需要應對這些非標準化場景,對這些場景的節點部署、網絡、I/O方式、API接口等都需要進行精確評估
  • 榮耀路由 2S 體驗:可以「網口盲插」的千兆智能路由器
    路由器可能是我們生活中存在感最低但又最重要的電子產品之一,它為手機、PC、平板、智能電視、智能音響等眾多設備提供最基礎的網絡支撐,不過除非上不去網,路由器又常常會被遺忘在角落無人問津。為了獲得良好的上網體驗,避免日後使用中遇到額外的麻煩,花點時間選擇一款穩定好用的路由器是非常有必要的。