淺談志願者分布式計算技術應用及現狀

2021-01-12 錦奎主任醫師

內容摘要:為普及志願者分布式計算相關知識,從基礎知識開始逐步解開大家對於志願者分布式計算的種種不解和疑惑,文中把自己參與分布式計算的感受和了解的知識與大家分享,同時也希望更多人能以科學的眼光來看待分布式計算並給予理解和支持。同時中國的分布式計算的發展,不僅依靠程序開發人員,更多地需要依靠志願者長期穩定的參與和支持,力所能及地為人類進步儘自己的綿薄之力。

關鍵詞:志願者;分布式計算;應用;現狀

分布式計算是一門計算機科學,主要研究分布式系統。一個分布式系統包括若干通過網絡互聯的計算機。這些計算機互相配合以完成一個共同的項目。具體的過程是:將需要進行大量計算的項目數據分割成小塊,由多臺計算機分別計算,再上傳運算結果後統一合併得出數據結論。在分布式系統上運行的電腦程式稱為分布式計算程序;分布式編程就是編寫上述程序的過程。分布式計算技術已經歷十幾年的研究,但該領域現在仍然方興未艾,將是計算機研究領域的最有發展潛力的領域之一,在不同的應用領域發展起來特點各異的分布式計算技術的分支。

1 概述

1.1為什麼需要志願者分布式計算

(1)可以幫助一些缺乏研究資金的、公益性質的科學研究,加速人類的科學進程

(2)有效利用全世界聯網機器的閒置處理能力

(3)向大眾普及科學意識

1.2所有科學研究都可以用分布式計算來解決嗎

不是,適合分布式計算的科學研究必須是可能通過計算來解決全部或部分問題,而且其計算過程必須比較容易被分割成個人計算機的處理能力能夠接受的大小,因此,分布式計算並不適用於所有的科學研究。

據統計,僅BOINC平臺上,目前已有50個項目和580000位志願者的計算機提供著平均 1.2 PetaFLOPS 的計算能力。可以說巨型機已經完全被淹沒在人民的海洋裡,這就是志願者分布式計算的力量。

1.3分布式計算的工作方式

項目方把大的計算任務分割成小塊(任務單元),通過網際網路分發給志願者進行計算,志願者計算完成後再通過網絡把各自的計算結果返回到項目方的伺服器。

2 參加分布式計算

2.1從 BOINC 平臺開始

分布式計算項目的種類非常多,相當一部分項目的參加和使用方式各異,幸運的是從2004年開始,由 SETI@home 項目組推出的 BOINC 平臺得到了日益廣泛的使用,大部分在其後產生的新項目和少部分先其產生的老項目都建立在或遷移到了BOINC平臺上,這就大大減輕了志願者參加多個分布式計算項目的難度。

BOINC 是當前最為流行的分布式計算平臺[1],提供了統一的前端和後端架構,一方面大為簡化了分布式計算項目的開發,另一方面,對參加分布式計算的志願者來說,參與多個項目的難度也大為降低。目前已經有超過 50 個的分布式計算項目基於 BOINC 平臺,BOINC 平臺上的主流項目包括有 SETI@home、Einstein@Home、World Community Grid(WCG) 等等。

2.2 BOINC 平臺下的部分項目

2.1.1 SETI@home

SETI@home(通過分析從射電望遠鏡傳來的數據來搜尋地外文明)

2.1.2 IBM World Community Grid[2]

AfricanClimate@Home(地球科學類,非洲區域的氣候模擬)

Computing for Clean Water(「清水計算」項目)

FightAIDS@Home(生命科學類,尋找抗擊 AIDS 的有效藥物)

Genome Comparison(生命科學類,染色體對比研究)

Help Conquer Cancer(生命科學類,幫助科學家徵服癌症)

Help Defeat Cancer(生命科學類,幫助科學家對抗癌症)

Human Proteome Folding(生命科學類,人類蛋白質摺疊研究)

Human Proteome Folding 2(生命科學類,人類蛋白質摺疊第2階段研究)

2.1.3 數學與計算機科學項目

ABC@home(尋找滿足 ABC 猜想三元數組的分布)

Chess960@home(象棋算法測試)

Collatz Conjecture(研究考拉茲猜想)

Enigma@Home(破解恩尼格瑪密碼)

NCSSM Grid(網格計算研究)

RND@home(測試一個算法用儘量少的基站來覆蓋儘量大的面積)

SHA-1 Collision Search Graz(SHA-1 密碼分析)

2.1.4 物理化學類項目

BRaTS@home(引力透鏡描繪)

Cosmology@home(天文計算宇宙模型)

Einstein@Home(尋找引力波證據)

Hydrogen@home(尋找生成氫的有效方法)

LHC@home(模擬粒子在大型強子對撞機中運行從而研究其穩定性)

MilkyWay@home(研究銀河系的建模和深化)

Nano-Hive@home(納米尺度的實體世界的模擬)

QMC@Home(量子蒙特卡洛法研究)

uFluids@Home(模擬微重力和微流體力學問題中的氣/液兩相流動現象)

Zivis(研究在核聚變容器(託卡馬克)裡邊的等離子體的流動)

2.1.5 地球科學項目

BBC Climate Change(模擬1920到2080年的氣候變化)

ClimatePrediction.Net(簡稱CPDN)(預測21世紀氣候的一項實驗)

Seasonal Attribution Project(研究人類的工業活動對氣候的影響)

2.1.6 生命科學項目

Docking@home(探索多尺度性質的算法的修改蛋白質-配體對接)

Folding@home(蛋白質摺疊過程研究)

Malaria Control.net(瘧疾藥物、疫苗開發研究)

NNSIMU Project(神經網絡模擬)

POEM@HOME(預測蛋白質結構)

Predictor@home(研究蛋白質序列來預測蛋白質結構)

Proteins@home(蛋白質結構預測)

GPUGRID(顯卡項目系列,有多個子項目)

RALPH@home(Rosetta@home的子測試項目)

Rosetta@home(增強預測和設計蛋白質結構及其複合體技術準確性)

SIMAP(探察蛋白質序列的相似性)

Superlink@Technion(研究基因的連結,來找出糖尿病、高血壓、癌症、精神分裂症等疾病的原因)

TANPAKU(蛋白質結構預測)

2.2如何參加BOINC

運行下載好的 BOINC 安裝文件,安裝程序啟動後,一般用戶按照預設的設置進行安裝即可。

安裝操作完成後,安裝程序將自動運行客戶端的管理界面,且預設使用的是客戶端的簡易視圖,同時會顯示「加入項目」的嚮導對話框,通過統一的步驟來加入項目。

2.3團隊管理

團隊是由用戶組成的群體,擁有團隊名稱、總積分等屬性,用戶可自由加入和退出。

加入團隊對用戶的積分沒有任何影響,但加入團隊後,用戶所得到的新積分,用戶所屬的團隊也能得到同樣的積分,離開團隊後或者換到其它團隊,貢獻給原團隊的積分不帶走。作為中國人,當然強烈建議加入Team China!

加入團隊的方法: 在各個項目的官方網站都可以搜索相應項目的團隊,進入團隊的頁面後,有個 Join(加入)的連結,點擊後即可加入該團隊(可能需要先進行登錄)。而客戶端在下一次與伺服器通訊後即可正確顯示用戶的團隊信息。

圖1 為醫學生理學項目DENIS@Home貢獻30萬計算力的證書
圖2 為參加BOINC平臺上的計算項目貢獻總分證書
圖3 為Team china團隊成員按照貢獻力排名列表

3 我國目前分布式計算現狀

分布式計算在國內的普及度還有待提高,但主流媒體已多次對分布式計算的相關內容進行了報導。國內僅各大高校和科研機構參與分布式計算[3],我國雖擁有基數龐大的計算機用戶和網絡用戶,但實際了解並運用分布式計算的用戶卻不多,大部分人或者絕大多數用戶使用計算機進行日常溝通、信息查詢、聊天娛樂等功能,與歐美國家國家相比而言,我國不僅理論研究的深度不夠,並且實際應用的廣度也無法與歐美發達國家比肩。

通過調查了解到,參加過分布式計算志願者服務的師生一般對分布式計算的相關知識多少會有所了解,而對此類知識不了解的師生通過了解後大都表示出對此項技術的支持,都表達出願意參加這種方式為人類科研進步儘自己的一份力量。

目前存在的這樣情況與國內媒體正面宣傳不到位有關,我們擁有全球最廣泛的網民,卻在志願者分布式計算發展方面步履維艱。分布式計算的客戶端程序在今天看來已經非常成熟和簡單,它讓科研不再高深,反而平易近人。我們的媒體因此更是肩負重大的責任,在更多的文章中提及分布式計算,引導大家了解項目細節,改變以往的認識。我們的政府和科研機構同樣應該引起重視,因為合理安全地利用志願者提供的運算資源是一個重大課題,開發好的運算項目,服務於經濟建設同時推動科技發展,何樂而不為。在我們的國家網格日臻完善時,大家共同行動起來開發和使用民間巨大的計算資源,志願者分布式計算帶來的益處和成果同樣不可估量。

4 總結

分布式計算作為一項快速發展的計算機技術,因有低運營成本高計算性能的優勢,且目前我國有豐富的閒置計算資源,其發展前景十分樂觀,關於對該項技術的研究,我國明顯落後於發達國家,已經成為計算機大國,存在嚴重的資源浪費和閒置,隨著計算機的普及,個人電腦開始進入千家萬戶。與之伴隨產生的是電腦的利用問題。越來越多的電腦處於閒置狀態,即使在開機狀態下CPU的潛力也遠遠不能被完全利用。我們可以想像,一臺家用的計算機將大多數的時間花費在「等待」上面。即便是使用者實際使用他們的計算機時,處理器依然是寂靜的消費,依然是不計其數的等待。現在分布式計算技術只是在一些高校、科研機構內作為研究和應用的對象[4],分布式計算技術雖然發展迅速[5],但各項技術大都存在一些問題,例如:數據安全問題、網絡異構問題等等,還有巨大的研究和發展潛力。

參考文獻 略

相關焦點

  • 乾貨丨邊緣計算應用、現狀及挑戰
    本文內容包括對邊緣計算概念、典型應用場景、研究現狀及關鍵技術等系統性的介紹,認為邊緣計算的發展還處在初級階段,在實際的應用中還存在很多問題需要解決研究,包括優化邊緣計算性能、安全性、互操作性以及智能邊緣操作管理服務。全文6200字,預計閱讀15分鐘。
  • 儲能技術融合分布式可再生能源的現狀及發展趨勢
    儲能技術融合分布式可再生能源的現狀及發展趨勢 發布時間:2016-08-04   來源:電氣應用雜誌
  • 全球最大算力網絡BOINC將區塊鏈化,它是比特幣分布式計算的鼻祖 |...
    自比特幣引發的區塊鏈技術浪潮興起以來,不同領域都在陸續出現新的區塊鏈應用範例。5月16日,鏈得得(微信ID:ChainDD)獨家獲悉,全球最大的算力網絡平臺BOINC將開啟其全新的底層區塊鏈改造之旅,一旦成型,這可能會是2019年全球最大的區塊鏈應用項目。
  • 全球最大分布式算力平臺BOINC,正式進軍邊緣計算領域
    以下為David演講實錄,略經鈦媒體編輯:David P.Anderson:我是來自加州伯克利大學一位教授,我擅長的分布式計算和科學計算。首先我想談的是,在科學任何領域都應有計算機算法,這是一個基礎的方面。
  • 分布式光纖傳感技術的特點與研究現狀
    2、分布式光纖傳感技術研究現狀 分布式光纖傳感技術一經出現,就得到了廣泛的關注和深入的研究,並且在短短的十幾年裡得到了飛速的發展.依據信號的性質,該類傳感技術可分為4類:①利用後向瑞利散射的傳感技術;②利用喇曼效應的傳感技術;③利用布裡淵效應的傳感技術;④利用前向傳輸模耦合的傳感技術.
  • 量子計算技術產業發展現狀與應用分析
    在此背景下,各大科技巨頭、初創公司、科研機構和不同領域的行業需求者紛紛開展量子計算相關的研究與應用布局,產業生態得到不斷培育、發展態勢良好。2 量子計算技術發展現狀量子計算技術研究始於20世紀80年代,關鍵技術包含量子處理器的物理實現、量子編碼、量子算法、量子軟體、外圍保障和上層應用等多個環節(見圖1)。
  • 高性能計算之源起——科學計算的應用現狀及發展思考
    中國網/中國發展門戶網訊 科學計算是指應用計算機處理科學研究和工程技術中所遇到的數學計算問題。在現代科學研究和工程技術中,常常遇到大量複雜數學計算。其複雜程度往往超越了人腦運算的能力,必須使用計算機進行求解。而計算科學的應用水平已成為衡量國家科技發展水平的重要標誌之一;其應用的深入程度則反映出對科學問題探索與理解的深度。
  • 分布式電源系統的的供電方式應用及發展趨勢
    分布式電源系統的的供電方式應用及發展趨勢。近年來,我國各地分布式電源系統發展迅速。分布式電源的出現,是對傳統UPS供電技術的探索和創新,能夠徹底解決傳統模式建築中電源容量不足、電源利用率低,改造困難等問題,最大程度降低數據中心的建設成本和運營成本。
  • 中國信通院寇家華等:基於可穿戴計算的體域網技術應用現狀與趨勢研究
    因此,高效、穩定的無線通信網絡是可穿戴技術迭代演進的重要保障,智能可穿戴設備與無線體域網技術的融合應用也成為近年來的熱點話題。目前,上市的智能可穿戴設備主要以藍牙、Wi-Fi等短距離無線通信技術為主,具備低功耗、傳輸速率穩定的無線通信與數據交互功能。少數產品也可接入公用移動通信網絡,作為與雲平臺直接交互的獨立可穿戴計算節點。
  • 除了尋找梅森素數,分布式技術還能做這些!
    可見,GIMPS不僅激發了人們對梅森素數尋找的熱情,作為全世界第一個基於網際網路的分布式計算項目,它也充分證明了分布式技術對於人類發展的重大意義。分布式應用除了在GIMPS項目中致力於尋找最大的梅森素數之外,還在其他領域中發揮著巨大的作用,例如: RC-72(密碼破解)系統、尋找對抗癌症的有效藥物、SETI@home在家尋找外星文明等等。
  • 淺談射頻前端的國內外現狀
    打開APP 淺談射頻前端的國內外現狀 半導體行業觀察 發表於 2020-12-01 17:01:05 射頻前端的國際情況 射頻前端技術主要集中在濾波器(Filter)、功率放大器(PA, Power Amplifier)、低噪聲放大器(Low Noise Amplifier)、開關(RF Switch)。
  • 淺談熱分析技術與同步熱分析儀的應用
    淺談熱分析技術  熱分析(Thermal Analysis),顧名思義,可以解釋為以熱進行分析的一種方法。正式發明了差熱分析(DTA)技術。1915年日本東北大學本多光太郎,在分析天平的基礎上研發了「熱天平」即熱重法(TG),後來法國人也研發了熱天平技術。  1964年美國瓦特遜(Watson)和奧尼爾(O』Neill)在DTA技術的基礎上發明了差示掃描量熱法(DSC),美國PE公司最先生產了差示掃描量熱儀,為熱分析熱量的定量作出了貢獻。
  • 淺談直線電機模組雷射打標機在電源模塊中的應用
    打開APP 淺談直線電機模組雷射打標機在電源模塊中的應用 tmmotion 發表於 2020-12-01 10:45:10 近幾年,隨著數據業務的飛速發展和分布式供電系統的不斷推廣,模塊電源得以被重用。
  • 適用於分布式發電的儲能技術比較
    該 文在簡單分析了各種可用於分布式發電的各種儲能技術之後,重點對比研究了各種電池儲能技術,認為鋰離子電 池儲能系統是目前最有發展前景、最有應用優勢的儲能方式。1適用於分布式發電的儲能技術儲能技術具有極高的戰略地位,長期以來世界各國都 在一直不斷支持儲能技術研究和應用,並給予大力的財政 資助。可用於分布式發電的儲能方式主要有電池儲能、抽 水蓄能、飛輪儲能、壓縮空氣儲能、超導儲能。
  • 分布式光伏電站行業發展挑戰及機遇分析(附報告目錄)
    截至2020年上半年,我國光伏發電新增併網裝機容量1150萬千瓦,同比增加0.88%,其中集中式707萬千瓦、分布式443萬千瓦。我國光伏發電累計裝機容量已達21580萬千瓦。從政策趨向上看,光伏「十三五」裝機目標從 100.00GW 上調到 150.00GW,其中分布式光伏規劃 70.00GW,照此計算到「十三五」末我國分布式光伏發電年複合增速將超過 60.00%。
  • 分布式發電技術及和它對電力系統的影響
    因此必須評估分布式電源對電力系統電壓的影響,以保證在分布式電源應用越來越多的情況下它們不會給用戶帶來不良後果。潮流計算是對這種影響進行量化分析的主要手段,但傳統的潮流計算方法由於沒有考慮分布式發電的影響,因而失效。文獻對異步發電機、無勵磁調節能力的同步發電機和燃料電池等幾種典型DG進行建模,並提出了基於靈敏度補償的配電網潮流計算方法,適合包含各種不同DG形式的多電源配電系統。
  • 2018年全球分布式能源行業現狀分析 各國分布式能源穩步發展
    圖表3:日本分布式能源商業應用分布情況(單位:%)圖表4:日本分布式能源工業應用分布情況(單位:%)就光伏發電而言,日本光伏分布式發電應用廣泛,不僅用於公園、學校、醫院、展覽館等公用設施,還開展了居民住宅屋頂光電的應用示範工程。
  • 分布式計算蛋白質摺疊有何科學意義?
    第十三屆國際生物物理大會上,諾貝爾獎獲得者Ernst在報告中強調指出,目前的NMR核磁共振成像技術已經能夠在秒到皮秒的時間域上觀察蛋白質結構的運動過程,其中包括主鏈和側鏈的運動,以及在各種不同的溫度和壓力下蛋白質的摺疊和去摺疊過程。這是可喜的進步,但是顯然蛋白質摺疊時間還需要突破性延長。
  • 分布式能源站黑啟動淺析及應用
    分布式能源站黑啟動淺析及應用 發布時間:2016-08-15   來源:本站編輯
  • 量子計算技術的研究現狀與趨勢
    這些技術的運行規律遵從量子力學,因此不僅其原理是量子力學,器件本身也遵從量子力學,這些器件應用了量子世界的特性,如疊加性、糾纏、非局域性、不可克隆性等,因而其信息功能遠遠優於相應的經典技術。量子信息技術突破了經典技術的物理極限,開闢了信息技術發展的新方向。一旦量子技術獲得廣泛的實際應用,人類社會生產力將邁進到新階段。